多模态大模型导航：第三阶段成果汇总

所用大模型为OmniVLA，这是一个基于OpenVLA-OFT改造的用于导航的VLA模型。整体架构设计如下(当前采用阶段1架构)：

视频演示

超低成本手搓的小底盘，巴掌大小，直接看效果。

底盘硬件示意图

电机驱动模块：L298N

• L298N 用于控制两个 N20 电机 的正反转和转速。
• 输入引脚（IN1~IN4） 用于控制电机的转动方向。
• 使能引脚（ENA、ENB） 用于开启电机。
• 电源（VCC 和 GND） 为电机驱动模块提供电源。
• 电机：N20 带编码器电机
  • N20 电机 带有编码器，编码器的 A/B 相信号 用于提供电机的转速反馈。
  • 编码器引脚：A 和 B 相信号分别连接到 ESP32-C3 的 GPIO 3、GPIO 4（左电机） 和 GPIO 9、GPIO 10（右电机）。
• 主控板：ESP32-C3
  • 控制 L298N 电机驱动模块 的 GPIO 引脚（5~8）。
  • 读取来自 N20 编码电机 的 A/B 相信号，用于获取电机转速反馈。
  • 使用 PWM 信号 来控制电机的速度。

预告

硬件架构解读和软件架构解读，敬请关注，即将到来