具身智能 | 用世界模型替代师生学习:WMP 是如何让四足机器人「看清地形」
本文介绍了WMP(World Model Policy)方法,这是一种在视觉腿足机器人领域的新颖技术。WMP的核心思想是绕过传统的scandots表达力局限,通过构建一个统一的世界模型,使政策可以直接在一个预测能力强的隐状态空间中生长。文章详细阐述了WMP的设计思路和技术细节: 1. **输入输出接口**:WMP将腿足控制建模为POMDP,使用深度图作为输入,同时引入特权信息。 2. **关键不对称:世界模型与策略的频率错位**:为了应对仿真与真机延迟问题,WMP采用了每100ms更新一次世界模型的策略。 3. **为什么策略要拿**:解释了为何策略采用确定性部分而非随机部分的原因。 4. **训练时的监督模块**:介绍了一次训练阶段内同时训练世界模型、策略和深度预测器的方法。 5. **推理时的执行模块**:讨论了如何在板载推理环境中进行部署,以及关键超参数设置。 6. **训练目标**:提出了三套损失函数并存的方式,确保世界模型、策略和深度预测器的有效训练。 7. **可选模式**:提供了t-SNE可视化和开环预测的实验结果。 WMP通过将世界模型与策略紧密结合,实现了在复杂地形中的高效导航,展示了其在视觉腿足机器人领域的潜力。