一段视频，让机器人学会开门并穿越：Video2DoorTraversal 如何打通 Real-to-Sim-to-Real

对人来说，推门近乎是一种下意识动作。对移动操作机器人来说，这是一道把感知、移动、操作和控制绑在一起的综合题。机器人需要找到并靠近把手，完成接触与旋转，在门体移动时协调底盘、机械臂和夹爪，还要避开门框、连续穿过狭窄门口。任何一步出现误差，都可能让整段任务中断。近日，由纽娲机器人、上海交通大学和山东大学研究人员共同完成的 Video2DoorTraversal 预印本公开发布。上海交通大学博士生唐心诚为第一作者， 纽娲机器人创始人、上海交通大学特聘教授杨睿刚为论文通讯作者。论文提出了一套面向轮足移动操作机器人的单视频 Real-to-Sim-to-Real 框架：用一段普通 RGB 视频重建真实门的数字孪生 DoorTwin，在仿真中生成并筛选可执行轨迹，再训练机器人完成从接近、开门到穿越的连续任务。需要说明的是，五扇门的主实验并非用一段视频训练一个策略后直接覆盖全部对象。研究针对每扇目标门分

原文：雷峰网