RoboTryOn 用虚拟试衣思路从人类视频合成灵巧机器人演示

RoboTryOn 提出将人类视频到机器人演示的转换视为虚拟试衣：保留演示动作，把人物替换为参考图像指定的目标机器人，同时保留原任务、物体和背景。方法上，它自回归翻译选定关键帧，以手部骨架为运动条件引导视频合成，并用融合深度特征的逆动力学模型（IDM）从合成视频推断动作标签用于策略学习。在多个类人本体上的实验显示，仅用合成数据训练的策略在新任务（含双手操作）上的平均成功率从 2% 提升到 60%，且无需这些任务的真实机器人演示；合成数据训练的效果与仅用遥操作演示训练相当，采集成本约为后者的三分之一。论文为预印本，共 29 页、15 图、13 表。