Pixel-UMI：从传感器化人类演示学习环境感知全身操作策略

Pixel-UMI 提出一套从传感器化人类演示学习环境感知全身操作策略的流程，用于缓解人机本体差异带来的策略学习困难。方法包含三部分：环境感知重定向（EAR）结合重建场景几何与演示中的头部和夹爪轨迹，确定机器人姿态并生成避碰的关节与基座目标；重定向误差感知掩码（REAM）利用训练中的残余位姿误差，降低部署时对不匹配视角的依赖；并通过 DAgger 收集在策略人类纠正，弥补估计动作对接触丰富交互的不足。作者在关节物体操作、可变形物体处理、受限空间到达、全身避障和接触丰富双臂协调五类任务上评估，平均任务进度为 87.0%。