PointPilot：基于物体中心3D点流预测的统一机器人操作框架

PointPilot 是一个以任务物体为中心的3D点流预测操作框架，只表示任务相关物体（把夹爪也当作物体），避免预测与操作无关的冗余场景部分。模型在统一坐标系中对齐3D空间表示，端到端联合学习子任务规划、任务相关物体定位和3D点流预测，并可由物体点流直接支持闭环、全自动的多模式动作执行，无需单独训练的动作专家。通过在共享3D点流空间中处理异构数据，PointPilot 能吸收不同本体的演示数据。作者称仿真与真实世界实验验证了该方法，并展示了零样本本体泛化：单个训练好的策略无需额外微调即可部署到此前未见过的本体上完成操作任务。该文为 arXiv 预印本，尚未经同行评议。