具身智能日报

SpatialDex提出一种从纯RGB人类视频学习3D双臂灵巧操作的框架，通过重建场景几何并结合手部运动估计进行视觉运动预训练。该方法将重建几何同时作为策略输入和预测目标，用门控残差融合把预训练视觉语言模型的token网格锚定到该几何上，并预测未来场景几何与手腕、手指动作。