WorldSketch：让VLM构建世界模型实现零样本移动操作

WorldSketch提出一种新的智能体机器人范式：VLM不直接生成机器人动作，而是作为智能体主动调用感知工具，构建并视觉验证一个最小运动学世界模型，只捕捉任务相关物体、交互几何与可能运动，再由几何规划器在该模型上联合优化接触与全身运动。世界模型可自我改进，执行反馈会验证结果、更新不确定假设，并在预测被推翻时修正模型。在RoboCasa、LIBERO-PRO和R2R-CE导航上，零样本成功率分别为91%、97%和76%。