SketchMate：VLM草图模型实现零样本精密插入

Jiaming Wang 等作者在 arXiv 提交预印本，提出 SketchMate：让视觉语言模型（VLM）为任务构建“草图模型”，即少量几何基元加两个配合坐标系，由 VLM 智能体在多视角深度中用几何工具测量，再交给标准规划器和柔顺控制器执行。草图描述零件本身、与摆放位置无关，因此每个任务只需构建一次；草图记忆保存智能体运行结果，经点云配准迁移到后续摆放，只有遇到不熟悉的零件才再次调用 VLM。抓取零件后，机器人近距离检查两个配合面，通过形状匹配修正草图。 作者称，在 69 个仿真插入回合的严格运动学测试中，该方法在装配位姿下插入 88% 的零件，而使用同一 VLM 的 ReKep 和 MOKA 一个也未插入；在八个任务的新摆放位置上，复用一次已存运行与逐回合调用智能体插入的零件数相同，生成草图耗时 3.4 秒而非约 90 秒。上述结果均为仿真测试，尚未见实机验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。