VQ-WM:用向量量化世界模型做机器人操作潜空间反馈运动规划
作者提出向量量化世界模型 VQ-WM,将离散潜空间长程搜索与连续视觉反馈控制结合,用于机器人操作规划。该方法用首达时间的准度量估计替代欧氏距离,使规划抽象与控制器能力对齐。在汉诺塔实机操作中,该方法仅用短演示数据即达到 100% 成功率,并在操作与运动仿真基准上比最强世界模型高出 13.3 至 85.3 个百分点。
推荐理由:论文把离散潜空间搜索与连续视觉反馈控制结合,并用首达时间估计对齐规划与控制器能力,为长程操作提供可迁移方法。
技术方向
与机器人感知、决策和物理交互直接相关的机器人学习进展
169 条精选近 30 天 167 条共收录 279 条
作者提出向量量化世界模型 VQ-WM,将离散潜空间长程搜索与连续视觉反馈控制结合,用于机器人操作规划。该方法用首达时间的准度量估计替代欧氏距离,使规划抽象与控制器能力对齐。在汉诺塔实机操作中,该方法仅用短演示数据即达到 100% 成功率,并在操作与运动仿真基准上比最强世界模型高出 13.3 至 85.3 个百分点。
推荐理由:论文把离散潜空间搜索与连续视觉反馈控制结合,并用首达时间估计对齐规划与控制器能力,为长程操作提供可迁移方法。
Behnam Moradi 提出 Self-Crystallizing Behavior Trees(SCBT),把基础模型当作编译器而非运行时,在行为树节点失败时由 LLM 提出最小子树补丁,经 CMA-ES 调参、上下文赌博机决定是否调用 LLM,并通过静态检查、不变量监控回放和相对未修补树的经验余量三阶段准入。
推荐理由:论文把大模型推理编译成确定性行为树,并给出仿真中的调用次数与任务成功率对比,可了解基础模型与经典控制结合的一种路径。
TILDE 提出一种从预训练具身基础模型向未做动作预训练的策略迁移能力的蒸馏框架,结合学生状态上的在线蒸馏与教师执行恢复轨迹的学习。其 AutoDAgger 用机器人奖励模型监测任务进度并触发教师介入,无需人工监控或操控,恢复轨迹采集速度比人类在环方法快 2 倍以上。在三个真实世界任务上,TILDE 的任务表现最高为行为克隆的 4.1 倍,并支持跨架构蒸馏。
推荐理由:论文提出从具身基础模型蒸馏策略的框架,并给出自动数据聚合与实机任务对比结果,可供关注策略迁移的研究者参考。
DexGraspFlow 提出一种条件式连杆级 SE(3) 流匹配框架,将几何关系与运动学拓扑结合用于跨本体灵巧抓取生成。该方法在三种机器人手、30 组物体-手配对上的平均仿真成功率为 95.33%,含逆运动学的平均生成延迟比一个先进基线低约 49%。作者还报告了对七种去指变体的零样本适应与手掌朝向控制,并在部署手型的 100 次实机抓取试验中取得 91% 成功率。
推荐理由:论文把运动学拓扑引入跨本体灵巧抓取生成,并给出三种手、30 组手物配对的仿真结果与实机试验。
研究提出 Skill-RSI,让强通用模型仅在离线阶段编写、运行、诊断并修复仿真中的操作技能,冻结后的技能以代码形式运行或由廉价调用器读取描述执行。
推荐理由:论文提出冻结技能加廉价调用器的复用路线,并给出编译成本、失败任务与隐藏布局上的对照数据。
VLA-Rolling 提出一种轻量推理框架,通过动作尾部继承、逐动作置信度估计和置信度引导的重加噪与去噪预算分配三阶段复用动作尾部,底层 VLA 保持冻结。
推荐理由:论文提出复用动作尾部的推理框架,在16组模型与基准组合上同时报告推理加速与成功率变化,可供比较VLA推理效率方案。
DreamCan 提出一种分层策略,用预训练视频模型改造的高层规划器生成稀疏视觉子目标,再由低层视觉运动策略执行,从而把视频模型的可执行性约束进规划。作者从无动作的离线机器人视频中估计子目标的可达性与任务效用,并用动态规划自动选取子目标序列,无需人工标注。
推荐理由:论文提出用稀疏视觉子目标替代稠密视频预测的分层策略,并在 LIBERO-Long 与真实双臂任务上给出对比结果。

AWS 开源 SDK Strands Robots 联合 LeRobot 与 Hugging Face Storage Buckets,演示在同一 agent 内完成演示录制、从 Hub 流式读取训练、再把 checkpoint 部署回硬件的闭环。
推荐理由:以 Strands Robots 与 LeRobot 为例,演示录制、流式训练、部署回硬件的数据闭环,并给出存储去重与安全边界的具体做法。
Physical Intelligence 训练并发布通用模型 π0.7,官方称其在泛化上出现阶跃式提升,能执行训练数据中未出现的任务。
推荐理由:官方披露π0.7在未见任务上的组合泛化与跨本体迁移表现,并说明多模态提示如何统一异构数据。