2026 年 10 月
本期文章 343
MATCH:面向连续环境视觉语言导航的执行感知分层强化学习框架
MATCH 是一个联合学习语言条件规划器与目标条件原子动作执行器的框架,用于连续环境视觉语言导航(VLN-CE)。它用执行感知拓扑图表示依赖起点的执行选项,并结合执行器价值估计与实际结果记忆,让规划器通过有界连续偏移细化执行请求。该模型以 0.5B 参数在 R2R-CE 和 RxR-CE 基准上取得 state-of-the-art,初步实机部署也展示了应用潜力。
CSO:通过技能分布对齐与技能粒度优化改进机器人策略
Zhiyuan Xiang 等提出两阶段后训练框架 Cascaded Skills Optimization(CSO),用于修正 VQ-VAE 类离散技能先验的量化误差。
LocoManiLab:面向人形机器人移动操作的数据、策略、控制器与部署统一测试台
LocoManiLab 提出一个覆盖数据采集与生成、策略训练、评估和物理部署的人形机器人移动操作统一测试台。其任务套件包含五类家庭场景下的 234 个原子与组合任务,配有 51.5 小时仿真遥操作数据;评估覆盖十二个策略在共享控制器下的任务与场景划分及扰动水平、两个策略在五种控制器下的表现,以及示范规模和数据来源混合的研究。
OWLS:面向零样本漫游车导航的开放世界语言条件速度场
作者提出 OWLS(开放世界语言条件速度场),直接在一张单目图像的视觉语言模型稠密特征图上规划,无需任务训练、地形标注或持久地图。方法用可通行地形描述提示视觉语言模型为每个像素打分,将分数投影到地面并经两次形态学操作适配平台,作为最小时间规划器的速度场,使地形外观与障碍间距共同塑造轨迹。作者在室内与越野的实体漫游车、200 个程序生成地形上的仿真火星与月球漫游车以及真实行星影像上进行了评估。
PRIME W0:用世界模型物理先验增强具身操作的VLA框架
PRIME W0 是一个分层条件流匹配框架,旨在让VLA模型不再只依赖当前观测,而是利用长时序上下文与VLM的分层表示。其设计包括从预训练VLM向自适应MoE动作专家逐层注入KV、通过异步世界模型子目标图像预测和DINOv2历史帧语义桥接实现动力学感知条件,以及采用协方差结构化噪声的Action Dynamic Manifold流匹配。
PACT-VLA:用提交前观测验证候选动作块,缓解VLA异步推理延迟
PACT-VLA 提出一种免训练框架,用推理起始观测生成候选动作块,再用提交前观测从中选出完整动作块,以缓解异步推理延迟导致的成功率下降。其 FlowRes 评分衡量候选隐含流方向与冻结策略在提交前观测下预测速度的残差,无需单独验证器;流水线实现使选择不增加控制步延迟。
POD-RoPE:面向具身智能的物理观测分布旋转位置编码
POD-RoPE 将 token 的观测足迹表示为相机中心、视线方向和采样时间上的分布,用期望旋转编码分布间相对关系,分布退化为单点时即还原逐点 RoPE。该方法在 Fast-WAM 上把 RoboTwin 2.0 全部 50 个任务的平均成功率从 91.83% 提升到 92.88%,在 Sharpa North 的两个实机任务上从 32.5% 提升到 52.5%。
ScheNav:示意地图引导的目标物体导航框架
ScheNav 是一个示意地图引导的闭环具身导航框架,通过 SchemaField 空间模块把粗略示意引导与累积观测融合,预测空间价值场并据此做探索和停止决策。
相对动作信用学习:扩展 PPO 以逃离局部最优
论文提出用动作条件价值评论器扩展 PPO,通过在同一状态比较已执行动作与采样替代动作来改善信用分配,并结合广义优势估计与探索噪声约束。作者称该方法能在相同探索设置下逃离平台期,在 PPO 停滞的训练预算内完成精密轴孔插入任务。研究将 PPO 在长程接触丰富任务上的失败归因于状态价值评论器只按回合结果判断进展,导致策略收敛到部分解后无法区分动作优劣。
Anchor-Align:通过表征锚定与语言动作对齐提升 VLA 微调泛化性
作者提出 Anchor-Align,在行为克隆微调 VLA 时加入视觉语言锚定与语言动作对齐两个目标,以缓解预训练表征被覆盖和语言动作错位问题。视觉语言锚定从冻结的 VLM 副本逐层蒸馏表征,语言动作对齐把每个动作目标转成离散运动方向标签,并在同一机器人观测上联合训练语言与动作预测。
SwapBot:通过可互换末端执行器与触觉感知实现以工具为中心的机器人操作
SwapBot 是一套模块化、以工具为中心的末端执行器系统,用低成本适配器把常见家用工具快速转换为机器人末端执行器,并支持快速自主更换。每个适配器集成紧凑触觉传感器,并接入遥操作系统用于采集演示;用户研究显示遥操作时任务完成时间和操作者负担均降低。
Kairos 提出按语义调度多规划引擎,覆盖经典、数值、时序与混合 PDDL
Kairos 提出按任务语义从五个规划引擎中选择并统一调度,覆盖从 STRIPS 到 PDDL+ 的多种 PDDL 片段。在九个对比套件的 1,756 个任务上,它在完整时限内解出的任务数多于各套件中最强的被评估规划器,在数值、时序、PDDL3 和 PDDL+ 上差距最大,在 100 ms 和 1 s 时限下解出任务也最多。
PhysVLMM:为机器人场景图中的铰接物体维护交互条件物理信念图
PhysVLMM 提出一种为视觉-语言-运动地图中每个铰接部件维护物理信念并回答规划器查询的方法,包含地图更新与查询两个算法。该方法把拉动方向保留为后验而非点估计,并将每次拉动的证据以闭式形式传递给地图中未被触碰的相似部件,还能在给定风险下回答动作是否成功或选择弃答。
研究:目标误泛化中策略对齐的三种失败深度
论文研究目标误泛化中目标信息在智能体内部丢失的深度,覆盖八个视觉导航与操作任务,包括机器人控制。
BURGER:用机器人绘画基准评测VLA模型的泛化能力
作者提出BURGER,一个语言条件机器人绘画基准,并提供可在仿真和真实世界生成连续绘画轨迹的提示驱动流水线。研究用282个绘画任务、28200条仿真演示评测5个代表性VLA模型,分析数据规模、语言落地和多模态行为,发现不同模型呈现不同失败模式。团队还将训练策略部署到Franka Panda机械臂,展示在人工干预下进行反应式绘画。
ActionUNet:用高效多尺度微调提升VLA模型鲁棒性
Di Zhu、Ziheng Yan、Fang Wan 提出 ActionUNet,一个在预训练 VLA 模型上做高效多尺度微调的框架,用于缓解粗粒度语义与细粒度时序执行之间的对齐问题。
Catch It All!:灵巧手实现可泛化的动态抓取
Catch It All! 提出面向人形机器人的 sim-to-real 抓取框架,仅用一台自我视角相机即可完成上手与下手抓取,并泛化到未见物体。作者称策略可适应几何形状、可变形性、弹性等物理属性不同的新物体,并通过抓取奖励设计与安全感知课程支持接近硬件极限的高频动作执行,包括低至 5 Nm 的腕部力矩限制。
JEDI:面向上下文模仿学习的联合嵌入演示压缩方法
JEDI 提出将演示压缩为潜在槽位,在冻结的视频-JEPA 空间中训练其预测查询回合的下一阶段关键帧,以缓解长多模态轨迹占用上下文的问题。方法用任务与过程反事实帮助槽位保留执行细节,并通过预测器从演示库中选择示例;用关键点 token 后训练后,可在机器人上实现人手条件化。
GlanceWAM提出稀疏测试时想象的世界动作模型
Linhan Wang等人提出GlanceWAM,将视觉想象与控制解耦在同一个视频DiT主干上,由异步提议器在后台以慢时钟生成单帧前瞻画面,动作头在潜空间中按控制频率解码动作块,单块时延48 ms(A100)。
Ego-OSCAR:不到200美元的开源头戴立体视觉采集系统与550小时数据集
作者团队提出开源头戴采集系统 Ego-OSCAR,用不到200美元的通用零件与3D打印件搭建,将硬件同步全局快门立体相机与6轴IMU结合,并用微控制器把相机与惯性时钟域对齐到700微秒残差。