2026 年 11 月 4 日 · 星期三
本期文章 114
MAESTRO：用编码智能体编排机器人模块实现零样本通用机器人
MAESTRO 提出用视觉语言模型作为编码智能体，调用由感知、规划和控制工具组成的工具库来编写机器人程序，而非扩展数据训练端到端策略。其编排框架把多步感知与动作流程封装为可调用工具，并通过计划-执行-重规划循环，利用视觉与执行反馈核验结果并从失败中恢复。在桌面任务对比中，MAESTRO 零样本达到或超过先进 VLA 模型，并能完成多种移动操作任务，且未采集新的遥操作数据、也未调用 VLA 工具。消融显示，在完整编排框架下扩充工具库可提升平均任务进度，而只增加工具、不加框架则不能稳定提升。
PanoTac：面向触觉操作的低成本密集三轴触觉传感器
PanoTac 是一款低成本柔性触觉指尖，用于密集三轴触觉感知，每个指尖输出 12×32×3 的触觉表示，每个 taxel 含一个法向（z）和两个剪切（x、y）分量，工作频率 60 Hz，单指尖成本低于 50 美元。作者对传感器响应重复性以及不同传感器实例、不同接触位置之间的一致性做了表征，并将其接入带视触觉管线的机器人系统。在试管准备、舀取谷物和倒盐三类任务上，所得策略平均比仅视觉基线高 46.7 个百分点；消融显示，去掉空间接触信息或剪切反馈都会降低整套任务的表现。项目页面已给出，论文为 arXiv 预印本。
RoFacto：通过机器人渲染将机器人因素从世界模型中分离
作者提出机器人因素化世界模型 RoFacto，把动作实现与场景响应预测拆开，将两个机器人相关因素移出世界模型。动作实现方面，每条指令序列经机器人自身控制器与运动学滚动，在不接触场景的情况下得到部署可用的名义轨迹，无需未来实际状态；机器人渲染方面，该名义轨迹通过机器人 URDF 渲染，把机器人的几何、运动学与外观从模型中分离为显式渲染的机器人几何。成对的末端执行器与场景深度提供接触和遮挡的几何线索，相机感知的静态 RGB 上下文与渲染机器人几何构成跨视角、跨本体的共享视觉接口，模型借此学习场景响应。
研究刻画视觉-语言-动作模型内部神经几何的七类任务概念
研究以受控扫描、自然rollout、线性探针和激活干预，为VLA模型中的任务相关概念建立七类分类，发现这些概念在表征空间中呈现的几何以多维为主，并受策略所处约束塑造。例如关节物理限位使腕部朝向呈现为开放弧而非圆，到目标的距离这一标量则分布在两个正交子空间中，分别对应接近阶段的粗尺度和抓取阶段的细尺度。相同几何在两个使用真实机器人数据的VLA模型上重现，说明其既非模型特有，也非仿真产物。作者还演示了沿概念所呈现的几何进行引导，以说明发现的可操作性。该工作为预印本，共41页，正文10页。
PS-PRM：为高自由度机器人规划同时运动与感知的路径
研究提出 PS-PRM，一种由感知得分引导、GPU 并行的概率路图规划器，用于让高自由度机器人在静态和动态环境中从起始构型运动到目标构型，并持续满足感知约束。方法用神经代理模型近似感知得分并纳入路图规划，借助 GPU 并行支持在线重规划。作者称在仿真和实机实验中，该规划器在静态与动态环境下优于基于强化学习和轨迹优化的基线。论文已被 T-RO 接收。
How to Peel with a Knife：用偏好对齐细粒度操作质量
论文提出一个面向削皮等接触丰富、成功标准主观的细粒度操作任务的学习框架，先用力感知数据采集与模仿学习得到可跨物体泛化的初始策略，再用结合定量任务指标与人类定性反馈的学习奖励模型做偏好微调。仅用50至200条削皮轨迹，系统在黄瓜、苹果、土豆上同品类成功率100%，偏好微调带来最高40%的性能提升。在单一品类上训练的策略还能零样本迁移到部分留出品类，西葫芦成功率50%、梨90%、白萝卜80%。
CoEnv：面向多臂操作的真实到仿真数字孪生代码驱动探索框架
论文提出 CoEnv 真实到仿真框架，从多视角 RGBD 重建物理场景为物理仿真数字孪生，并让集中式代码智能体在孪生中编写、运行和精炼完整多臂程序，经特权状态检查、风险步骤检查点谓词和自适应视角验证后，通过碰撞检查部署迁移到硬件。在最多三台异构机器人的五个真实多臂任务上，CoEx 平均成功率为 70%，同一系统去掉代码智能体（由 VLM 逐步选择每个原语）为 50%，并优于两个先前的 VLM 规划框架，验证回合生成速率为消融版本的 3.8-11.7 倍。
BEACON：基于最优努力适配的生成式机器人策略跨域协同训练框架
BEACON 是一个理论引导的生成式机器人策略跨域协同训练框架，面向源域演示充足、目标域演示有限的场景。它把跨域协同训练建模为差异感知的重要性重加权问题，在 Best-Effort Adaptation 界启发下联合学习基于扩散的视觉运动策略与逐样本源域权重，并针对高维序列策略提出可扩展的实例级差异代理、策略与权重的随机交替更新以及平衡异构源域的多源扩展。在仿真到仿真、仿真到实机和多源操作设置中，BEACON 相比仅用目标域数据、固定比例协同训练和特征对齐基线提升了鲁棒性与数据效率；在不设显式对齐目标的情况下，差异感知协同训练也隐式拉近了源域与目标域的表征。该文为 arXiv 预印本。
GazeVLA：以人类注视意图学习机器人操作
GazeVLA 提出通过建模人类注视意图，从人类演示中高效学习机器人操作。作者认为注视同时编码高层任务语义并与低层动作协同耦合，据此得到可支持跨本体知识迁移的中层表征，使机器人无需机器人意图标注也能内化人类意图。推理阶段采用思维链推理范式捕捉意图与动作的协同，在仿真与真实环境中执行长时程和细粒度任务，实验显示方法持续优于基线并泛化到未见场景。该工作为 arXiv 预印本，项目页面已给出。
端到端动力膝踝假肢控制器实现免调校统一助力
研究团队实时部署了一种端到端动力膝踝假肢控制器，直接从板载传感器估计连续执行器信号，省去意图分类器和受试者个体调参。控制器用时间卷积网络在18名股骨截肢者的多地形数据集上训练，并在五种运动模式上实时运行。四名受试者（三名健全者、一名股骨截肢者）完成平地、上下坡和上下楼梯行走。平地行走时，部署控制器复现了训练数据中踝关节峰值力矩随步速的缩放关系（部署0.85 Nm/kg每m/s，p=0.001；训练0.96 Nm/kg每m/s，95% CI [0.42, 1.50]，p=0.002），该结果排除了一个与异常假肢负载有关的离群点。
SEAMLiS：面向感知受限多机器人探索的可见性感知安全框架
SEAMLiS 是面向感知受限下自主多机器人探索的模块化执行层安全框架，在保留上游目标分配与局部规划器的前提下，通过感知感知的姿态与位置滤波器保障安全。其门控姿态滤波器在提升可见性的偏航策略与速度跟踪备份策略间切换，以维持已知自由区与未知边界可见并留出制动余量；基于控制障碍函数的位置滤波器则规避已知障碍、新检测障碍和其他机器人。作者给出充分避碰条件，并在随机仿真、Isaac Sim 与 Crazyflie 硬件实验中验证，结果显示在测试的单机器人与多机器人设置下实现无碰撞探索，同时保留较多可见性提升偏航控制的效率。该文为 arXiv 预印本。
LocalNav：蒸馏前沿VLM与具身强化学习实现端侧物体目标导航
LocalNav提出一种蒸馏策略，将轻量4B参数本地VLM对齐到空间语义导航接口，借助前沿模型轨迹在Jetson Orin等嵌入式GPU上执行物体目标导航。云端模型在HM3D OVON基准上达到41.61%成功率，而Qwen3.5-4B零样本部署仅25.97%；蒸馏前沿推理轨迹并用可验证奖励的具身强化学习（E-RLVR）微调后达到37.36%。作者指出该模型虽可部署于内存受限设备，但无法与云端往返推理时间竞争，并将Token生成识别为延迟主因，用TG正则化E-RLVR将延迟降低69.29%同时保持35.53%成功率；结合量化后整体推理延迟累计降低80.21%而性能未显著下降。
OpenHLM：全身人形移动操作的实证路线与开源方案
OpenHLM 是一项面向全身人形移动操作的实证研究，目标是构建将语言和像素直接映射到人形机器人全部自由度的全身原生 VLA 模型，而非将上下半身解耦为独立控制器。作者按三阶段路线做单变量实验：全身遥操作、VLA 模型设计、异构协同训练。研究发现，基于关节的全身遥操作接口优于只部分暴露自由度的方案；在静态和轮式双臂平台上预训练的 VLA 能较好迁移到人形机器人完整动作空间；与 HuMI（UMI 的人形对应版本）协同训练，可在不额外采集目标全身遥操作数据的情况下把策略扩展到新物体和指令。
RoboSnap：单张RGB图像生成仿真场景的real-to-sim框架
RoboSnap是一个real-to-sim框架，可将单张RGB图像转换为可直接用于仿真的场景。其核心是分层设计：碰撞感知的前景资产经过细化以支持稳定的机器人交互，3D高斯泼溅视觉层则在新视角下保留背景外观。在DROID场景和真实机器人任务上的实验显示，RoboSnap能在重建场景中可靠回放轨迹，支持面向策略训练的任务特定合成数据生成，并在策略评估中呈现有意义的仿真与真实相关性。作者同时发布DROID-Sim，一个由DROID中564个真实场景构建的real-to-sim配套数据集。
LDiP：用随机迭代打分做离散行为建模的策略框架
作者提出 Large Discrete Policy（LDiP），一个全离散的行为建模框架，从大规模物理可行候选动作词表中选取动作，而不是对动作做扰动。LDiP 通过随机迭代打分提升表达能力，在打分空间中逐步重新打分并剪枝候选，从而在保留显式决策过程的同时实现细粒度排序与探索。在端到端规划、闭环驾驶、机器人操作和视觉-语言-动作设置中，LDiP 在自动驾驶上持续优于强离散与连续基线，在机器人操作上超过或持平连续生成策略。作者据此认为，配合有效打分机制的离散策略可作为行为建模的一种表达力强、动作合理且可解释的替代方案。该工作为 arXiv 预印本（arXiv:2609.07049）。
2AM：将 Agent 侧记忆作为引导，实现长程操作中可操控的动作模型
2AM 提出把长程机器人操作的任务记忆放在动作策略之外，由多模态 Agent 单独持有，并用一个基于 RGB、按回合无状态的动作模型执行任务相关运动。Agent 把交互历史编译为子任务语言以及可选的 2D 抓取、放置和移动提示，在不同时间尺度上绑定其物理意图。为让 VLA 学会这种可操控性，作者在演示中加入结构化提示标签，并在条件丢弃、空间噪声和时间抖动下训练，以容忍不完美的 Agent 输出。在 LIBERO-Mem 上。
BarrierFormer：用 Transformer 引导预测式屏障约束的安全机器人控制
BarrierFormer 是一个屏障监督的 Transformer 框架，把滚动时域内的 CBF 约束编码进无模型安全策略的学习中，以缓解标准 CBF 只约束当前时刻、MPC 又需已知模型并逐步求解优化的问题。其因果 Transformer 编码观测-动作历史，经动力学头自回归生成预测 rollout 替代模型，经动作头对名义控制器给出残差修正替代在线计算；屏障 critic 在局部观测上评估 rollout 中的 CBF 约束违反，安全教师生成满足约束的屏障一致动作作为直接监督目标。
LM-Grasp 基准研究：位姿精度不等于抓取可靠性，残差位姿后验可改善仿真抓取规划
作者构建 LM-Grasp 基准，用 15,800 张真实 LINEMOD RGB-D 图像在扫描网格上仿真抓取结果，指出基于模型抓取把 6D 位姿当作精确值会降低仿真抓取成功率。FoundationPose 在 0.997 的测试场景满足 ADD(-S) 标准，但按其估计位姿规划仅在 0.791 场景成功，使用标注位姿为 0.856。由于估计器不报告不确定性，作者用其在标注训练帧上的误差构建位姿后验。
Spotter：让具身模型主导执行、VLM 并行反思纠错
Spotter 提出反转角色分工的具身纠错框架：具身模型持续主导执行，VLM 并行运行并通过轻量本地筛查器监测，仅在检测到错误时介入反思纠正后交还控制权。作者指出当前具身模型在失败后很少能自行修复，best-of-N 选择也无法在失败后挑出成功候选，原因在于只用成功演示训练、输入信息过窄。以 Qwen 和 GPT 作为 VLM 均带来提升：用 GPT 时在 RoboCasa 上使 Cosmos Policy 和 π0.5 分别提升 5.6 和 7.5 个百分点。
SpecPrune-VLA：用动作感知自推测剪枝加速 VLA 模型
SpecPrune-VLA 提出一种免训练的两级剪枝方法，用于加速视觉-语言-动作（VLA）模型推理。作者指出已有加速方法只利用当前动作步的局部信息、忽略全局上下文，部分场景成功率下降超过 20% 且加速有限；他们据此利用连续步输入图像高度相似这一时空一致性，把 token 选择与全局上下文结合。方法包含动作级静态剪枝（用全局历史与局部注意力减少每个动作的视觉 token）、层级动态剪枝（按逐层重要性自适应剪枝）和轻量动作感知控制器（按末端执行器速度区分粗粒度与细粒度动作并调整剪枝强度）。