2026 年 11 月 4 日 · 星期三
本期文章 114
SPARK:用锚定机器人关键点实现序列规划
作者提出 Sequential Planning via Anchored Robotic Keypoints(SPARK),把任务描述为符号化行为树,仅在每次调用动作时锚定到当前3D观测,并在运行时验证计划、局部恢复和重新锚定物体,只有这些失败时才请求新计划。在固定计划、执行中移动物体的实验中,物体位移10厘米时配合场景差异验证与分层恢复仍完成66.7%的试验且无需改计划。完整系统在 LIBERO 上使用一个4-bit权重的27B开放权重规划器,6种位置与任务设置平均成功率66.8%,留出语言与物体设置同为66.8%;在3种机器人、11种物理任务-本体设置上成功率为68%。
在控制器限制内重定时示教以加速模仿学习
论文指出,模仿策略继承操作者节奏,重定时加速到示教速度两三倍时成功率会崩塌;作者认为原因是低层控制器每个控制周期只能实现有界位移,合并连续指令会产生超出该界限的训练对,并提出“超出占比”来刻画这类训练对在重定时数据中的比例,该比例与重训练策略崩塌的位置相关。据此给出单参数规则:只要合并后的位移仍可实现就贪心合并,使每条指令按构造可实现并保留示教几何。在四个仿真 robomimic 任务上,每格 200 个留出种子。
SV-WAM:面向端到端自动驾驶的高效环视世界-动作模型
SV-WAM 是一个保留六路摄像头输入的环视世界-动作模型,目标是兼顾完整空间覆盖与高效推理。作者把未来视频预测用作动作学习的密集训练监督,而非推理阶段输出,核心是以动作为中心的因果掩码,使动作 token 在联合去噪时不关注未来视频 token,从而在部署时丢弃视频分支、只做动作规划。方法还引入可微的可行驶区域合规正则项,惩罚车辆足迹角点接近或越过可行驶边界。在闭环 NAVSIMv2 和开环 nuScenes 基准上,作者报告其规划性能达到当前最优,推理时延较低,并具备有竞争力的零样本迁移能力。论文为预印本,共 23 页、16 幅图。
TRACE:面向具身视觉跟踪的目标状态风险门控执行方法
TRACE 是一种执行期目标状态风险门控方法,用于缓解具身视觉跟踪中策略后训练带来的安全代价。作者用冻结骨干的 0.6B VLA 跟踪器,仅以 PPO 更新规划头,成功率与跟随率在 EVT-Bench 三种设置下均提升,但分心跟踪场景的碰撞率上升,因为原本以目标丢失结束的回合改为以接触结束。TRACE 保留已学策略,由轻量风险头处理 84 项线索,当校准风险超过阈值时缩放下一路点的平移分量、保持偏航不变,执行动作与 PPO 在超过 98% 的步骤上相同。
ROOF:让倒地人形机器人在头顶障碍下完成起身的强化学习方法
ROOF 提出一种带接触支撑几何逃逸引导的强化学习方法,解决倒地人形机器人在头顶障碍下的起身问题:机器人需先制造空间再组织支撑,避免在腾出空间前起身而加重受阻。方法用学习到的运动先验,结合姿态相关支撑代价与关节卡滞代价,塑造单一策略,仅凭本体感知学习何时清除障碍、如何建立支撑以及何时完成起身。仿真中,在只能抬起的板下成功率为 88.5%,无几何引导时为 18.9%;在尺寸、质量和位置随机的自由板下成功率为 98.6%。在 Unitree G1 上,部署策略在七个真实障碍场景的 150 次尝试中成功 95 次,场景包括训练中未出现的家具和多物体布置。论文为 8 页预印本,尚未见同行评议信息。
PREM:用预测调节记忆的机器人操作VLA框架
研究提出PREM(Prediction-Regulated Memory),用动作条件的未来视觉预测同时指导视觉记忆的学习与更新,为视觉-语言-动作策略提供时序上下文。训练阶段以预测未来视觉特征作为记忆学习的时间监督;执行阶段比较当前视觉特征与上一步决策时的预测,用空间归一化的预测差异逐位置调节视觉状态更新。基于π0.5构建,PREM在DOMINO动态操作任务上把平均成功率从9.63%提升到20.74%,在RMBench M(1)记忆依赖设置上从14.4%提升到83.8%,并在LIBERO和LIBERO-Pro上显示通用操作与空间扰动鲁棒性提升。
Learning Agile Humanoid Dodgeball with Onboard Monocular Vision:机载单目视觉人形机器人躲球系统
研究以躲球作为受控测试,构建了集成机载单目感知、球状态与威胁标志时序估计和学习型全身控制的系统,并在Unitree G1实机上验证。系统由球检测器提供边界框历史,时序估计器预测相对球位置和二值威胁标志,躲闪/恢复与搜索/跟踪策略共享该接口并组合以支持重复遭遇。三阶段课程先用特权球状态训练控制,再从稳定策略 rollout 启动估计器监督,最后用估计器输出替换 actor 的特权输入;解析投影与感知随机化在不渲染图像的情况下提供类检测器训练观测。
JADE:让视觉语言模型与动作专家联合去噪的 VLA 方法
JADE 提出让预训练视觉语言模型(VLM)与扩散动作专家联合去噪,而不是只让 VLM 提供静态条件。其做法是让 VLM 在每一步去噪中读取带噪动作、视觉观测和语言指令,通过门控交叉注意力引导动作专家,并监督 VLM 从带噪潜变量恢复干净动作潜变量,从而获得直接的动作学习信号。联合去噪还使采样步数减少,配合自适应步长调度平衡性能与推理时延。在 RoboDojo 上,JADE 平均成功率为 12.67%。
MOST:面向长程移动操作的物体状态与任务进度记忆框架
MOST 是一个策略内部记忆框架,将多视角观测压缩为时间 token,并用物体状态和子任务进度显式监督历史与预测的未来 token,使记忆直接参与单一端到端策略的动作生成,无需外部规划器或检索阶段。作者同时提出 RoboCasa-Long 基准,包含多分钟、多阶段的移动操作任务。在 RoboCasa365、RoboCasa-Long 和真实机器人实验中,MOST 均优于此前最优模型 Xiaomi-Robotics-1(XR-1):RoboCasa365 平均成功率从 65.9% 提升到 72.1%。
研究评估触觉基础模型在接触密集操作端到端模仿学习中的效果
该研究将多种触觉基础模型(TFM)集成到 Diffusion Policy 中,系统评估其在接触密集操作任务上用于端到端模仿学习的有效性。作者进一步考察编码器微调与任务特定 mid-training 等适配策略,以了解预训练触觉表征如何用于下游模仿学习。评估覆盖真实世界与仿真环境中的多种操作任务,包含超过 5,000 次真实世界策略 rollout,并给出使用 TFM 的实证经验。论文已被 SII 2027 接收,当前为 arXiv 预印本。
ClothDojo:面向双臂衣物铺平与折叠的学习式数据生成与基准测试平台
ClothDojo 是一个仿真平台,可在多种衣物和初始状态下大规模生成自适应操作轨迹,并对策略进行闭环评测。该平台将每件衣物的规范网格坐标编码为 NOCS 纹理,通过预训练视觉-语言-动作模型的视觉接口提供规范表面位置线索;模型经人类演示与纠正微调后得到数据生成策略,自主生成仿真轨迹并保留满足任务成功标准的 rollout,再以随机采样的外观重新渲染,为不接收 NOCS 的下游策略提供 RGB 观测。
Auriga 技术报告:面向零样本具身操作的任务无关 Agent Harness
Auriga 技术报告提出一种任务无关的 agent harness,用于缩小视觉语言模型在机器人操作中规划与执行之间的落差。作者在 RoboDojo 上测得,移除机械臂执行后 GPT-6 Astra 成功率从参考控制接口下的 22.5% 升至 76.2%;Auriga 在零样本操作中弥合了该落差的 68.3%,无需目标任务试错或重置。模型基于显式任务信念做决策,通过直接工具调用或多步 Python 程序执行,harness 提供校准的 3D 测量、以手指为参照的双臂控制和单一机器人准入网关;运动前在仿真暂停时检查视觉轨迹预览,执行中校验阶段容差与抓取边界,偏离时停机并返回实测偏差供原地恢复。
具身问答证据审计基准:闭环智能体未到达目标仍答对45.5%
作者提出一个多房间具身问答基准,200 个测试回合、800 个问题按路径范围分层,并设计评测阶梯:问题固定不变,只改变提供给答题方的证据,从纯文本探针、闭环智能体到参考轨迹回放。问题由房间、可见物体和帧的符号记录生成,每个答案都可追溯到支撑它的观察。结果显示,闭环视觉语言智能体在 200 个回合中未到达任何目标,却答对 45.5% 的问题,与同一模型不给图像时相差 0.1 个百分点以内;回放参考轨迹后同一模型升至 57.4%,说明证据存在于路径上但未被采集。
TF²-Steering:用触觉预测与反馈经速度场引导修正机器人动作
TF²-Steering 提出一种通过残差引导流匹配动作专家速度场来修正动作的方法,用触觉混合专家架构同时整合触觉预测与实时触觉反馈。作者指出,当前多数机器人策略以视觉为主,触觉数据有限且接触事件稀疏,直接加入触觉信号可能被忽略甚至损害策略预训练能力。该方法配合三阶段训练流程,使触觉信号能够修正并在必要时重定向流匹配动作生成过程,同时保留视觉基础策略的动作生成能力。在六个仿真和六个真实操作任务上的实验显示,其平均仿真成功率比最强对比基线高 10.7 个百分点,平均真实世界进度成功率(progress success rate)高 9.1 个百分点。
ODE Policy:以动作动力学而非动作值学习机器人策略
作者提出 ODE policy,用神经常微分方程学习动作的向量场,而不是在离散控制步上直接映射观测到动作值。在模仿学习中,它通过匹配短动作块上的积分动作与目标来训练,并用轻量多样性头随机化场方向以捕捉多模态行为;部署时每个动作由前一个动作积分得到,轨迹在构造上连续。作者将其作为视觉运动策略、VLA 与世界动作模型的动作头、以及基于模型强化学习的 actor,在单臂、双臂、灵巧、运动与移动操作任务上与14个基线对比。
研究刻画机器人智能体集群负载:KV缓存抖动与准入控制
该预印本刻画了由视觉语言大脑、工具调用框架和VLA策略组成的机器人智能体集群在服务时的资源约束。作者用GPT-6-Astra、RPent和pi0.5生成80个LIBERO-PRO回合(1,862次大脑轮次、1,582个VLA推理块),在H800 GPU上分析两层负载并在vLLM上回放。大脑上下文达215k token,Astra请求中位耗时7.78秒,而环境步间隔仅1.0秒;0.25秒动作块时限下单块VLA GPU可满足单机器人1%饥饿目标,1.0秒时限下实测容量至少32。
PTS:免训练加速VLA模型执行,在推理延迟下提升任务吞吐
作者提出Path-preserving Time Scaling(PTS),一种面向冻结动作分块策略的免训练执行层,用于减少机器人在等待下一段动作推理和按缓慢演示速度运动上的时间浪费。PTS将机器人运动视为参考路径的时间重参数化,路径只随新观测改变:路径层用一步确定性解码每次重规划,并从推理期间消耗的进度处进入;时间层累加规划增量,机械臂保持1x而夹爪运动,并按执行器线性范围和延迟下的分块可行性限制速率。
外骨骼辅助策略通过人类反馈实现递归自我改进
研究提出一种通过人类反馈自主演化外骨骼辅助策略的框架:智能体生成可执行控制代码,在人体实验中结合主观反馈、运动表现和肌肉激活评估,再自主识别缺陷并修订代码,形成生成、反馈、评估与自主改进的闭环。框架用 GPT、DeepSeek、GLM 和 Kimi 评估,四种模型初始表现不同,但在测试条件下经一次自主改进迭代后均实现有效辅助。三项任务中,肱二头肌和肱三头肌肌肉激活水平相比无外骨骼时分别降低 29.4% 和 35.2%。作者同时指出,对突发情况的适应能力有限,鲁棒性和安全性仍需改进。
uni-robot-agent:支持继续训练的开源机器人使用智能体统一框架
论文提出 uni-robot-agent,一个面向机器人使用智能体(RUA)研究的统一框架,支持开源权重模型并便于继续训练,以降低对前沿闭源模型的依赖。在无特权输入条件下,开箱即用的 Qwen3.8-Flash-Next 取得 RoboDojo Score 31.39,高于已公布的 GPT-6 Astra-RoboProbe 结果 28.97,并在 19 个真实世界任务上表现有竞争力。作者跨模型代际、家族和规模的分析将有效机器人使用归结为四项通用能力,建议未来 RUA 训练应联合发展这些能力。该工作为 arXiv 预印本,尚未经同行评议。
CompliantBot:面向人形机器人控制的跨任务接口全身柔顺学习框架
CompliantBot 是一个面向运动跟踪与速度指令行走两类任务接口的柔顺训练框架,保留原始任务输入,无需预构造柔顺数据或目标轨迹。方法用状态相关的交互力场把外力与机器人运动耦合,配合力幅奖励鼓励降低交互载荷,并在受力时下调任务奖励、释放后恢复,以协调顺应与任务恢复;训练出的策略仅用任务输入和本体感知历史,不依赖显式外力测量。在两类任务接口上,该方法在恒定拉力下顺应位移更远、弹簧交互载荷低于对照基线,撤力后能恢复任务跟踪,较强拉力下任务完成率最高,平均关节机械功率最低;实机演示展示了手臂运动、迈步与身体转向的柔顺响应。该工作为 arXiv 预印本,尚未见同行评议信息。