2026 年 11 月 5 日 · 星期四
本期文章 87
DexArena:面向长程双臂灵巧操作的学习与泛化基准
DexArena 是一个评估长程双臂灵巧操作学习与泛化能力的基准,包含10个长程任务和30个阶段级任务,覆盖家庭与工业场景。每个长程任务由明确阶段组成并配有物理可判定的成功条件,可同时评估中间进度与端到端完成情况。基准提供统一接口、经人工遥操作验证的演示数据、标准化仿真配置、场景随机化、轨迹回放和任务级评估;基线实验显示精确操作、场景变化泛化和技能组合仍存在明显挑战。
SNAP:在行人之间进行语义导航的强化学习策略
SNAP提出一种强化学习导航策略,从单张语义标注的鸟瞰图(BEV)地图中同时推理语义地形与动态障碍物,不依赖显式的人体状态估计。作者称该策略在拥挤城市场景中优于已有的群体导航与语义感知基线,并零样本迁移到腿足机器人,在高度动态的真实场景中实现符合社会规范的导航。论文为arXiv预印本,尚未经同行评议。
适配机器人的软指UMI采集接口:100小时抓放数据经验
研究提出一款基于YUBI的电池供电手持采集接口,其软质斜角手指可包裹物体、在受力时产生可见形变作为力的视觉代理,并与机器人夹爪匹配。作者用它采集了覆盖53个物体的99.7小时数据集,在49个物体上训练π0.5策略,另留4个作为未见物体。结果显示,即使仅约一半数据包含顶置相机,加入该相机仍使成功率提升13个百分点;在本多任务数据上做中间训练后,对未见物体微调的成功率从35%提升到57%。手指设计、数据集与数据处理代码已公开,论文共8页、3图3表,被CoRL 2026 UMI Arena Workshop(Track 3)接收为海报。
AIRoA-0:仅用手持夹爪数据训练的长程跨本体双臂操作系统
AIRoA-0(A-0)是仅从16151小时手持演示中学习的双臂操作系统,全程未采集机器人数据。演示由开源手持夹爪YUBI录制,无需机器人在场即可采集操作数据。A-0仅凭每只手腕上的摄像头、不使用头部或场景摄像头,在未录制过训练数据的场地完成十余个小零件分拣入编号格、更换扫地机器人拖布与刷头、拉开笔袋拉链和叠毛巾等任务;在评估的十项任务上平均成功率78%,而在相同任务演示上后训练的四个视觉-语言-动作模型中最强者为27%。
RoboScope Kit 提出统一具身智能评测接口,500 回合评测提速最高 25 倍
RoboScope Kit 用统一接口封装模型与基准评测器,让各基准自身的规则和评分保持不变。它把每个模型包成 Policy 类、每个基准包成适配器,覆盖六类基准,并将仿真器 worker 与 Policy 副本分池调度、按实测探测确定规模。在 LIBERO-Long 上,单张 48 GiB RTX 4090 运行 StarVLA 检查点时,并发搜索选出 12 个仿真 worker 共享 3 个 Policy 副本。
CoReMatch:面向实时机器人特征匹配的循环连续坐标细化框架
CoReMatch 是一个在连续坐标空间中直接细化对应关系的循环框架,而非在固定网格上预测置信度图,用于视觉定位、建图、SLAM 和自主导航等机器人感知任务。方法上,粗阶段用 Deep Aggregated Transformer 捕捉全局上下文并迭代更新对应坐标,再由轻量回归头进一步锐化定位。在室内外基准上,作者称其精度超过 Efficient LoFTR,同时在嵌入式边缘硬件上运行速度超过 10 倍。该工作被 CoRL 2026 接收,预印本发布于 arXiv。
MABEL:面向遥操作与学习的开源拟人移动双臂平台
作者提出开源拟人移动双臂机器人MABEL,具备56个自由度,部件成本约8100美元。平台由两条7自由度手臂、17自由度手、可俯仰躯干、升降机构、3自由度颈部和全向底盘组成,手臂与躯干可反向驱动以支持柔顺交互,指尖可达范围从地面到2.23米。头部与躯干使建模相机覆盖范围约为固定躯干相机的三倍。研究用Apple Vision Pro进行头部与手部追踪,实现无手持控制器的全身遥操作,在机器人Wi-Fi热点下立体视频端到端平均时延为137毫秒。作者还演示了从遥操作数据采集到策略部署的端到端模仿学习流程,使用共享命令接口与全身控制器。该工作为预印本,尚未经同行评议。
FEIJOA:面向移动操作的任务驱动接地与执行
FEIJOA 是一个在测试时对指令进行接地的语言模型智能体,用于移动操作任务。它针对 posed RGB-D 扫描反复查询接地工具并检查候选,直到解析指令;配套的具身感知执行框架会检查各技能前置条件、采样可达基座位姿,并在执行前后用观测验证技能效果。在 103 条开放式接地查询上,FEIJOA 精确解析 94.2%,最佳预构建场景表示为 68.0%。在 Spot 上的 50 次实机试验中完成 35 个任务,其中 17 次成功来自工具调用或验证检查失败后的恢复;15 次失败中 13 次源于机器人物理技能,仅 2 次源于接地或智能体推理。
DiMuRe:面向机器人任务执行的诊断引导多级恢复框架
DiMuRe 是一个面向机器人智能体的诊断引导多级恢复框架,利用阶段特定证据和方法前置条件,选择复用原程序或调用预定义恢复技能,包括有界的视觉-语言-动作(VLA)抓取。原程序退出后,多模态大语言模型可依据图像和执行反馈生成修正代码,并由局部验证检查每次恢复尝试的结果。作者同时提出 LIBERO-Disturb 基准,用于测试执行中途受扰动时的鲁棒性与恢复能力,支持基于程序的智能体和 VLA 策略。
DreamFree:用表征蒸馏让世界动作模型免于想象未来视频
DreamFree 是一种世界动作模型(WAM),通过表征蒸馏把预训练视频扩散模型改造成预测性视觉编码器,仅用当前观测即可预测冻结视频扩散模型的表征,再由动作模块提取动作相关信息,从而无需生成未来视频就能预测动作。作者称在真实世界和仿真任务中,DreamFree 的成功率高于当前先进的 VLA 和 WAM,并在 14B 视频扩散骨干上以 11Hz 实现实时闭环控制。实验还显示,更强的视频先验和额外视频数据可转化为更好的机器人控制,并能从视频演示中学习新机器人任务,包括来自不同本体的视频,且新任务无需动作标注。该论文为 arXiv 预印本(arXiv:2611.04527)。
VARP:面向非单调物体重排的视觉自适应规划器
VARP 是一种从专家演示生成的视觉状态表示中直接学习非单调物体重排的规划器,用于杂乱环境中需要先临时挪动物体再归位的任务。它根据当前与目标视觉状态预测抓放动作,并引入动作细化策略 ARS 提升动作可行性、进度强化策略 PES 缓解进度停滞,通过持续用最新视觉状态更新动作在线适应扰动,无需从头重规划或在线组合搜索。在重排基准上,VARP 达到 98.3% 成功率、每任务规划时间仅 0.4 秒,执行期扰动下成功率 97.5%,持续严重扰动下为 94.5%,并能泛化到未见过的物体数量。作者称结果表明该方法为非单调物体重排提供了可扩展且稳健的方案,论文为 arXiv 预印本。
面向自主移动机器人的实用因果框架:从仿真到真实人类环境
论文提出一种面向自主移动机器人的因果推理框架,目标是把仿真中学到的因果关系以尽量少的代价迁移到真实世界。方法保留高层因果结构不变,只用少量新观测更新因果模型参数,实验显示参数更新可实现快速的仿真到现实迁移。该框架能在移动机器人上机载高效运行,在复杂人机共享场景中导航成功率与安全性显著优于非因果基线。论文已被 IEEE Robotics and Automation Letters(RA-L)接收。
面向安全关键自主的实时GPU求解器:在机器人控制回路内在线计算Hamilton-Jacobi可达性
研究提出一种CUDA实现的WENO5+TVD-RK3+Lax-Friedrichs水平集Hamilton-Jacobi-Isaacs求解器,支持2D、3D和4D动力学,速度足以在机器人控制回路内运行。在单块NVIDIA RTX 4000 Ada工作站GPU上以FP32计算,3D Air3D BRT达112 Hz、4D追逃BRT达61 Hz、2D受风漂移体BRT达74-147 Hz,比同精度JAX参考实现hj_reachability快5.9-17.5倍。
RAFT:推理对齐微调提升 VLA 后训练鲁棒性
论文提出推理对齐微调(RAFT),一种两阶段后训练流程:先在任务相关推理标注上训练低秩适配器,再冻结适配器并在动作演示上微调策略,以缓解少样本适配后对物体、外观和指令变化的鲁棒性下降。在实体 DROID 机器人上,RAFT 的分布外成功率为 75.0%,普通微调为 27.9%;在多阶段双臂 YAM 任务上平均成功率为 70.0%,最强基线为 36.0%。RAFT 在仿真抓放和开抽屉任务中面对视觉、物体和指令变化时成功率也有提升,其策略对标注任务区域的注意力更多,后层物体身份线性探针准确率更高;更广泛的推理数据混合还能在不同演示预算下提升下游成功率。
AIT:将人类视频中的操作知识通过动作意图迁移到机器人
AIT 是一种两阶段方法,通过人类与机器人共享的干净动作表示来迁移操作知识。第一,AIT 从操作视频中提取显式动作意图,并将隐式动作意图解耦;第二,AIT 在该共享意图空间中对齐人类与机器人域,并将意图解码为可执行的机器人动作。作者称在仿真和真实环境中的大量实验表明,AIT 能更有效地迁移人类知识,并持续优于此前基线。论文针对 VLA 模型依赖昂贵真机数据这一瓶颈,指出已有方法提取的隐式动作表示会混入场景特定噪声,从而稀释迁移的知识。该文为 arXiv 预印本,共 12 页、6 幅图。
Physical Diffusion Policy:用MPM引导3D高斯仿真估计物理参数
论文提出一种物理感知扩散策略,通过将3D高斯泼溅与可微Material Point Method仿真耦合,从视觉演示中恢复物体材质属性,并借助视频引导和粒子级约束完成物理参数估计。估计出的物理条件被接入材质感知的Mixture-of-Experts扩散策略,以在不同物理状态下自适应生成行为;作者还引入物理记忆库,使部署时无需在线仿真优化即可检索物理信息。在多种仿真与真实物体上的实验显示,该方法相比现有扩散策略提升了操作成功率与泛化能力。论文为预印本,共10页。
ActOR:用环境AI编排器提升人形机器人在手术室的任务自主性
ActOR 提出用环境 AI 智能体编排器与人形机器人执行端耦合,为手术室中的人形机器人提供共享感知与执行反馈。系统将壁挂环境相机与机器人头部相机融合为物体级数字孪生,由大语言模型智能体在孪生上调用预编程的移动与操作技能进行规划,无需任务特定训练,执行中依据孪生更新和执行结果决定重试、换方案或重新规划。在两个由真实房间重建的仿真手术室的三项任务中,当目标初始不在机器人视野内时,环境感知把每次试验的探索调用从 1.05 降到 0.12;闭环反馈把标称执行成功率从 46.7% 提升到 83.3%,在注入导航、物体移位和抓取扰动时从 8.3% 提升到 51.7%。
RAIPAL人形机械臂论文发表:峰值负载20 kg、末端速度20.6 m/s
论文提出面向人类任务性能的人形机械臂RAIPAL,按已发表的人体上肢任务测量数据推导力、速度与耐力指标,并据此设计执行器、机构与热管理。平台由面向力的上臂部件、面向速度的前臂部件和随姿态改变扭矩-速度特性的肘部机构组成,采用行星执行器与紧凑的嵌入式电子。实验测得峰值负载20 kg(为自身质量的2.25倍)、末端速度20.6 m/s,并在重复锤击冲击下持续运行;热分析显示其持续运行能力在几乎整个负载谱上超过已发表的人体负载-持续时间边界。论文发表于IEEE Robotics and Automation Letters 11(12)(2026)。
3D World Simulator:混合粒子-体素动力学实现多模态三维世界仿真
作者提出 3D World Simulator,一个动作条件多模态世界建模框架,从统一三维表示中联合预测外观、几何与触觉观测。方法上,混合粒子-体素自编码器把点云压缩为紧凑三维体素潜变量,再由动作条件潜动力学模型预测其演化,共享表示支持任意视角的几何一致渲染和空间对齐触觉信号的接入。实验展示了 50 Hz 的交互式长时程多模态预测,并用于生成触觉与多视角视觉数据以训练和评估策略,包括腕部相机和新视角;作者还将方法扩展到包含多样物体的大规模数据集,并用未见过的物体和机器人构型做基于模型的规划。该工作为预印本,结果来自作者自述实验。
ReflexArc:将瞬时触觉反射自下而上集成到人形机器人全身控制
ReflexArc(ARC,Ascending Reflex Control)提出一种自下而上的框架,把瞬时触觉反射与学习型全身控制结合,用于人形机器人在杂乱环境中应对意外接触。ARC 包含两部分:反射通路从全身触觉感知中检测危险接触,求解全身退缩姿态,并在 10 ms 内直接下发到电机;自下而上的反射集成则通过反射在环策略学习、反射透明策略对齐和反射知情策略适配,维持退缩动作、保持平衡并完成更长时程的恢复。