跳到正文
具身前沿

2026 年 11 月 4 日 · 星期三

本期文章 114

返回刊物 ↗
  • SCOUT:用物体中心世界模型推演在遮挡下做机器人规划

    SCOUT 是一个面向遮挡场景的机器人规划框架,用物体中心场景表示重建被遮挡的几何结构,并生成包含遮挡层级与可达通道的关系规划状态。为应对杂乱环境中的巨大动作空间,框架由 LLM 提出结构化候选动作,再用学习到的动作条件世界模型配合蒙特卡洛树搜索(MCTS)逐一评估。在 Reveal 与 Placement 任务上,SCOUT 的表现优于视觉-语言-动作(VLA)策略、具身智能体和 3D 世界模型,在需要推理被遮挡几何的长程任务上提升明显;作者还在杂乱的货架环境中做了实机操作验证。论文为 arXiv 预印本,尚未经同行评议。

  • HuG:人形机器人全身可供性感知抓取与主动感知框架

    HuG 是一个面向人形机器人全身可供性感知抓取的框架,通过感知-对齐-抓取流程把视角作为显式决策变量来化解遮挡,并用点云条件可供性策略提出全身抓取。研究指出浮动基座下仅运动学可行不够,作者用控制器在环动力学仿真筛选训练数据,剔除了 73% 会 destabilize 部署控制器的运动学可行抓取。该策略完全在仿真中训练、零真实演示,在多层级货架任务上取得 87.5% 真实世界成功率,可泛化到新物体,各测试高度成功率至少 73%;仿真规模化测试还显示其能在低于训练中见过的桌面高度上成功。论文标注为 CoRL 2026。

  • OpenNWM:用潜动作预训练的通用导航世界模型

    OpenNWM 是一个通用导航世界模型,通过潜动作预训练缓解动作标注数据不足对真实环境泛化的限制。它先从大规模无动作视频中经视觉预测预训练学习通用潜动作,再用动作条件后训练将其与物理运动对齐。为支持视频预训练,作者构建了 NavAnywhere 数据集,包含来自15个异构来源的1750万条视觉观测,覆盖地面机器人、人类和无人机,横跨住宅区、公共与商业空间、城市场景、公园和自然景观五类场景。实验显示,模型在域内和域外基准上的视觉预测以及导航性能均有提升,作者据此认为潜动作预训练能让多样无动作视频改善开放世界导航的动力学学习与泛化。该工作为 arXiv 预印本,尚未经同行评议。

  • DARE:用回溯校正预测长时程动力学,实现扰动感知的密集堆叠取物

    DARE(Disturbance-Aware REtrieval)是一个几何感知的关系动力学框架,用回溯校正提升密集堆叠取物场景下的长时程扰动预测。它编码紧凑物体描述符,通过物体级消息传递预测动作条件下的扰动传播;当出现稀疏观测时,学习到的校正器利用预测偏差修正先前预测状态并重跑中间动力学,把校正沿预测接触链传播。这些预测驱动滚动时程规划器,在取物进度与周围物体位移、旋转之间权衡,允许必要接触而抑制有害扰动。作者在平面环境与 RoboCasa 环境中评估长时程预测、泛化性与鲁棒性,论文共 8 页、8 图、1 表,投稿 ICRA 2027,为 arXiv 预印本。

  • 论文指出机器人基础模型物理安全是跨层问题:延迟与视角偏移叠加风险

    论文提出机器人基础模型的物理安全并非模型单独属性,而是物理环境、模型、计算平台与执行在闭环中交互的结果,并将其形式化为跨层变化传播,用交互对比衡量联合变化是否超过各自影响之和。作者在LIBERO上对pi0.5视觉-语言-动作模型进行4000组配对闭环实验:400毫秒推理延迟在训练视角下使安全违规率上升3.5个百分点,而在60度相机偏移下上升37个百分点,比两种效应简单相加多出33.5个百分点(95%置信区间25至43)。论文最后提出面向可预测物理智能的研究议程,即预测变化何时转化为风险,并相应调整计算、功耗与控制。该文为arXiv预印本,共11页、3张图。

  • GoalDex:面向灵巧手内操作学习图像目标条件策略

    GoalDex 提出一种端到端视觉运动框架,仅用 RGB 观测和本体感知完成灵巧手内物体重定向,不依赖中间位姿估计。方法通过从特权状态教师做行为蒸馏并结合辅助重建目标,联合学习视觉表征与控制策略,并引入图像目标条件重定向,让目标物体构型直接由图像指定。在仿真中多种物体几何与实例上,该方法优于基于位姿的方法和基于预训练视觉编码器的策略;作者还展示单一图像目标条件策略在五个真实物体上的直接 sim-to-real 迁移,称无需显式位姿估计即可实现灵巧重定向。论文为 arXiv 预印本,代码与视频见项目网站。

  • Late Autumn:LLM 智能体为单一仓库定制通用多机器人规划器

    Late Autumn 研究 LLM 编码智能体能否通过自主研究,把通用多机器人规划器针对单个仓库站点做专门化,以牺牲通用性换取吞吐量。实验在模拟现有自动化仓库布局的地面上,对结合任务分配与多智能体路径规划(MAPF)的终身规划器开展六轮实验。结果显示:智能体将吞吐量提升 22%–60%,增益在未见随机种子上保持;它们重新发现了走廊出口优先级、局部引导和 rollout 等已知 MAPF 机制,不同实验独立定位到同一瓶颈;增益大体可迁移到另一布局、更大车队和其他服务时间,在更小车队下缩小,在出库偏重的需求组合下基本消失。

  • Dogger:仿生四足机器人的形态与控制协同设计框架

    论文提出仿生四足机器人Dogger,采用模块化三段腿、四杆机构和可调被动膝柔顺,并开发结合强化学习与贝叶斯优化的两阶段框架:先跨设计训练形态条件控制策略,再在任务特定设计选择中固定该策略。部署后的设计与策略零样本迁移,在巡检和负载搬运任务中分别将运输成本降低18.6%和35.7%。对比显示,完整几何-柔顺协同设计优于固定和受限设计范围;跨任务测试揭示出任务特定形态与共享机械权衡。作者称这些结果为硬件层面证据,表明在腿足机器人中扩展物理设计空间并配合学习控制,是实现任务驱动形态-控制协同设计潜力的关键。

  • RoboColosseum:面向真实环境的分布式机器人策略评测框架

    RoboColosseum 是一个分布式评测框架,通过统一策略服务和标准化协议,在多地本地运行的机器人网络上评测通用机器人策略。初步研究在 SO-101、Franka、Bimanual-YAM 和 G1 Humanoid 四种本体上评测了五个 VLA 策略和三个前沿 AI 智能体。Open Track 在匹配的本地条件下进行盲测配对比较,不做任务特定适配;Fine-tune Track 让每个策略在每项任务上获得相同的 100 条演示,考察其对四种本体共 20 项任务的适配能力。

  • W2A:将世界先验蒸馏进动作模型实现实时机器人控制

    W2A 提出两阶段蒸馏框架,在训练时把视频扩散模型中间去噪表示蒸馏进动作模型,测试时完全丢弃视频模型,以支持实时机器人操作。作者假设视频潜表示虽为高维,但压缩的低维子空间足以对动作生成提供有效监督。仿真与真实环境实验显示其成功率具竞争力,在 LIBERO 上平均成功率达 95.9%,推理速度比代表性 WAM 基线快约 21 倍。该工作为 arXiv 预印本,尚未经同行评议。

  • KlaskTron:面向物理对抗多智能体强化学习的开源平台

    作者提出 KlaskTron,一个基于桌面游戏 KLASK 的开源低成本(低于 2500 美元)机器人测试台,用于物理对抗多智能体强化学习。平台采用双 CoreXY 龙门架与高扭矩无刷电机,并提供 CAD、BOM、NVIDIA Isaac Lab 数字孪生以及基于学习神经执行器模型的 sim-to-real 基线。作者称该基线实现零样本策略迁移,训练出的智能体表现出涌现的对抗行为,硬件设计、推理软件栈与仿真及 MARL 配置均已公开。

  • EPO:基于能量的策略编排方法用于人形机器人移动操作

    论文提出 EPO,一种面向模块化目标条件策略族的基于能量的策略编排器,用于解决动态高维任务中固定规划器到策略接口失效的问题。EPO 为每个低层策略学习一个关于低层目标的复合能量,能量越低表示可行性越高、目标实现越准确;运行时先细化各策略的目标,再执行能量最低的策略-目标对。由于能量按策略独立,新增策略只需学习其自身能量模型,无需重训已有策略或集中式调度器。仿真中该方法改善了精度与鲁棒性的权衡,作者还在真实人形机器人移动操作任务上部署了同一套冻结策略与能量模型。论文标注为 CoRL 2026,预印本。

  • Sequential Recovery Updates:在保留成功轨迹前提下为学习控制器增量添加恢复技能

    论文研究如何为已能应对多种扰动的学习控制器增量学习纠正技能,同时决定何时不应用该纠正。作者不在参数层面冻结技能,而是约束入口规则:每次更新在实测失败处搜索反馈技能,拟合一条读取观测、拒绝所有已累积成功轨迹状态的入口规则,仅当组合控制器能自行复现新恢复且精确重放每条受保护轨迹时才接纳该技能,并给出有限轨迹条件下保持原控制器行为的条件。该方法在两个人形系统各两条运动流上运行,每条流两次更新在192次留出扰动中新增62次恢复,未损失基础控制器的成功案例。

  • RESONATE:面向自主服务机器人的真实社交导航测试平台

    论文提出RESONATE,一个面向人类感知导航的可复现真实世界基准,基于统一机器人平台、共享ROS 2软件栈、精确轨迹真值和结构化社交交互场景。作者在八个代表性场景中各重复五次,评估八种控制器配置,组合经典与预测型局部规划器及不同社交建模策略,共完成320次物理实验。评测结合导航与社会指标以及参与者主观评估,共同衡量效率、安全、舒适度和感知到的社交行为。结果显示所测方法存在随场景变化的取舍,DWA配合高斯社交代价地图在可靠性上表现突出,SFM-MPPI在鲁棒性、导航效率与社交接受度之间取得较好平衡。该工作提供真实世界基准、可复用基线、数据和测试平台及一致的评测协议。预印本,尚未经同行评议。

  • HeLM:面向非马尔可夫操作的分层显式语言记忆VLA框架

    HeLM 是一个分层 VLA 框架,用显式语言保存任务相关历史,通过分解式事件检测和事件触发记忆更新来应对非马尔可夫操作任务。作者指出多数现有 VLA 架构按马尔可夫假设只把当前观测映射为动作,在非马尔可夫环境中会失败。研究在 10 个真实世界非马尔可夫任务、56 个变体上评估,其中包括五个新提出的跨回合任务,要求跨任务边界保持上下文。结果显示,HeLM 相比最强基线将回合内成功率提升 12.8 个百分点,在组合泛化任务上子任务成功率达 78%,长时程下内存占用最多减少 4.5 倍、运行速度比关键帧基线快 2.5 倍。论文为预印本,共 32 页、14 幅图,含补充材料。

  • D&A:解耦描述与评估,让VLM成为零样本机器人奖励模型

    作者提出D&A(Describe & Assess)方法,将视觉语言模型的机器人任务进度估计解耦为两步:先对场景动态做客观、任务相关的文本描述,再用显式评分标准进行评估。该方法要求VLM在打分前先给出绝对成功的文本定义,从而把评估锚定到外部全局标准,而非视频内部时间线。作者称实验表明该方法能校准零样本估计、缓解确认偏差,给出细粒度部分进度指标,在失败执行上准确扣分、在成功执行上正确插值;由于纯基于提示词,D&A可跨任务、跨本体和跨基准泛化,效果匹配或超过经过后训练的奖励模型,其奖励估计还能用于下游强化学习。论文为arXiv预印本,尚未经同行评议。

  • Neural Integral Control Barrier Functions:从数据学习动力学、控制器与障碍函数实现敏捷避障

    作者提出 Neural Integral Control Barrier Functions,用神经常微分方程学习动力学、用模仿学习得到标称控制器、用监督回归学习障碍函数,再解析构建积分控制障碍函数(ICBF)滤波约束。障碍函数按可行性而非几何训练,即只有执行器限制下仍存在紧急机动可避开约束的状态才算安全。执行器限制作为硬约束进入在线优化,学习到的障碍行可松弛,从而保证每个状态可解且输入约束精确,并给出返回输入相对真实模型输入的漂移界。

  • MAPO:交替策略优化专家混合用于通用人形动作跟踪

    论文提出 MAPO(Mixture of Experts with Alternating Policy Optimization),用于通用人形机器人动作跟踪。作者指出,MoE 策略因动态路由,在策略梯度更新时可能错误估计新旧策略散度,而多数策略梯度算法依赖该散度约束更新,偏差会导致更新过于保守或过大,得到次优策略。MAPO 交替优化路由器与专家以避免该误估。实验显示,MAPO 能持续跟踪 182 个 PPO with MoE 无法跟踪的动作,而 PPO with MoE 仅跟踪 1 个 MAPO 无法跟踪的动作;在对比方法中 MAPO 跟踪成功率最高,多数误差指标下跟踪误差最低。

  • PlanContext:面向上下文驾驶决策的基准评测

    PlanContext 是一个评估上下文相关驾驶决策的基准,通过固定观测场景、改变高层驾驶意图构造配对评测,并定义六类代表性驾驶上下文,联合评估上下文决策正确性、道路合规性与动态安全性。作者在 NAVSIM 的 9,561 个场景条件实例上测试 23 个公开端到端驾驶模型,发现较高的常规驾驶质量分数并不总对应较强的路线级上下文决策能力。进一步分析显示,模型行为会随决策时机、道路结构和交通交互而变化,具体取决于当前上下文要求的决策类型。作者认为上下文驾驶决策是评估端到端驾驶系统的重要补充维度。

  • 面向一次性可打印任务专用软体机器人的端到端协同设计框架

    研究提出一个基于仿真的软体机器人协同设计框架,联合优化材料分布、气动执行器位置与朝向以及控制,并让设计可用熔融沉积成型一次性整体制造。框架采用可微的二维平面应力物质点法模拟器,结合经实验验证的材料模型和由经验推导的3D打印充气执行器代理模型,用梯度优化生成能复现指定末端轨迹的软体机械臂。优化设计从仿真直接转入一次性整体FDM制造,执行器集成其中、无需后装配;物理实验显示所得机械臂复现了仿真预测的行为。作者称该框架提供了从任务级目标到物理可实现软体机器人的路径,同时保留形态与驱动上的较大自由度。