跳到正文
具身前沿

2026 年 11 月 3 日 · 星期二

本期文章 69

返回刊物 ↗
  • D4orm 扩散去噪多机器人轨迹规划扩展至 T-RO,含十架四旋翼零样本部署

    该研究基于动力学感知的扩散去噪框架 D4orm,构建了面向不同运行需求的规划器家族,包括提升可扩展性的解耦规划器、带反馈控制的在线滚动时域规划器和面向资源受限场景的分布式规划器。在 2D 与 3D 环境中对差速驱动机器人和全向机器人评测显示,基于 D4orm 的方法比 MPPI 等采样优化方法及一种基于学习扩散模型的方法更快、更可靠地找到高质量解。作者还展示了十架真实四旋翼在障碍环境中的零样本部署、100 个仿真机器人的大规模解冲突,以及六台地面机器人完全机载的分布式长期运行。论文已被 IEEE Transactions on Robotics 2026 接收。

  • I3L:面向全身移动操作的迭代交互模仿学习系统

    I3L 是一套结合硬件与学习的系统,用全身纠错与迭代策略精炼缓解离线模仿学习策略在长程全身移动操作中的分布外退化。其低成本开源 JoyLo+ 接口通过策略跟踪主臂与触控接管,实现对臂、躯干和底座的协同纠错,并支持迭代部署与重训练以针对更新策略的失败。作者在三种机器人本体、八个仿真与真实任务(含四个长程全身移动操作任务)上评估,受控仿真显示四轮 HG-DAgger 在两个任务上最终成功率最高;该协议下 I3L 相比基础策略平均提升自主成功率 68.3 个百分点,每个任务至少达到 90%,在相同训练轨迹数下比仅用示范训练平均高 35.6 个百分点,四轮后每回合接管时长平均下降 72%。

  • 共享模块化循环结构用于上下文MDP的通用形态控制

    论文研究通用机器人形态控制器,针对上下文特征往往只能部分获得的问题,提出通过模块化交互恢复这些特征,从而改善多机器人控制与对训练中未见上下文的泛化。作者实现了一种带共享模块化循环的Transformer架构,并在大量MuJoCo机器人上评估其泛化性能。结果显示,在四种不同环境中,对具有未见动力学、运动学和拓扑结构的机器人,零样本泛化性能有显著提升。论文为arXiv预印本,尚未经同行评议。

  • SV-WAM:面向端到端自动驾驶的高效环视世界-动作模型

    SV-WAM 是一个保留六路摄像头输入的环视世界-动作模型,目标是兼顾完整空间覆盖与高效推理。作者把未来视频预测用作动作学习的密集训练监督,而非推理阶段输出,核心是以动作为中心的因果掩码,使动作 token 在联合去噪时不关注未来视频 token,从而在部署时丢弃视频分支、只做动作规划。方法还引入可微的可行驶区域合规正则项,惩罚车辆足迹角点接近或越过可行驶边界。在闭环 NAVSIMv2 和开环 nuScenes 基准上,作者报告其规划性能达到当前最优,推理时延较低,并具备有竞争力的零样本迁移能力。论文为预印本,共 23 页、16 幅图。

  • PDRVLA:引入物理动力学表征的视觉-语言-动作模型

    PDRVLA 是一个带物理动力学表征的视觉-语言-动作模型,其轻量物理动力学模块从视觉-语言特征中提取物理 token 来条件化动作生成,无需在线生成未来视频。该模块通过直接预测未来 RGB、深度和光流特征进行学习,并以冻结的预训练视频世界模型提供辅助监督;训练完全依赖公开数据,并通过人到机器人合成、子任务标注和具身思维链(ECoT)标注扩充。在四个仿真基准上,PDRVLA 的成功率为 LIBERO 99.3%、LIBERO-Plus 89.9%、RoboTwin 2.0 93.6%、SimplerEnv 81.5%。

  • TacClaw-Infinity:面向灵巧操作的大规模视觉-触觉-语言-动作数据集

    研究团队提出 TacClaw-Infinity,一个面向接触密集操作的大规模结构化视觉-触觉-语言-动作(VTLA)数据集,使用触觉版 UMI 式手持采集接口 TacClaw 记录同步的视觉观测、指尖触觉信号与末端执行器轨迹,采集时无需目标机器人。数据来自家庭、实验室、工业场所、零售店和户外环境的分布式全球采集,并包含学术与工业合作者贡献的任务,规模超过 10000 小时、100 万条 episode、10 亿帧,覆盖 1000 多种任务类型。

  • Self-Building Labs:面向高层科学目标自建实验室的自动化系统

    论文提出自建实验室(SBL)系统,可根据高层科学目标自行设计、配置并运行实验室装置,从空房间或已有自驱动实验室出发补齐实验室布局、数字孪生、机器人技能与实验流程。作者称系统已在不同机器人和装置上运行,可从单工作站扩展到多机器人协同的实验室,并通过一项真实量子点合成实验验证端到端能力。研究将人类研究者的工作从手动配置和编程设备自动化转向指定科学目标,作者认为这有助于提升科学自动化的可及性、灵活性与可扩展性。该工作为 arXiv 预印本,尚未经同行评议。

  • SACQ:面向超低比特视觉-语言-动作模型的结构感知码本量化

    SACQ 是面向视觉-语言-动作(VLA)模型的超低比特权重量化框架,针对从大语言模型沿用的训练后量化在 VLA 超低精度下退化的问题。方法包含三部分:结合输入统计与下游敏感度的角色特定二次度量做结构感知码本拟合;依据逐层压缩带来的最终动作误差增量做动作感知混合比特分配;以及带二阶误差补偿的码字索引重分配与面向解码动作的码本和行组尺度校准的两阶段量化后精修。在 GR00T N1.7 上,语言/动作权重 1.5 比特时四个 LIBERO 套件平均成功率 93.85%。

  • MotorSense发布视频与EMG配对数据集,用于动作理解

    MotorSense 提出首个大规模自我中心视频与表面肌电(EMG)配对数据集,将双臂EMG带与自我中心视频同步,覆盖100小时无脚本操作,并同时采集IMU与音频。作者指出EMG可捕捉手指运动、手部构型及手与环境间的作用力,不受遮挡和标注者偏差影响,可替代昂贵主观的人工标注。研究通过视频与EMG跨模态预训练学习感觉运动对齐,使动作在视觉与运动空间形成共享组织,并将所得视觉模型迁移到动作识别、3D手部重建和3D接触重建任务;还用EMG运动信号条件化视频扩散模型生成细粒度手部操作视频。

  • ID-WM:解耦状态可达性与局部控制的分层世界模型

    作者提出 ID-WM(Implicit Dynamics World Models),一种将状态空间可达性与局部控制解耦的分层世界模型:高层模型在状态流形上采样可行转移,低层世界模型作为逆动力学求解器把这些转移落地为精确动作,使规划器无需受低层执行细节约束即可确定可达子目标。作者称该方法优先考虑局部物理可行性而非全局行为模式,能从短片段合成新的长程规划,超越训练中见过的行为模式。在三个导航与操作测试套件上,其性能相比先进策略与扩散规划器提升 38.5%;借助分层结构缓解累积误差后,相比单层世界模型 MPC 在复杂未见长程配置上取得 135% 的性能提升。

  • RoboArchitect:用编码模型自动设计带持久记忆的机器人智能体框架

    RoboArchitect 让编码模型观察机器人 rollout、诊断失败并迭代修改冻结策略外围的 agent harness,在不更新任何模型权重的情况下提升表现。在多个基准和策略上,未见场景平均成功率从 9.7% 升至 43.3%(4.5 倍),未见任务从 12.7% 升至 40.2%(3.2 倍)。作者称基准离策略训练数据越远增益越大,包裹通用策略后演化出的框架常优于微调版本,并能自动形成抬升卡住机械臂、遇上方障碍改水平接近等控制策略,同时演化持久记忆把有效抓取深度等经验带入后续决策。该工作为 arXiv 预印本。

  • REA:面向异步脑-小脑控制的路由式具身智能体运行时

    论文提出 REA(Routed Embodied Agent),一个让审慎的 System 2、具身路由 System 1 与反应式 System 0 策略在同一运行时协作的框架,核心规则是运行中的策略不等待大脑。REA 用预先记录各策略实测成功率的 route memory、在策略执行时触发大脑判断的边界触发门,以及共享预算的升级阶梯实现有界恢复。在 60 个 LIBERO-Pro 任务的 3000 个测试回合中。

  • ROOF:让倒地人形机器人在头顶障碍下完成起身的强化学习方法

    ROOF 提出一种带接触支撑几何逃逸引导的强化学习方法,解决倒地人形机器人在头顶障碍下的起身问题:机器人需先制造空间再组织支撑,避免在腾出空间前起身而加重受阻。方法用学习到的运动先验,结合姿态相关支撑代价与关节卡滞代价,塑造单一策略,仅凭本体感知学习何时清除障碍、如何建立支撑以及何时完成起身。仿真中,在只能抬起的板下成功率为 88.5%,无几何引导时为 18.9%;在尺寸、质量和位置随机的自由板下成功率为 98.6%。在 Unitree G1 上,部署策略在七个真实障碍场景的 150 次尝试中成功 95 次,场景包括训练中未出现的家具和多物体布置。论文为 8 页预印本,尚未见同行评议信息。

  • 从遥操作到长程灵巧操作:评估灵巧操作的视觉运动技能与离线代理指标

    研究在五指机械手上用约1700次实机试验评估了覆盖七个策略族的281个模仿学习策略,任务为RJ45连接器抓取与插入。受控消融显示,观测与动作表征的影响超过常规优化器和采样选择:点云策略中感兴趣区域裁剪、机器人基座坐标系表示和点编码器内归一化各提升成功率70至100个百分点;视觉-语言-动作策略改用绝对而非相对动作预测,插入成功率最多提升70个百分点。技能分解、多视角感知和恢复演示与表现最好的系统相关,但效应未被独立分离。

  • WorldBridge:用视频与动作桥接提升世界动作模型的任务泛化

    WorldBridge 是面向世界动作模型(WAM)任务泛化的方法,通过分离的视频专家与动作专家、结构化注意力和联合流匹配训练,把视频预测转成可执行动作。作者在 RoboTwin 2.0 上做监督消融:仅用分布内视频-动作监督时,分布外任务成功率为 25.07%;加入这些任务的无动作标签视频后升至 55.90%;每任务再加一条带动作标签示范后达到 70.70%,说明更广的视频覆盖可借助已有逆动力学能力促进迁移,稀疏动作监督进一步增强该能力。

  • CaPtain:把小型开源VLM后训练为代码即策略机器人智能体的流程

    CaPtain 提出一套开放后训练流程,将小型开源视觉语言模型训练为代码即策略(CaP)机器人智能体,测试时不依赖 VLA、前沿模型或特权状态。方法先在 GPT-6 Astra 生成的合成轨迹上做监督微调,再做多轮强化学习;由于单次请求的物理影响常延迟数轮才显现,作者引入读取策略不可见仿真特权状态的物理评论器,按各请求对预测成功概率的改变分配信用。以 Qwen3.5-4B 为起点(零样本 0%)。

  • Hourglass:耦合本体无关世界模型与可微自我动力学的跨本体运动规划

    Hourglass 提出一种沙漏形架构,把跨本体运动规划分解为与本体无关的世界模型和各机器人可微的自我动力学,两者仅通过相机自我运动这一接口耦合。世界模型在跨本体、跨相机安装的数据上联合训练,每个机器人的自我动力学是带辨识物理参数的降阶模板,通用参数条件策略在该接口上学习一次,想象训练经由各机器人模板使策略具备本体感知。在五种运动类型共七个仿真机器人上,该通用策略成功率比同一世界模型上的模仿学习和扩散策略基线高 3.8 至 10.6 个百分点,无需专门训练即可匹配各机器人专家策略,并在不使用在线地图时接近其参数条件 MPPI 教师 1.4 至 2.8 个百分点。

  • CC-HGCBF:面向异构移动机器人团队零样本安全导航的能力条件图控制屏障函数

    论文提出能力条件异构图控制屏障函数(CC-HGCBF),在共享二阶参考点操作空间中为运动学与驱动能力各异的机器人提供统一安全几何表示,同时保留各机器人自身的动力学与控制约束。为支持零样本迁移,作者引入径向能力场(RCF),以固定维度紧凑表示每个机器人状态相关的有限时域可达速度集,使共享图屏障与去中心化策略无需依赖预设机器人身份即可适应状态、运动学约束和控制限变化。屏障与策略通过主动安全标注和神经 CBF-QP 监督联合训练,并在包含已见与未见机器人模型的混合团队上评估,实验显示可扩展的安全协同以及对训练中未出现模型和能力变化的零样本迁移;实机实验进一步展示对未见运动学模型无需重训的零样本部署。

  • CIMI:通过展示接触展开过程迁移灵巧操作技能

    作者提出 Contact Imitation Interface(CIMI)框架,包含接触接地的演示接口与学习接口,用于从无机器人的人类演示中获取可迁移到机器人手的灵巧操作数据。演示接口结合共享接触几何与指尖 RGB 视图,采用接触对齐优先的重定向,并对更宽场景视图做重投影;学习接口引入分层策略,由接触表面规划器预测相对接触表面轨迹,控制器协调手腕与手指指令以改善接触对齐。在 LEAP 与 Wuji 上的六组手-任务对中,CIMI 相比基线策略将平均末阶段成功率提升至少 50 个百分点。硬件设计与软件已公开,论文共 15 页,含 8 页正文与 7 页补充材料。

  • TRACE:面向具身视觉跟踪的目标状态风险门控执行方法

    TRACE 是一种执行期目标状态风险门控方法,用于缓解具身视觉跟踪中策略后训练带来的安全代价。作者用冻结骨干的 0.6B VLA 跟踪器,仅以 PPO 更新规划头,成功率与跟随率在 EVT-Bench 三种设置下均提升,但分心跟踪场景的碰撞率上升,因为原本以目标丢失结束的回合改为以接触结束。TRACE 保留已学策略,由轻量风险头处理 84 项线索,当校准风险超过阈值时缩放下一路点的平移分量、保持偏航不变,执行动作与 PPO 在超过 98% 的步骤上相同。