2026 年 10 月
本期文章 343
RISE:面向感知型人形机器人跌倒恢复的测试时运动引导方法
Osher Azulay 等人提出 RISE,一种让任务目标在推理阶段引导人形机器人起身方式的方法。该方法先学习连接预期动作与电机动作的恢复动作词表,再由视觉扩散规划器预测未来身体状态,并用任务代价把预测导向指定朝向、起身速度或路径,无需重新训练即可在测试时改变动作。仿真实验展示了多样化恢复、地形适应和测试时引导,并在宇树 G1 上给出实机演示。
ASTEROID:非对称在策略蒸馏让历史条件学生学会上下文探索
作者提出 ASTEROID,一个学生-教师监督学习框架,让学生先在不完全可观测下采集在策略上下文,再由特权专家基于该上下文给出动作标签,从而学会测试时探索。在 11 个环境(含离散探索基准、机器人操作、导航和 Procgen)中,该方法在固定探索预算下回报约为对比方法的 2 倍,交互次数比强化学习基线少约 100 倍。
SpatialDex:从纯RGB人类视频重建增强视觉运动预训练,学习3D双臂灵巧操作
SpatialDex提出一种从纯RGB人类视频学习3D双臂灵巧操作的框架,通过重建场景几何并结合手部运动估计进行视觉运动预训练。该方法将重建几何同时作为策略输入和预测目标,用门控残差融合把预训练视觉语言模型的token网格锚定到该几何上,并预测未来场景几何与手腕、手指动作。
I Won't Know Until I Try:面向长程操作的交互式信息获取规划框架
Linfei Yuan 与 Rachel Holladay 提出一个任务与运动规划(TAMP)框架,将任务导向的交互式信息获取与规划执行交错结合。该框架基于 PDDLStream 乐观地规划交互动作,在执行中验证结果,并保留仍适用的动作、只重规划继续执行所需的连接。
WorldFailBench 发布:评测世界模型能否理解机器人策略失败
研究团队提出 WorldFailBench,用于检验世界模型能否忠实模拟机器人策略的失败方式与失败阶段。该基准包含失败原因、失败阶段和失败边界三项测试,覆盖 LIBERO 与 RoboTwin 仿真环境中的操作任务,以及 G1 人形机器人在真实世界执行的操作任务。对七个世界模型的实验显示,它们在理解策略失败方面存在明显差距。
SimPT:面向干预式 VLA 后训练的自动化仿真框架
SimPT 是一个自动化干预式 VLA 后训练的仿真框架,把策略 rollout、纠正数据采集、策略训练和独立评估整合在一起。
无渲染事件帧仿真加速自主机器人导航强化学习
研究提出一种解析事件仿真器,直接从场景几何与自运动合成事件流,无需视觉渲染,单 GPU 生成 64x64 事件观测耗时 17 微秒,比先进渲染管线快 400 倍以上。
EventSync:面向历史依赖操作的事件驱动记忆更新框架
EventSync 是一个分层框架,通过事件驱动的记忆更新协调任务推理与动作执行:视觉语言模型依据任务计划和交互历史生成子目标,视觉-语言-动作模型负责执行,轻量 Event Monitor 结合视觉观测与末端执行器轨迹判断当前子目标是否完成,只有取得完成证据后才写入已完成子目标历史并触发下一步推理。
OpenTac 发布可定制三维触觉皮肤及配套设计生态
OpenTac 提出一种可定制、可扩展的电阻式触觉皮肤及全栈生态,通过结构化可变形覆盖层把切向载荷转为空间变化的压力分布,相邻 taxel 的差分响应可解码局部剪切向量,共模响应编码法向力。
RoboCode:学习可复用动作基元的机器人操作策略
RoboCode 提出一种共享软门控动作基元接口,把动作块表示为多个学习基元的软组合,而非单一离散编码。该接口在多个任务的动作块上学习后冻结,再训练任务特定的状态编码器映射到共享潜空间。在五个 ManiSkill 操作任务上,动作块平均重建 MSE 为 0.0187,闭环平均成功率为 75.6%,高于 ACT 的 68.8% 和 Diffusion Policy 的 41.6%。
WorldMirror:从野外机器人演示生成可交互仿真世界的智能体框架
WorldMirror 是一个智能体式 real-to-sim 框架,可从野外机器人演示构建可交互数字孪生。它把 real-to-sim 构建表述为可执行世界程序的迭代精炼:编码智能体分解场景、规划重建步骤并调度图像与 3D 生成工具,再通过验证反馈修正程序。在 DROID 上的实验显示,该框架能重建视觉忠实、几何一致的可交互世界,并保持所记录机器人轨迹的物理有效性。
PS-DLO:融合属性与空间感知的可变形线性物体操作策略
PS-DLO 提出一种属性与空间感知的可变形线性物体操作策略,通过对比图文学习把初始观测映射为物体属性的类别描述,并用 SAM3 从未来观测提取掩码引导特征、蒸馏进策略的动作专家。作者在单臂和双臂平台的九个真实任务上为每种本体训练共享多任务策略,平均成功率达 68.9%,比最强基线高 20.0 个百分点;在蝴蝶结解结的七种视觉偏移条件下,有六种成功率高于基线。
EmbodyHOI:面向人形灵巧操作的具身感知手物交互生成
EmbodyHOI 在冻结的流匹配手物交互轨迹生成器采样循环中嵌入针对特定人形本体的可微逆运动学求解器,把本体可达性约束加入生成过程。在 ARCTIC 轨迹上,该方法把 Unitree G1 与 H1-2 的重定向腕部误差从 8.9 cm 降到 0.6 cm,同时保持文本到手物交互的生成质量。
LEAP Hand 两种指型布局的触觉手中旋转对比研究
研究对比了两种 LEAP Hand 指型布局(拟人与对称)在连续手中物体旋转任务中的表现,两版手均集成 TacTip 视觉触觉传感器并共用同一强化学习框架。仿真中,完整触觉观测相比仅本体感知使每回合平均归一化旋转量在拟人手提升 94.8%、对称手提升 66.9%,且回合更长、平均指尖总载荷更低。硬件实验中,对称手平均旋转次数高 32.0%、总旋转速率高 25.8%,平均指尖总载荷低 19.9%。
AIM:通过动作影响力最大化训练可控世界模型
论文提出 Action Influence Maximization(AIM)算法,主动采集训练数据以提升数据集的动作影响力,从而改善动作条件世界模型对指令的响应。
ThinkLocoManip:面向腿式移动操作的全身体控制智能体框架
ThinkLocoManip 提出一种面向腿式移动操作的全身体控制智能体框架,采用推理与行动交错的范式,让智能体持续推理当前状态、执行动作、观察结果并调整策略。
PanoGraphGS:用高斯泼溅统一全景分割与分层3D场景图
PanoGraphGS 提出一个统一框架,将全景3D高斯表示学习与分层3D场景图构建结合,在共享高斯几何上学习语义与实例特征。其语义感知场景图模块可恢复楼层-房间-物品-物体的层级及包含与空间关系,并支持新视角全景分割与高斯级全景解码。
PrefO2O:通过离线到在线潜偏好迁移实现零样本偏好强化学习
PrefO2O 提出一种离线到在线潜偏好迁移框架,可在没有人工反馈的情况下对未见目标任务做零样本偏好强化学习。该方法从源任务的少量离线偏好数据中学习任务无关的潜偏好空间,将可迁移偏好结构与任务特定变化解耦,并用置信度加权最优传输对齐生成伪偏好监督用于在线奖励适配。
Real2Sem2Real:用单段人类RGB演示生成机器人学习数据
Real2Sem2Real(R2Sem2R)提出从真实到语义再到真实的流程,把一段单目人类演示RGB视频转成同一类别多个语义物体实例上的数千条机器人演示。
基于注意力接触规划的人形机器人移动学习框架
研究提出一种人形机器人移动学习框架,将运动数据仅作为训练先验,用自监督注意力接触规划器预测未来身体与环境接触,再由接触条件跟踪器生成全身协调动作。该框架让单一策略在部署时仅依赖机载观测、无需参考输入,并通过后续微调探索原始运动数据未覆盖的环境变化。作者称这一设计使策略内化接触感知的运动结构,而非直接复刻运动学轨迹。