2026 年 10 月
本期文章 343
Industrial ReMEmbR 将时空记忆扩展到机器人车队
IndustrialRemembr 提出面向机器人车队的共享时空记忆系统,扩展 NVIDIA ReMEmbR,仅在需要时生成场景描述以降低服务端计算。每台机器人用 NVIDIA Jetson 将视频片段编码为检索嵌入、视觉 token 和重建潜变量,不上传原始相机画面。
FLEX:用语言引导机器人任务特征表征编辑
MIT 等机构作者提出 Flexible Feature Editing Pipeline(FLEX),用语言模型根据自然语言纠正迭代编辑机器人内部任务特征表征,包含添加缺失特征、泛化已有具体特征、屏蔽无关特征三种操作。
ACT-—Flow:面向视觉插接任务的评论家加权残差流在线学习框架
Yiqing Yuan等人提出ACT-—Flow,将自适应Action Chunking Transformer与条件残差流策略耦合,用于视觉插接任务的在线学习。
AtomicRL:面向长程机器人操作的原子化强化学习后训练框架
AtomicRL 是一个面向长程机器人操作的强化学习后训练框架,通过原子任务结构做信用分配与自适应探索。它包含语义感知策略优化 SAPO 和瓶颈自适应目标探索 BATE,并配套连接仿真在线 RL 与实机部署的 Real2Sim2Real 流程。
CW-WAM:面向力敏感操作的结构化接触力旋量世界动作模型
Houzhu Ding 等提出 CW-WAM,一个联合预测视频、运动与接触力旋量的世界动作模型,将运动与力旋量作为统一建模目标并输出时间对齐的运动-力旋量块作为控制参考。
RISE:面向感知型人形机器人跌倒恢复的测试时运动引导方法
Osher Azulay 等人提出 RISE,一种让任务目标在推理阶段引导人形机器人起身方式的方法。该方法先学习连接预期动作与电机动作的恢复动作词表,再由视觉扩散规划器预测未来身体状态,并用任务代价把预测导向指定朝向、起身速度或路径,无需重新训练即可在测试时改变动作。仿真实验展示了多样化恢复、地形适应和测试时引导,并在宇树 G1 上给出实机演示。
ASTEROID:非对称在策略蒸馏让历史条件学生学会上下文探索
作者提出 ASTEROID,一个学生-教师监督学习框架,让学生先在不完全可观测下采集在策略上下文,再由特权专家基于该上下文给出动作标签,从而学会测试时探索。在 11 个环境(含离散探索基准、机器人操作、导航和 Procgen)中,该方法在固定探索预算下回报约为对比方法的 2 倍,交互次数比强化学习基线少约 100 倍。
SpatialDex:从纯RGB人类视频重建增强视觉运动预训练,学习3D双臂灵巧操作
SpatialDex提出一种从纯RGB人类视频学习3D双臂灵巧操作的框架,通过重建场景几何并结合手部运动估计进行视觉运动预训练。该方法将重建几何同时作为策略输入和预测目标,用门控残差融合把预训练视觉语言模型的token网格锚定到该几何上,并预测未来场景几何与手腕、手指动作。
I Won't Know Until I Try:面向长程操作的交互式信息获取规划框架
Linfei Yuan 与 Rachel Holladay 提出一个任务与运动规划(TAMP)框架,将任务导向的交互式信息获取与规划执行交错结合。该框架基于 PDDLStream 乐观地规划交互动作,在执行中验证结果,并保留仍适用的动作、只重规划继续执行所需的连接。
WorldFailBench 发布:评测世界模型能否理解机器人策略失败
研究团队提出 WorldFailBench,用于检验世界模型能否忠实模拟机器人策略的失败方式与失败阶段。该基准包含失败原因、失败阶段和失败边界三项测试,覆盖 LIBERO 与 RoboTwin 仿真环境中的操作任务,以及 G1 人形机器人在真实世界执行的操作任务。对七个世界模型的实验显示,它们在理解策略失败方面存在明显差距。
SimPT:面向干预式 VLA 后训练的自动化仿真框架
SimPT 是一个自动化干预式 VLA 后训练的仿真框架,把策略 rollout、纠正数据采集、策略训练和独立评估整合在一起。
无渲染事件帧仿真加速自主机器人导航强化学习
研究提出一种解析事件仿真器,直接从场景几何与自运动合成事件流,无需视觉渲染,单 GPU 生成 64x64 事件观测耗时 17 微秒,比先进渲染管线快 400 倍以上。
EventSync:面向历史依赖操作的事件驱动记忆更新框架
EventSync 是一个分层框架,通过事件驱动的记忆更新协调任务推理与动作执行:视觉语言模型依据任务计划和交互历史生成子目标,视觉-语言-动作模型负责执行,轻量 Event Monitor 结合视觉观测与末端执行器轨迹判断当前子目标是否完成,只有取得完成证据后才写入已完成子目标历史并触发下一步推理。
OpenTac 发布可定制三维触觉皮肤及配套设计生态
OpenTac 提出一种可定制、可扩展的电阻式触觉皮肤及全栈生态,通过结构化可变形覆盖层把切向载荷转为空间变化的压力分布,相邻 taxel 的差分响应可解码局部剪切向量,共模响应编码法向力。
RoboCode:学习可复用动作基元的机器人操作策略
RoboCode 提出一种共享软门控动作基元接口,把动作块表示为多个学习基元的软组合,而非单一离散编码。该接口在多个任务的动作块上学习后冻结,再训练任务特定的状态编码器映射到共享潜空间。在五个 ManiSkill 操作任务上,动作块平均重建 MSE 为 0.0187,闭环平均成功率为 75.6%,高于 ACT 的 68.8% 和 Diffusion Policy 的 41.6%。
WorldMirror:从野外机器人演示生成可交互仿真世界的智能体框架
WorldMirror 是一个智能体式 real-to-sim 框架,可从野外机器人演示构建可交互数字孪生。它把 real-to-sim 构建表述为可执行世界程序的迭代精炼:编码智能体分解场景、规划重建步骤并调度图像与 3D 生成工具,再通过验证反馈修正程序。在 DROID 上的实验显示,该框架能重建视觉忠实、几何一致的可交互世界,并保持所记录机器人轨迹的物理有效性。
PS-DLO:融合属性与空间感知的可变形线性物体操作策略
PS-DLO 提出一种属性与空间感知的可变形线性物体操作策略,通过对比图文学习把初始观测映射为物体属性的类别描述,并用 SAM3 从未来观测提取掩码引导特征、蒸馏进策略的动作专家。作者在单臂和双臂平台的九个真实任务上为每种本体训练共享多任务策略,平均成功率达 68.9%,比最强基线高 20.0 个百分点;在蝴蝶结解结的七种视觉偏移条件下,有六种成功率高于基线。
EmbodyHOI:面向人形灵巧操作的具身感知手物交互生成
EmbodyHOI 在冻结的流匹配手物交互轨迹生成器采样循环中嵌入针对特定人形本体的可微逆运动学求解器,把本体可达性约束加入生成过程。在 ARCTIC 轨迹上,该方法把 Unitree G1 与 H1-2 的重定向腕部误差从 8.9 cm 降到 0.6 cm,同时保持文本到手物交互的生成质量。
LEAP Hand 两种指型布局的触觉手中旋转对比研究
研究对比了两种 LEAP Hand 指型布局(拟人与对称)在连续手中物体旋转任务中的表现,两版手均集成 TacTip 视觉触觉传感器并共用同一强化学习框架。仿真中,完整触觉观测相比仅本体感知使每回合平均归一化旋转量在拟人手提升 94.8%、对称手提升 66.9%,且回合更长、平均指尖总载荷更低。硬件实验中,对称手平均旋转次数高 32.0%、总旋转速率高 25.8%,平均指尖总载荷低 19.9%。
AIM:通过动作影响力最大化训练可控世界模型
论文提出 Action Influence Maximization(AIM)算法,主动采集训练数据以提升数据集的动作影响力,从而改善动作条件世界模型对指令的响应。