2026 年 10 月
本期文章 343
DreamCan:用稀疏视觉规划衔接视频模型与机器人操作策略
DreamCan 提出一种分层策略,用预训练视频模型改造的高层规划器生成稀疏视觉子目标,再由低层视觉运动策略执行,从而把视频模型的可执行性约束进规划。作者从无动作的离线机器人视频中估计子目标的可达性与任务效用,并用动态规划自动选取子目标序列,无需人工标注。
经验记忆何时帮助闭环 LLM 驾驶智能体:受控评测揭示热启动池与 token 对照的影响
研究在单一经审计的 HighwayEnv 测试台(1Hz,决定性对比使用 gpt-4o-mini)上受控评测经验记忆对闭环 LLM 驾驶智能体的作用,将热启动池视为重采样随机因子(十个不相交池)并加入 token 匹配的无关填充对照。
ReSight:面向具身智能体的任务驱动自改进记忆系统
ReSight 是一个面向具身智能体的任务驱动自改进记忆系统,保留关键帧及其时空关联,并把观测证据与可扩展派生字段分离,以便按新需求重新处理历史观测。系统由执行智能体和编码智能体通过不同接口共享记忆,前者在有限在线预算内调用已注册工具,后者在可编程工作区中以更大探索预算检查证据、编写程序并按需获取模型。
可微仿真训练四旋翼穿越动态窄缝的视觉运动策略
研究提出一种可微分的移动窄缝建模方法,按到随时间变化的缝隙平面的有符号距离对居中、对齐和平滑碰撞项进行门控,把稀疏的穿越事件转化为稠密的路径目标。该方法被整合进一个从随机初始化单阶段训练的视觉特征到指令策略,无需教师、规划器或蒸馏。
BM2PC:面向可变形线性物体动态操作的贝叶斯多模态MPC框架
论文提出BM2PC,一个用于可变形线性物体敏捷操作的贝叶斯多模态MPC框架,将多模态规划建模为集合优化问题,并加入执行动力学模型补偿快速操作中的执行偏差。在绳索跟踪与避障的仿真和硬件实验中,BM2PC在最长任务上把RMSE降低44.0%,避障性能与现有多模态MPC方法相当,规划时间减少29%至66%。
AuRA:通过自主机器人交互从原子到比特重建数字孪生
AuRA 是一套自动化机器人交互与数据准备系统,用于数字孪生重建,结合执行感知抓取选择、由机器人状态推导的夹爪运动测量以及配准的交互前几何与外观先验。在 13 个可变形物体上,AuRA 将每个成功重建资产的主动人工投入和实际采集时间分别减少 88.5% 和 55.4%。
Active Reachability Learning:面向人形机器人可恢复性监控的主动可达性学习
论文提出 Active Reachability Learning 框架,把给定回退策略的随机有限时域可恢复性包络作为学习目标,用于人形机器人运行时监控。该方法在价值学习与主动探索之间迭代,将数据探索重构为 reach-avoid 问题,由不确定性引导的探索器发现未见状态并避开确定不可恢复区域,同时结合时序差分与蒙特卡洛目标改善分布内价值预测和不确定性估计。
KiRoSe 用运动学数据高效分割机器人演示
KiRoSe 提出用机器人运动学数据而非原始多路视频来分割机器人演示,以降低多模态大模型的处理成本。该方法借鉴 Huffman 编码思路构建稀疏运动 token(SMT),用带时间分段监督的运动轨迹编码并量化得到离散运动词汇,再以演示子任务标注监督开放语言模型解读 token 序列。
VaDar:通过价值分解实现隐式目标条件化的强化学习方法
论文提出 Value Disaggregation(VaDar),训练一个与子目标无关的单一策略,最大化各子目标 critic 值的线性组合,子目标信息只在训练时使用,部署时无需选择子目标。
QbD-VLA:以任务成功率引导 VLA 模型混合精度量化
QbD-VLA 提出一种任务引导的混合精度量化方法,用短闭环评估中的任务成功率分配权重与激活位宽,并考虑模型组件间的相互影响。实验覆盖四个 VLA 模型和 LIBERO 全部四个套件,权重平均约 4 位、激活少于 6 位时仍保持较强任务表现;在 SIMPLER 上相对均匀量化的增益较小。
ORBIT:可旋转重构手指布局的模块化多指机器人手平台
ORBIT 是一个模块化多指机器人手平台,核心是旋转指节机构,独立手指通过皮带传动绕圆柱形手掌移动,可在不到 1 秒内完成手指布局重构而无需拆解手部。作者用三指版本开展初步抓取研究,在 11 个尺寸、形状和纹理不同的物体上比较拟人、等距和 Barrett 式三种手指布局,并演示立方体面重定向、拧盖和亚厘米物体精密捏取等固定指节设计较难完成的任务。
CPR:从预测几何到动作,学习互补预测表征用于具身操作
作者提出两阶段框架 CPR,从多视角视频片段学习互补的预测几何表征用于具身操作。预训练阶段用冻结的 3D 基础模型提供稠密几何特征,压缩为预测几何表征并保留场景结构及其时序演化,再对几何转移施加动作监督提取运动表征;下游后训练通过几何查询迁移预测几何,运动表征引导动作生成路径上的中间特征。
TRACE:基于VLM自适应约束估计的可通行性感知反应式导航
论文提出TRACE,一个面向地面机器人在非结构化森林环境中自主运行的可通行性感知反应式导航框架。它用正负自然语言提示集生成VLM置信图,经证据融合得到稠密可通行性地图,再提取可通行点并通过百分位分箱与样条或正则化多项式拟合得到左右边界,作为软约束加入NMPC。作者称在真实森林环境中的实验显示,TRACE能在杂乱、可变形和视觉歧义地形中平滑导航。
RangeNav:面向机器人导航的LiDAR距离图像任务对齐预训练
RangeNav 提出一个仅 183k 参数的 LiDAR 距离图像编码器,完全在合成数据上预训练,用于移动机器人导航。该方法采用各向异性卷积和循环填充处理距离图像的极端长宽比与方位接缝,并以距离重建、语义分割和 BEV 预测组成的导航对齐目标预训练后冻结用于策略学习。
智元开源 AGIBOT WORLD 2026 第四版“Physical Reasoning”数据集
智元开源 AGIBOT WORLD 2026 的第四版“Physical Reasoning”数据集,任务设计重点从操作难度转向决策复杂度。该数据集覆盖 10 类以上逻辑推理场景,按 Easy、Medium、Hard 三级组织,并提供高层问答与低层动作轨迹,用于高层决策模型与低层动作策略的协同训练。
RoboMMT:学习稳定跟踪调制后的表达性与交互性机器人动作
RoboMMT 提出一种模块化控制架构,将参数化表达动作合成、基于物理的角色控制与面向空间交互目标的反应式适应耦合起来,训练一个参考条件跟踪策略在广泛表达域内保持动态稳定。
Post-hoc Epistemic Uncertainty for Vision-Language-Action Policies:单策略核方差头估计VLA认知不确定性
作者提出 post-hoc kernel-variance heads,从单一 VLA 策略的嵌入中估计认知不确定性,每个头计算以训练演示嵌入为条件的高斯过程条件方差,拟合不需要回归目标或梯度更新,也不改动策略本身。
枚举引导训练神经 Hamilton-Jacobi 安全证书
作者提出一种验证引导的训练框架,用安全约束的概率枚举检测前向不变性违规,生成比标准对抗攻击方法更精确刻画失败边界的反例集。用该表示微调预训练的 HJ 值函数,在所有测试基准上得到更大的认证区域并缩短认证时间。作者还基于精炼后的证书设计部署期屏蔽机制,在基于物理的 Isaac Sim 环境和真实自主竞速实验中,相比标称控制器和基于线性二次调节(LQR)的备份策略实现零安全约束违规。
STR:面向人形机器人移动操作的时空偏好运动重定向
论文提出时空重定向方法 STR,用视觉语言模型选择相关运动信号与身体部位,并据此识别关键帧,把更多求解器迭代分配给关键帧、给选定部位更高交互权重。作者还提出 Mechanics-Aware Contact Anchoring(MCA)借助近似物体力旋量模型细化物体表面接触位置,并基于所得参考轨迹构建时空强化学习 STRL,结合自适应关键阶段采样与基于目标接近度的接触位置奖励。
UMI-Live:开源双臂UMI野外数据采集系统发布
作者提出UMI-Live,一套用于野外双臂数据采集的开源全栈UMI系统,其定制硬件集成相机与LiDAR-惯性传感、板载计算和供电,无需外部追踪设备或在采集环境中标定。系统提供简单录制界面,异步流水线并行进行SLAM重建并发布可直接用于训练的数据集,同时发布支持双YAM遥操作及VLA策略训练与推理的软件。作者用π0.5和MolmoAct2微调验证数据质量,在双臂抓放任务上成功率分别为10/10和8/10,并公开三个任务共40小时的UMI-Live数据及硬件设计、软件和复现指南。