EXE:面向VLA模型的因子化潜在动作第一视角跨本体预训练
EXE 是一个第一视角跨本体预训练框架,从人类操作视频中学习因子化潜在动作表示,把共享操作先验与本体特有信号分开。作者称该共享动作空间让机器人策略从多样人类演示中获得可泛化的操作语义,同一预训练可同时用于平行夹爪和灵巧手。在 RoboTwin 2.0、RoboCasa GR1 和真实世界操作任务上,EXE 相比无预训练基线取得一致提升。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
EXE 是一个第一视角跨本体预训练框架,从人类操作视频中学习因子化潜在动作表示,把共享操作先验与本体特有信号分开。作者称该共享动作空间让机器人策略从多样人类演示中获得可泛化的操作语义,同一预训练可同时用于平行夹爪和灵巧手。在 RoboTwin 2.0、RoboCasa GR1 和真实世界操作任务上,EXE 相比无预训练基线取得一致提升。
HA-DiPO 是一个面向异构腿式机器人协同搬运的分层多智能体强化学习框架,采用集中训练分散执行(CTDE),将团队级协调与本体特定运动控制解耦。高层用集中式评论家联合训练独立协调策略,并以扩散策略表示可能的多模态协调响应;低层由本体特定鲁棒运动策略跟踪协调指令,协调策略通过奖励驱动的仿真交互从零学习,无需示范。
Huichang Yun 等人提出一种面向内存受限机器人的稠密地图关键帧管理方法,直接约束常驻地图占用的内存,并按建筑中的房间与走廊等语义空间单元准入和释放关键帧。
推荐理由:论文把稠密地图的内存占用改为直接按字节约束,并以房间走廊为单元准入关键帧,为内存受限机器人上模型与地图共存提供可迁移方法。
研究团队提出 WorldFailBench,用于检验世界模型能否忠实模拟机器人策略的失败方式与失败阶段。该基准包含失败原因、失败阶段和失败边界三项测试,覆盖 LIBERO 与 RoboTwin 仿真环境中的操作任务,以及 G1 人形机器人在真实世界执行的操作任务。对七个世界模型的实验显示,它们在理解策略失败方面存在明显差距。
推荐理由:该基准把世界模型对策略失败的模拟拆成失败原因、失败阶段与失败边界三项测试,可用于比较其作为策略评估器的可靠性。
ReSight 是一个面向具身智能体的任务驱动自改进记忆系统,保留关键帧及其时空关联,并把观测证据与可扩展派生字段分离,以便按新需求重新处理历史观测。系统由执行智能体和编码智能体通过不同接口共享记忆,前者在有限在线预算内调用已注册工具,后者在可编程工作区中以更大探索预算检查证据、编写程序并按需获取模型。
推荐理由:论文提出面向具身智能体的任务驱动自改进记忆系统,并给出在三个公开基准上的量化对比,可供关注机器人长时记忆与工具调用的人参考。
MOTIO 是一个智能体化技能工程系统,可将人类动作视频、真实感3D资产、运动参考和可复用机器人技能转化为可执行的人形全身操作程序,无需任务专用遥操作或机器人演示采集。
推荐理由:论文给出从人类视频与3D资产构建人形全身操作技能的程序化流程,并报告实机执行与蒸馏结果,可供比较技能生成与策略蒸馏路线。
论文提出 Active Reachability Learning 框架,把给定回退策略的随机有限时域可恢复性包络作为学习目标,用于人形机器人运行时监控。该方法在价值学习与主动探索之间迭代,将数据探索重构为 reach-avoid 问题,由不确定性引导的探索器发现未见状态并避开确定不可恢复区域,同时结合时序差分与蒙特卡洛目标改善分布内价值预测和不确定性估计。
推荐理由:论文把可恢复性监控建模为随机有限时域包络学习,并用主动探索补足接触丰富系统的数据盲区,可供研究人形机器人运行时安全监控参考。
作者提出神经形态决策动力学(NDD),一种分散式、基于事件的控制器,用于拥挤环境中的安全导航,无需通信、预设优先级或邻居目标模型。论文推导了传感范围、反馈增益、响应时间尺度和执行限制上的显式条件,保证有限异构智能体群体在有限时间内避碰并形成通行顺序,无死锁或活锁。大规模仿真、与现有方法的比较及硬件实验展示了该方法在复杂拥挤场景中的表现。
研究提出一种模块化感知-预测-规划流水线,将不确定性以结构化、可解释的量在模块间传递,在上游消解碰撞概率并构造凸安全集,使规划器每个周期都能给出有保证的可行解。
推荐理由:论文把碰撞概率与求解可行性解耦,并给出蒙特卡洛对比和 Jackal 实机部署,可供规划器设计参考。
作者团队提出RAIWAY,一款配备20英寸大轮的自研轮式双足机器人,以及一套面向不规则、不连续地形的接触信息控制方法。该方法在仿真中把多接触事件蒸馏为隐表示,部署时仅凭本体感知在线推断,无需接触传感器。实机实验中系统通过陡坡、碎石床、钉状表面和岩石地形,并在测试的户外楼梯上连续上行,台阶高度最高15厘米,表现优于不含接触信息机制的基线。
推荐理由:论文给出20英寸轮式双足机器人的接触信息蒸馏控制方法,并在实机测试陡坡、碎石与最高15厘米台阶等场景。
DexPort 是一个面向高自由度机器人灵巧手的手持数据采集接口,采集与部署使用同一套手部硬件,并记录指令关节目标与实测关节状态。操作者移动手持接口指定机器人腕部运动,再选择或调整技能来协调手指动作,无需逐关节控制。作者在4类真实任务上采集超过2500条演示,用行为克隆直接训练视觉运动策略;使用记录的机器人指令替代关节状态时成功率从11%提升到64%,使用野外数据时任务成功率从36%提升到78%。
推荐理由:论文提出用手持接口采集高自由度灵巧手数据,并给出4类任务的成功率对比,可供比较遥操作与人体演示两条数据路线。
ViT-H 提出一种生成加跟踪的视频到人形机器人控制框架,用扩散模型直接从视频生成人形参考动作,绕过人体动作重建与重定向,并用运动跟踪结果以直接偏好优化后训练生成器。
推荐理由:论文提出绕过人体动作重建与重定向的视频到人形控制框架,并用下游跟踪反馈后训练生成器,可供比较现有流水线。
研究提出一种由OCT引导、从用户示范学习并用闭环OCT反馈执行的软组织形状控制框架,比较全容积、组织掩膜稀疏容积和体素化点云三种表征,以及确定性Explicit策略与生成式Diffusion策略。
推荐理由:论文比较三种OCT三维表征与两类策略在软组织形状控制中的表现,并给出体模与离体组织的误差数据。
作者提出正则化强化学习算法 Soft MellowMax Actor-Critic(SMM-AC),基于 soft mellowmax 值函数,并研究常用 RL 算法在仿真到现实迁移中的表现。
推荐理由:论文提出基于 soft mellowmax 值函数的正则化 RL 算法 SMM-AC,并在实机上与 PPO、SAC 等基线对比迁移鲁棒性。
作者提出去中心化 LiDAR-Radar-Inertial Odometry(LRIO)框架,融合激光、FMCW 雷达与惯性传感,用于 GPS 拒止且受烟雾、粉尘影响的地下环境位姿估计。
AWARE 是一个世界模型框架,仅通过外部摄像头监测、估计系统动力学并预测状态来实现异常检测,无需电机编码器等机载传感器。研究在240条真实机器人起重机轨迹上评估,涵盖负载碰撞与电机退化,在噪声条件下仅用摄像头做状态估计时,异常分类比最强基线提升26%。推断出的动力学参数还可解码用于定位故障来源,识别退化电机的准确率为88%。
首尔大学团队提出从大规模演示数据学习速度先验,为机器人演示重定时。给定任务指令、运动路径及沿途图像,该先验预测路径上的执行速度分布,取选定分位数作为统一时钟;单个训练好的先验可覆盖语料库中所有任务,无需为每个新任务重新拟合或标注。
推荐理由:论文提出从大规模演示数据学习速度先验,为每条演示统一重定时,并给出仿真与实机对比结果。
作者提出增强滤波蒙特卡洛定位(AF-MCL),仅用四个单点测距传感器和实测航向实现室内无人机二维定位。方法会剔除与已知静态地图不一致的测距值,并自适应注入粒子以从定位发散和绑架问题中恢复,束分类只在上一位置估计处进行,使射线投射开销与粒子数无关。
论文提出面向 ROS 2 Nav2 的自然语言策略接口,由本地大语言模型把操作员指令转成 JSON 策略,指定目的地、空间约束和时间或事件条件,再经确定性检查与三个代价地图适配器接入现有导航栈,不改动规划器与控制器。
推荐理由:论文给出自然语言到 Nav2 策略的接口与验证数据,可供比较语言指令如何接入现有导航栈。
作者提出 OWLS(开放世界语言条件速度场),直接在一张单目图像的视觉语言模型稠密特征图上规划,无需任务训练、地形标注或持久地图。方法用可通行地形描述提示视觉语言模型为每个像素打分,将分数投影到地面并经两次形态学操作适配平台,作为最小时间规划器的速度场,使地形外观与障碍间距共同塑造轨迹。作者在室内与越野的实体漫游车、200 个程序生成地形上的仿真火星与月球漫游车以及真实行星影像上进行了评估。
推荐理由:论文把开放词汇视觉语言模型的逐像素地形评分接入最小时间规划器,为无地图、仅靠单目相机的越野导航提供了一条可迁移思路。
研究提出解剖锚定的模仿学习框架,将解剖引导的探头放置与学习式超声导航结合,用于自主机器人超声扫描。该框架先由外部视觉确定任务相关的解剖起点并建立初始探头位姿参考系,再由基于流的策略根据锚点相对位姿、超声图像、探头相机视图和接触力生成扫描动作,终止头预测任务完成。
推荐理由:论文给出解剖锚定的模仿学习框架与手持采集平台,并在16名未见参与者上报告成功率与跨机器人迁移结果。
CoCarry 提出一个协同搬运数据集,包含 21 种任务方案、5 种共享物体几何、4 类地形下的 220 条同步双人序列,约 61 分钟运动数据。作者同时提出 Contact-Support-Structured Retargeting,从单人标称动作出发,围绕同一给定物体轨迹联合优化两台人形机器人。
DynaSlots 是一个无需动作标签的 3D 动态预训练框架,将每帧点云分解为少量时序一致的 slot,并在 slot 级别而非场景级别建模动态。它通过时序 slot 传播模块保持跨帧分配一致,用逆动力学模型从特征差异中提取每个 slot 的隐动作,再由扩散式前向动力学模型配合自监督交互头预测各 slot 未来状态。
推荐理由:论文把场景级动态预训练拆成逐 slot 建模,并在仿真与 RealMan RM65-B 实机上对比场景级基线。
研究在 Unitree Go2 四足机器人搭载 AgileX Piper 机械臂上部署 VLA 模型,实现闭环移动操作。作者报告了使实机部署可行的模型变体、动作时域和演示约定等选择,并针对抓放任务区分数据覆盖与模型容量。结果显示扩大演示覆盖使留出集末端执行器误差降低 30%,加入推而非抓等次级技能引入新行为模式且未降低基线性能。
北京通用人工智能研究院等作者提出 ReSPIRe,一种用于未知杂乱环境下目标搜索与跟踪(SAT)的信息化轨迹规划方法,论文发表于 IEEE Transactions on Systems Man and Cybernetics-Systems 第 56 卷第 2 期。
该研究将ARAIM解分离与保护级计算建立在紧耦合GNSS/IMU因子图优化的后验上,利用当前状态边缘化与Woodbury更新计算无故障、单星、星座级和二阶故障假设下的保护级,无需重复全状态求逆或图重优化。
研究将机器人辅助穿衣表述为几何感知插入问题,用身体部位与衣物开口的空间关系替代完整可变形物体状态,并提出结合分阶段课程与逐指插入软门控的强化学习框架。训练后可变形评估中完整方法成功率为84.7±1.2%,消融显示插入门控贡献最大,叠加课程后得分最高。在假人手模型上,同一完整策略于实机20次试验中成功15次。
推荐理由:论文把穿衣任务建模为几何感知插入问题,并用消融实验定位插入软门控与课程学习的贡献。
TravSUITE 是一个面向越野高速导航的可通行性系统,由利用视觉基础模型构建几何语义局部地图的体素建图器,以及联合预测 BEV 几何、语义、速度与代价的统一神经网络组成。
推荐理由:论文给出无标注自监督的可通行性系统,消融显示代价学习与辅助修复各自贡献规划质量,并附实机风险适配实验。
一项 arXiv 预印本研究指出,流匹配 VLA 策略中数值求解器深度与执行时域存在耦合,且呈现符号反转:快速重规划时粗粒度积分降低精度,而在延长开环执行时反而明显提升任务表现。
作者把测试时训练(TTT)接入 InternVLA-A1 和 Pi0.5,用成对的人类演示与机器人轨迹研究以演示为条件的动作生成。实验显示,在当前规模下加入 TTT 并用成对数据训练,并未带来基于演示的一致目标选择;更短序列、全轨迹梯度连通和对比正则化在测试设置下也未明显提升对演示的响应。
北京通用人工智能研究院团队提出 TaF-VLA,将经物理力与压力监督的触觉表征接入 VLA 主干,用于接触密集的力感知操作。团队搭建自动化触觉-力采集装置并构建 TaF-Dataset,包含超过 1000 万条同步触觉观测、六轴力/力矩测量与力分布图。
推荐理由:论文提出以力觉而非视觉对齐触觉表征的 VLA 框架,并公开千万级同步触觉与六维力数据集,可供接触密集操作研究参考。
北京通用人工智能研究院团队提出触觉引导探索与定位框架TacEP,将单目视觉估计与基于视觉触觉传感器的高分辨率实时探索结合,用于机器人轴孔装配中的目标孔位精确定位。
推荐理由:论文给出视觉与触觉融合的孔位定位框架,并在实机上用五类连接件测试,可作为高精度装配的对照参考。
一项预印本研究指出,人形机器人安全滤波器的碰撞保证只在参数配置正确时成立,而参数配置依赖具体任务与环境,目前没有通用方法确定。作者提出目标插入攻击,并开发自动化工具 SIREN 为给定任务和环境寻找可插入的脆弱目标;在 SPARK 数据集的所有脆弱场景中,SIREN 均能识别攻击,数量是基线方法的三倍,并在真实人形机器人执行任务时触发碰撞。
提出偏差感知高斯过程(Ba-GP)框架,利用已记录GP后验均值梯度将估计的输入偏差与噪声传播为均值与协方差修正,并借助加性协方差结构实现数值高效的一阶校正算法。仿真研究与室内光照强度建图实验显示,Ba-GP相对噪声输入GP基线提升了预测精度与不确定性校准,计算成本比完整GP重训练低一个数量级。
论文提出BM2PC,一个用于可变形线性物体敏捷操作的贝叶斯多模态MPC框架,将多模态规划建模为集合优化问题,并加入执行动力学模型补偿快速操作中的执行偏差。在绳索跟踪与避障的仿真和硬件实验中,BM2PC在最长任务上把RMSE降低44.0%,避障性能与现有多模态MPC方法相当,规划时间减少29%至66%。
推荐理由:论文提出面向可变形线性物体动态操作的多模态MPC框架,并给出仿真与实机跟踪、避障的量化对比。
FORCA 是一个以视觉观测和腕部力/力矩测量为输入、为接触探测与力响应运动编写 Python 程序的编码智能体,无需演示、任务特定训练或仿真。它在五次实机任务中覆盖三类接触密集操作:提升操作精度、适应物体或表面属性变化、在表面变化与物体运动下调节接触。与同一智能体的纯视觉版本相比,FORCA 提升了抓取精度和任务成功率,并减少了擦拭与剥离中的接触丢失。
推荐理由:论文展示编码智能体如何结合腕部力/力矩反馈改写接触操作程序,为力感知策略提供可迁移的闭环思路。
作者提出 SEVI 框架,用于真实世界策略在线学习中的可靠性感知安全干预,其 Evidential Safety Critic 在一次前向计算中同时估计未来约束违反风险与认知不确定性。
推荐理由:论文提出带证据不确定性的安全干预框架,在仿真与真实USB插入任务上对比恢复式安全强化学习,可用于评估在线学习的安全过滤思路。
PrefO2O 提出一种离线到在线潜偏好迁移框架,可在没有人工反馈的情况下对未见目标任务做零样本偏好强化学习。该方法从源任务的少量离线偏好数据中学习任务无关的潜偏好空间,将可迁移偏好结构与任务特定变化解耦,并用置信度加权最优传输对齐生成伪偏好监督用于在线奖励适配。
推荐理由:论文提出从少量源任务偏好数据学习任务无关潜空间,在无人工反馈下迁移到新任务,可供比较偏好学习的数据效率路径。
RepresentNav 是一个建立在自构建表征空间上的导航基础模型,该空间由策略自身目标从视觉基础模型中构建。它用三层 transformer 的 Representation Residuals 聚合多个视觉基础模型全深度特征,并在每次动作前通过潜在思维链预测下一时刻场景表征,以 JEPA 方式与策略端到端训练。
推荐理由:论文提出用策略自身目标构建视觉表征空间的导航基础模型,并给出与拼接编码器输出的对照结果。
作者提出Progress Probes P²,在演示数据上对VLA策略激活训练线性探针来估计任务进度,并标记偏离预期进度的执行。在开源VLA π0.5及仿真和真实世界操作任务实验中,该方法在任务失败检测上不逊于或优于基于VLM的监测器和需要失败数据训练的方法。研究据此认为,对VLA内部做简单探针即可构建运行时监测器,无需外部基础模型。
推荐理由:论文用VLA自身内部激活训练线性探针做运行时进度监测,为免外部基础模型的失败检测提供可比较方案。