跳到正文

NEWS / 动态

#VLA

按时间浏览,使用右上角筛选切换领域。

10月25日周日
  1. arXiv · cs.RO78

    RynnVLA-Latent:用3D接地潜在动作扩展机器人操作基础模型

    RynnVLA-Latent提出用异构交互视频做机器人策略预训练,其RynnLAM模块无需原生机器人控制即可从视觉变化中学习连续、3D接地的潜在动作。研究在30.1K小时人类、机器人和仿真视频上生成745.52M个潜在动作描述符,再通过流匹配预测潜在动作块并适配到具体本体动作。

    推荐理由:论文用30.1K小时异构视频学习3D接地的潜在动作,为VLA预训练绕开动作标注稀缺提供了一条可比较的路径。

  2. arXiv · cs.RO60

    AdaPolicy:用下一动作块预测构建动作驱动的前瞻机器人策略

    AdaPolicy 提出一种动作驱动的前瞻策略框架,通过级联的下一动作块预测让在线策略获得隐式前瞻,训练时无需未来观测编码,推理阶段零额外开销。方法由在线动作头同时输出当前动作块与演化隐状态,再由级联展开动作头预测下一动作块,并将损失回传至该隐状态。

    推荐理由:论文提出仅用动作信号做下一动作块预测来获得前瞻表征,训练无推理开销,并在仿真与实机任务上报告增益。

  3. arXiv · cs.RO72

    HuGe:用第一视角人类经验扩展人形通用VLA模型

    HuGe 是一组人形通用视觉-语言-动作模型,在超过 2000 小时的第一视角人类与机器人数据上预训练。它沿用三种现有代表性 VLA 架构,预测预训练全身控制器的潜在运动 token 与手部控制信号,并采用第一视角预训练、人形适配和下游微调的三阶段流程。

    推荐理由:论文给出用第一视角人类数据预训练人形VLA的三阶段流程,并说明视觉与本体感知差异的处理方式。

  4. arXiv · cs.RO58

    研究发现执行日志文本会左右 VLM 对机器人进度的评判

    研究显示,在机器人进度受挫的视频片段旁加入一行声称机器人正在推进的日志文本,会让 Gemini、Qwen 和 GPT 三类评判模型把正确判定翻转为“有进展”的比例比中性文本高出 10 到 35 个百分点。加入一句日志可能有误的提醒可消除大部分影响;伪造的“任务完成”声明能让 Qwen 一半的正确判定翻转,而对无关日志仅为十分之一,对 Gemini 则无可检测影响。

  5. arXiv · cs.RO74

    X-World:将视频先验迁移到可变视角机器人控制

    X-World提出一种把视频扩散模型先验迁移到机器人控制的框架,通过固定长度token序列接入共享动作专家,并用残差跨视角注意力支持一至三路相机输入。在LIBERO上平均成功率为98.5%,其LIBERO训练检查点在LIBERO-Plus上不做额外适配取得76.5%;六项双臂实机任务每项20次试验平均成功率81.7%。

    推荐理由:论文给出跨视角视频先验迁移到机器人控制的完整训练流程,并列出LIBERO与双臂实机成功率及扰动下的强弱项。

  6. arXiv · cs.RO55

    Extended LASMP:面向无人机导航的语言辅助子集采样运动规划器

    论文提出 Extended LASMP,将导航指令直接纳入采样分布,把子集采样推广到指令对齐区域,以提升四旋翼三维环境下的采样运动规划效率。方法用基于提示的大语言模型做实体抽取与指令校验,将自然语言指令落地为偏航条件和高度感知的几何约束,并保留概率完备性。复杂环境仿真显示,该方法生成无碰撞且一致的轨迹,相比均匀 RRT 类规划器显著减少采样量。

  7. arXiv · cs.RO72

    AdaDexTrack:面向自适应灵巧操作的动态调制跟踪框架

    AdaDexTrack 提出一种调制器在环的框架,用于语言条件下的灵巧手物交互跟踪。该框架以大规模专家到通才蒸馏得到的跟踪器承载技能,调制器经强化学习训练,对参考轨迹、物体隐表示和位置目标做三类反馈修正。作者称其在未见轨迹和未见物体集合上的平均跟踪误差与成功率均优于此前 SOTA,并在真实硬件上展示了零样本 sim-to-real 迁移,加入调制器相比仅用跟踪器有显著提升。

    推荐理由:论文把语言条件下的灵巧操作重构为闭环调制跟踪,并给出未见轨迹与实机零样本迁移的对比结果。

  8. arXiv · cs.RO80

    Scan2Instruction与PRPT-KS:一次扫描实现语言引导导航的无示范适配

    研究提出Scan2Instruction与PRPT-KS,用一次简短的iPhone扫描替代人工示范,完成语言引导导航策略在新场景的适配。Scan2Instruction把扫描结果编译成完整训练环境并自动合成带指令的可执行导航片段,PRPT-KS则直接从重建场景读取闭式Pareto效用更新策略,无需学习型critic和人工标注。

    推荐理由:论文用一次手机扫描替代现场遥操作采集示范,为语言引导导航策略的场景适配提供了可比较的实机成功率数据。

10月24日周六
  1. arXiv · cs.RO75

    RoboJev-27B 开源机器人操作成功检测视觉语言裁判模型

    RoboJev-27B 是一个开放权重的视觉语言模型,输入任务指令与 10 帧操作画面,预测机器人是否完成任务。它在同型号 SO-101 的 268 个留出回合上取得 95.2% 平衡准确率和 0.993 AUROC,在未见实验室/机器人采集的 459 个回合上 AUROC 为 0.890。

    推荐理由:RoboJev-27B 给出机器人操作成功检测的开放权重模型与完整评测记录,可用于比较不同成功判定方案。

  2. arXiv · cs.RO78

    Open-World Law-to-Action:用视觉语言先验与触觉推断隐藏物理

    Mohamed A. Mabrok 提出 Open-World Law-to-Action(L2A),由视觉语言模型为每个可动部件提出运动方式、运动定律项和可能的锁定因素,再以带下限的先验形式交给触觉在线修正。

    推荐理由:论文把视觉语言先验与触觉在线辨识结合,给出仿真中未见场景的任务完成率对比,可用于了解开放世界操作中的物理推断思路。

  3. arXiv · cs.RO58

    EXE:面向VLA模型的因子化潜在动作第一视角跨本体预训练

    EXE 是一个第一视角跨本体预训练框架,从人类操作视频中学习因子化潜在动作表示,把共享操作先验与本体特有信号分开。作者称该共享动作空间让机器人策略从多样人类演示中获得可泛化的操作语义,同一预训练可同时用于平行夹爪和灵巧手。在 RoboTwin 2.0、RoboCasa GR1 和真实世界操作任务上,EXE 相比无预训练基线取得一致提升。

  4. arXiv · cs.RO71

    MOON:为视觉语言导航策略学习何时遗忘与如何恢复

    MOON提出一种框架,为冻结的视觉语言导航策略加装两个轻量模块,参数量增加不到1%,用于在偏离路线时判断何时清空历史并学习如何恢复。作者称在R2R-CE和RxR-CE上,MOON取得对比方法中最高的R2R-CE成功率,并把冻结基线的成功率分别提升5.2和6.0个百分点;随机触发消融显示增益取决于清空历史的时机。

    推荐理由:论文用冻结策略加两个轻量模块处理导航偏离后的历史清理时机,并给出R2R-CE与RxR-CE上的对比结果。

  5. arXiv · cs.RO58

    RobustRLlib发布:统一17种鲁棒强化学习算法与评测基准

    RobustRLlib 是一个以算法为中心的鲁棒强化学习库与基准,将17种代表性在线、离线与安全强化学习算法整合到统一接口,以提升算法复用性。该工作还提供覆盖多种真实世界偏移以及人形机器人和视觉-语言-动作任务的评测平台,并在273种扰动配置上系统评估,给出当前鲁棒强化学习算法的能力图谱,指出仍存在明显鲁棒性差距的场景。作者称其开源且可复现、可扩展。

  6. arXiv · cs.RO75

    RynnUnify:16B统一具身模型发布,兼顾理解、视觉规划与机器人控制

    研究团队提出16B统一具身模型RynnUnify,通过交错的视频-语言推理把具身理解与长程视觉规划结合起来。实验显示其在所评估统一多模态模型中取得最高具身理解平均分,Rynn-VP总分比Cosmos 3 Nano高9.75分;经强化学习的智能体扩展使Rynn-GEU平均分比直接推理高6.0分。

    推荐理由:论文给出16B统一具身模型在理解、视觉规划与真机控制上的分项结果,可用于比较统一模型与专用方案。

  7. arXiv · cs.RO58

    Backtrack:为冻结 VLA 提供轻量失败检测与回退恢复

    Backtrack 是一种面向冻结 VLA 的轻量失败检测与恢复机制,无需恢复演示、策略重训或推理时额外模型。它用仅基于冻结策略带结果标签 rollout 训练的小型失败预测头读取 VLA 内部表示,预测失败概率超过阈值时暂停策略、回退机械臂近期运动并交回原策略重试,该头仅增加策略参数量的 0.48-0.88%。

  8. arXiv · cs.RO31

    人类纠正跨机器人共享时:联邦VLA适配中的安全挑战

    研究探讨联邦学习与VLA策略适配的交汇点:跨任务、环境、人员和机器人本体共享源自人类纠正的适配更新。作者指出,提升平均任务成功率的共享更新可能压制罕见安全干预,或在另一台机器人上产生不安全响应,并提出三项要求:保留多模态纠正的上下文与不确定性、在接收机器人闭环中评估候选更新、同时评估安全关键证据的泄漏与保留。文章给出反例与可证伪的评估议程,不含实验结果。

10月23日周五
  1. arXiv · cs.RO67

    Retiming Robot Demonstrations with a Learned Speed Prior:学习速度先验为机器人演示重定时

    首尔大学团队提出从大规模演示数据学习速度先验,为机器人演示重定时。给定任务指令、运动路径及沿途图像,该先验预测路径上的执行速度分布,取选定分位数作为统一时钟;单个训练好的先验可覆盖语料库中所有任务,无需为每个新任务重新拟合或标注。

    推荐理由:论文提出从大规模演示数据学习速度先验,为每条演示统一重定时,并给出仿真与实机对比结果。

  2. arXiv · cs.RO63

    Natural-Language to Nav2:面向代价地图导航的自然语言策略接口

    论文提出面向 ROS 2 Nav2 的自然语言策略接口,由本地大语言模型把操作员指令转成 JSON 策略,指定目的地、空间约束和时间或事件条件,再经确定性检查与三个代价地图适配器接入现有导航栈,不改动规划器与控制器。

    推荐理由:论文给出自然语言到 Nav2 策略的接口与验证数据,可供比较语言指令如何接入现有导航栈。

  3. arXiv · cs.RO60

    OWLS:面向零样本漫游车导航的开放世界语言条件速度场

    作者提出 OWLS(开放世界语言条件速度场),直接在一张单目图像的视觉语言模型稠密特征图上规划,无需任务训练、地形标注或持久地图。方法用可通行地形描述提示视觉语言模型为每个像素打分,将分数投影到地面并经两次形态学操作适配平台,作为最小时间规划器的速度场,使地形外观与障碍间距共同塑造轨迹。作者在室内与越野的实体漫游车、200 个程序生成地形上的仿真火星与月球漫游车以及真实行星影像上进行了评估。

    推荐理由:论文把开放词汇视觉语言模型的逐像素地形评分接入最小时间规划器,为无地图、仅靠单目相机的越野导航提供了一条可迁移思路。

  4. arXiv · cs.RO58

    UAV-SwarmAgent:用代码生成与视觉语言推理实现多无人机侦察与任务分配

    UAV-SwarmAgent 提出一种层级多智能体系统,操作员用一句自然语言下达任务,地面站智能体生成并执行代码,将其转化为每架无人机的航线。该系统用视觉语言模型在空中地图上定位巡检目标,按路线长度均衡分配给 N 架无人机,再由机上紧凑决策模型核验事件。

  5. arXiv · cs.RO64

    LogLook:面向前沿模型机器人规划器的执行日志式记忆

    LogLook提出一种执行日志式记忆,让前沿视觉语言模型规划器保留执行记录与先前笔记,并自行决定查看哪些帧。在基准自带运动规划器下,它的成功率与仅用笔记的记忆相当,但token减少43%、图像用量不到一半,因记忆或观察失误导致的失败回合也明显更少;直接控制时在RoboMME测试集上解决93.5%。

    推荐理由:论文提出面向前沿模型机器人规划器的执行日志式记忆,在RoboMME上以更少token和图像达到相近成功率,可供比较记忆设计。

  6. arXiv · cs.RO58

    研究将 VLA 模型部署到 Unitree Go2 四足机器人加 AgileX Piper 机械臂

    研究在 Unitree Go2 四足机器人搭载 AgileX Piper 机械臂上部署 VLA 模型,实现闭环移动操作。作者报告了使实机部署可行的模型变体、动作时域和演示约定等选择,并针对抓放任务区分数据覆盖与模型容量。结果显示扩大演示覆盖使留出集末端执行器误差降低 30%,加入推而非抓等次级技能引入新行为模式且未降低基线性能。

  7. arXiv · cs.RO60

    研究用稀疏自编码器解读 OpenVLA 的成功与失败模式

    研究显示 OpenVLA 激活的稀疏自编码器(SAE)表征含有结果预测信息,可在机器人进入不可恢复状态前预测任务失败。作者还找出与成功或失败特定阶段相关的单个 SAE 特征,通过定位这些特征激活显著变化的时间区间来归纳重复出现的行为模式,并构建基于 VLM 的解释流程生成行为描述,在留出区间上验证其与特征激活的对应关系。

    推荐理由:研究用稀疏自编码器解读 OpenVLA 激活,把失败预测与可解释行为模式联系起来,为诊断机器人策略提供一种可迁移的分析路径。

  8. arXiv · cs.RO52

    研究将测试时训练接入 InternVLA-A1 与 Pi0.5,探索人类演示训练

    作者把测试时训练(TTT)接入 InternVLA-A1 和 Pi0.5,用成对的人类演示与机器人轨迹研究以演示为条件的动作生成。实验显示,在当前规模下加入 TTT 并用成对数据训练,并未带来基于演示的一致目标选择;更短序列、全轨迹梯度连通和对比正则化在测试设置下也未明显提升对演示的响应。

  9. arXiv · cs.RO71

    DiscoDemo:用强化学习生成多样机器人演示以改进模仿学习

    DiscoDemo 提出用强化学习生成多样化机器人演示数据,再导出为静态数据集供下游视觉运动模仿学习使用。该方法训练带特权信息的潜在条件强化学习生成器,结合并行逆向课程与成功门控的多样性目标,产出多条成功的闭环行为并做安全过滤。

    推荐理由:论文把强化学习当作数据生成器,用多解多样性提升下游模仿学习,并给出仿真与实机成功率对比。

  10. 北京通用人工智能研究院67

    北京通用人工智能研究院提出 TaF-VLA:在 VLA 模型中实现触觉-力对齐的力感知操作

    北京通用人工智能研究院团队提出 TaF-VLA,将经物理力与压力监督的触觉表征接入 VLA 主干,用于接触密集的力感知操作。团队搭建自动化触觉-力采集装置并构建 TaF-Dataset,包含超过 1000 万条同步触觉观测、六轴力/力矩测量与力分布图。

    推荐理由:论文提出以力觉而非视觉对齐触觉表征的 VLA 框架,并公开千万级同步触觉与六维力数据集,可供接触密集操作研究参考。

  11. arXiv · cs.RO80

    研究:VLA 全权重微调缺少 fp32 主副本会静默抹掉大部分更新

    一项 arXiv 预印本研究指出,VLA 模型以 bf16 训练且无 fp32 主副本时,AdamW 会把小于权重 1/512 的更新直接舍入掉;12 个开源 VLA 代码库中有 9 个默认或文档配方这样训练,包括 LeRobot 的 SmolVLA 默认配置及其 π0/π0.5 指南。

    推荐理由:研究指出 bf16 微调 VLA 会静默抹掉大部分权重更新,并给出 fp32 主副本在 LIBERO 上的对比结果,可作为训练配置的参考。

  12. arXiv · cs.RO71

    EgoForesight:用带噪第一视角动作扩展 VLA 策略学习

    EgoForesight 提出一种视觉-语言-动作框架,联合利用机器人演示与带噪第一视角视频训练策略,通过可靠性条件加噪、可靠性加权回归和特权未来表征蒸馏降低不可靠动作标签的影响。在 3 万小时预训练数据下,其缩放斜率比基线更陡,真实世界开环动作 MSE 降低 20.5%,RoboCasa 少样本成功率提升 8.1 个百分点。后训练后,该方法在仿真与真实世界的灵巧操作任务上也取得较强的绝对性能。

    推荐理由:论文提出用带噪第一视角动作联合训练 VLA 策略,并给出 3 万小时预训练下的缩放对比与实机开环误差数据。

  13. arXiv · cs.RO74

    RepresentNav:在自构建表征空间上构建的导航基础模型

    RepresentNav 是一个建立在自构建表征空间上的导航基础模型,该空间由策略自身目标从视觉基础模型中构建。它用三层 transformer 的 Representation Residuals 聚合多个视觉基础模型全深度特征,并在每次动作前通过潜在思维链预测下一时刻场景表征,以 JEPA 方式与策略端到端训练。

    推荐理由:论文提出用策略自身目标构建视觉表征空间的导航基础模型,并给出与拼接编码器输出的对照结果。

  14. arXiv · cs.RO58

    Sensorimotor Alignment:用免训练离线指标预测具身策略成功率

    Yunfei Xie 等作者提出 Sensorimotor Alignment(S²),一种免训练的离线指标,用于衡量模型感官表征与物理运动几何的对齐程度。作者称 S² 在多个模型家族中与下游机器人任务成功率正相关,可在闭环评测前用于模型优先级排序,也能在将 VLM 微调为 VLA 之前筛选有潜力的视觉语言模型骨干。

  15. arXiv · cs.RO66

    Progress Probes P²:面向VLA模型的轻量运行时监测方法

    作者提出Progress Probes P²,在演示数据上对VLA策略激活训练线性探针来估计任务进度,并标记偏离预期进度的执行。在开源VLA π0.5及仿真和真实世界操作任务实验中,该方法在任务失败检测上不逊于或优于基于VLM的监测器和需要失败数据训练的方法。研究据此认为,对VLA内部做简单探针即可构建运行时监测器,无需外部基础模型。

    推荐理由:论文用VLA自身内部激活训练线性探针做运行时进度监测,为免外部基础模型的失败检测提供可比较方案。

  16. arXiv · cs.RO72

    Echo:为VLA模型联合去噪动作与任务状态信号

    Echo提出一种框架,将停止与失败两类任务状态信号作为每个动作块的两个维度,与机器人动作一起去噪,从而区分执行中、成功完成和失败三种状态。该方法无需帧级进度标注,通过构建成功、失败和恢复轨迹进行监督,并让状态信号比动作更快去噪,使后续动作去噪步骤能基于更干净的状态估计。真实世界操作实验显示,Echo能较准确预测任务状态并持续提升策略性能。

    推荐理由:论文把停止与失败信号并入动作块联合去噪,为VLA执行决策提供了一种免帧级进度标注的训练思路。

  17. arXiv · cs.RO67

    SkeLAM:以骨架监督分解潜动作的机器人世界模型

    作者提出 SkeLAM,一种骨架引导的潜动作模型,用于可控机器人世界建模,将潜动作分解为由机器人骨架监督约束的运动学分量和保留其余视觉动态的残差分量。在 DROID 上,SkeLAM 相比 DreamDojo 将末端执行器 ADE 降低 19.5%、LPIPS 降低 11.1%。

    推荐理由:论文把机器人运动学分量从潜动作中分离出来,为世界模型的可控生成提供了一种可迁移的建模思路。

  18. 智元机器人71
    智元机器人的报道配图

    智元开源 AGIBOT WORLD 2026 第四版“Physical Reasoning”数据集

    智元开源 AGIBOT WORLD 2026 的第四版“Physical Reasoning”数据集,任务设计重点从操作难度转向决策复杂度。该数据集覆盖 10 类以上逻辑推理场景,按 Easy、Medium、Hard 三级组织,并提供高层问答与低层动作轨迹,用于高层决策模型与低层动作策略的协同训练。

    推荐理由:智元开源 AGIBOT WORLD 2026 第四版数据集,任务设计从操作难度转向决策复杂度,可用于比较具身决策与动作联合训练的数据组织方式。