跳到正文

NEWS / 动态

#VLA

按时间浏览,使用右上角筛选切换领域。

10月20日周二
  1. arXiv · cs.RO67

    PACT-VLA:用提交前观测验证候选动作块,缓解VLA异步推理延迟

    PACT-VLA 提出一种免训练框架,用推理起始观测生成候选动作块,再用提交前观测从中选出完整动作块,以缓解异步推理延迟导致的成功率下降。其 FlowRes 评分衡量候选隐含流方向与冻结策略在提交前观测下预测速度的残差,无需单独验证器;流水线实现使选择不增加控制步延迟。

    推荐理由:论文针对异步推理的观测滞后问题提出免训练的动作块选择方法,并给出仿真与实机成功率对比。

  2. arXiv · cs.RO62

    EventSync:面向历史依赖操作的事件驱动记忆更新框架

    EventSync 是一个分层框架,通过事件驱动的记忆更新协调任务推理与动作执行:视觉语言模型依据任务计划和交互历史生成子目标,视觉-语言-动作模型负责执行,轻量 Event Monitor 结合视觉观测与末端执行器轨迹判断当前子目标是否完成,只有取得完成证据后才写入已完成子目标历史并触发下一步推理。

    推荐理由:论文提出事件驱动的子目标完成判定与记忆更新机制,并在 RoboMME 基准和四类实机任务上给出结果,可供做长程操作记忆的研究者参考。

  3. arXiv · cs.RO62

    RoboCasa-Shift:面向长程家务操作 VLA 策略的分阶段鲁棒性评测基准

    作者提出 RoboCasa-Shift,一个基于 RoboCasa365 的诊断性鲁棒性基准,结合受控单因素扰动、共享相同设置仅目标扰动不同的配对干净-扰动 rollout,以及仿真中的分阶段诊断。

    推荐理由:该预印本提出基于 RoboCasa365 的分阶段鲁棒性评测,用配对 rollout 揭示聚合成功率掩盖的执行差异。

  4. arXiv · cs.RO71

    多视角潜动作预训练提升跨本体机器人学习

    作者提出一种多视角潜动作模型(LAM),用交叉注意力融合同步多相机视角以消解深度与遮挡,再压缩为潜动作,并接入由潜专家与动作专家经顺序流匹配耦合、冻结VLM骨干的策略。

    推荐理由:论文比较多视角与单视角潜动作预训练在6D动作可解码性和跨本体迁移上的差异,并给出实机验证。

  5. arXiv · cs.RO56

    PLaCA:学习 patch 级未来潜变量变化以生成机器人动作

    PLaCA 提出一种以未来潜变量变化为核心的世界到动作框架,直接从当前多模态输入预测空间结构化的 patch 级未来潜变量变化,并引入 patch 级变化感知监督和未来到动作接口。在 LIBERO-Long 上成功率为 79.0%,比仅动作基线提升 5.0 个百分点;在 CALVIN 上平均序列长度从 2.784 提升到 3.564。第二阶段训练仅更新 2.95% 的模型参数。

  6. arXiv · cs.RO63

    Refuses When Asked, Complies When Acting:为机器人控制循环增加运行时安全检查

    Arnav Grover 的预印本论文指出,GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂执行三项危险常识明确的家庭任务时,15 次试验中拒答率为 0%,每次都尝试了危险动作,并在 27% 的试验中完成了危险动作。

    推荐理由:研究用15次试验对比机器人控制循环中的拒答与执行差异,并给出可选的运行时安全检查方案。

  7. arXiv · cs.RO58

    VLA模型失败归因:去除视觉损坏会带来什么改变

    论文研究视觉语言动作(VLA)模型的失败归因问题,即判断去除某个视觉损坏是否会让当前回合受益,而非仅检测损坏是否存在。作者提出因子化风险模型,分别学习场景与损坏的表示,从当前图像和任务指令出发通过潜在干预估计去除收益,无需配对干净图像或额外反事实 rollout。

  8. arXiv · cs.RO80

    PhysWord:用原子动作词构建机器人操作潜在推理的预印本模型

    PhysWord 是一个先推理后动作的机器人基础模型,用原子动作动词作为共享语义锚点,把物理动态的连续表示组织成可复用的推理原语。模型预测未来原子动作词,并将其上下文隐状态与对应未来观测导出的潜在目标对齐,再按时间自回归预测 Physical Words 以捕捉执行阶段转换。

    推荐理由:论文提出以原子动作动词为语义锚点的推理先验框架,并给出仿真基准与实机操作的成功率对比。

  9. arXiv · cs.RO74

    GPT-6 Astra 被验证可直接使用视触觉图像完成接触密集操作

    作者在 arXiv 预印本中报告,GPT-6 Astra 可直接解读基于视觉的触觉图像,并通过其现有视觉接口在 19 个仿真 UniVTAC 与 OpenViTac 任务上实现少样本闭环控制,每个设置采样 210 个场景种子。

    推荐理由:论文在仿真触觉基准上比较通用多模态模型与专用策略,并给出视觉单独输入时的对照结果。

  10. arXiv · cs.RO65

    PICA-WAM:用跨外观自对齐提升世界动作模型的视觉扰动不变性

    PICA-WAM 提出一种自监督训练框架,把视觉扰动不变性作为世界动作模型(WAM)的辅助跨外观自对齐任务。方法用指数滑动平均(EMA)教师处理原始观测并提供更深层目标,在线 WAM 处理受扰动观测,通过轻量投影头将较浅层动作表示对齐到该目标。

    推荐理由:论文指出世界动作模型对任务无关视觉扰动敏感的训练缺口,并给出可迁移的自监督对齐方法。

  11. arXiv · cs.RO62

    ACE-Brain-0.6:扩展空间定位以强化具身基础模型

    研究团队提出ACE-Brain-0.6,在Qwen3.5-9B上用约150万条可验证空间定位样本微调,以强化通用具身操作的空间感知基础。数据来自机器人操作录像与多来源视觉数据的统一管线,经自动标注转为定位监督。该模型在7个公开定位基准中的4个上超过GPT-6 Astra,平均分75.41对73.68;在固定微调设置下,随数据批次扩大覆盖更多定位场景,聚合定位性能稳步提升。

    推荐理由:论文给出从机器人操作录像构建可验证空间定位监督的数据管线,并报告9B模型在公开基准上的对比结果。

  12. arXiv · cs.RO58

    研究用 VLA 模型实现农业机械臂抓取,在仿真与 Franka 实机上对比 Octo 和 π0.5

    研究提出一套面向农业抓取任务的仿真到现实机器人学习框架,将预训练的通用机器人策略适配到农业操作场景。团队搭建基于 MuJoCo 的番茄植株仿真环境,通过摇杆遥操作采集专家演示,并用这些演示适配 Octo 和 π0.5 两个预训练策略,随后在 Franka Research 3 机械臂上用真实机器人演示进一步微调。

10月19日周一
  1. arXiv · cs.RO58

    HAF-VLA:面向人形机器人全身移动操作的分层动作流VLA框架

    HAF-VLA 提出一种面向人形机器人 VLA 控制的分层动作流框架,在预训练 flow-matching VLA 基础上继承视觉语言前缀编码器与动作专家权重,并加入可学习阶段嵌入和跨阶段 KV-cache 条件机制。它不再一次生成完整动作块,而是按先移动与头部指令、再腰部细化、最后全身操作的顺序逐步去噪共享全身动作空间。作者称在六项真实世界任务上,该框架提升了现有人形移动操作模型的性能。

  2. arXiv · cs.RO67

    ReInsVLN:免训练视觉语言导航复用历史观测,R2R Val-Unseen 成功率提升 8.48 个百分点

    ReInsVLN 提出一种免训练框架,在冻结的导航器中构建并利用历史记忆,在 R2R Val-Unseen 上相较原生 StreamVLN 和 InternVLA-N1 成功率分别提升 8.48 和 3.37 个百分点,达到 64.27% 和 64.44%。

    推荐理由:论文提出免训练的历史证据复用框架,并给出在 R2R Val-Unseen 上的成功率提升与压缩带来的时延、显存收益。

  3. arXiv · cs.RO71

    SPAR:面向 VLA 模型的结构化剪枝与动作恢复方法

    SPAR 提出对 VLA 模型 LLM 主干同时剪枝隐藏层与前馈中间维度,再用强化学习恢复策略性能。应用于 π0.5 时,语言主干从 2.34B 降至 0.09B 参数,完整模型从 3.37B 降至 1.12B,分别移除约 96% 和 67% 的参数。

    推荐理由:论文给出 VLA 模型结构化剪枝后接强化学习恢复的具体压缩比例与 LIBERO 成功率变化,可作为紧凑策略部署的参考。

  4. arXiv · cs.RO67

    ALIGN:面向优势条件行为克隆的条件估计与表达对齐框架

    ALIGN 提出一种条件对齐的优势条件行为克隆(AC-BC)框架,用于视觉-语言-动作策略,直接预测策略标签空间中的类别化成对条件,并通过 AdaRMS 调制与流时间融合注入 DiT 动作专家。

    推荐理由:论文针对混合质量机器人数据下的优势条件行为克隆,提出条件对齐框架,并在两个实机任务上给出闭环成功率对比。

  5. arXiv · cs.RO60

    Cartender:通过反事实分支学习语言条件驾驶

    Cartender 提出从真实驾驶记录中学习未被采取的分支,用视觉语言模型生成替代未来及对应指令,并以不支持的指令作为负标签,从而在无仿真器条件下构造匹配与不匹配的指令-动作对。

    推荐理由:论文用真实记录构造反事实分支来监督语言条件驾驶,并给出同场景换指令的评测方式,可供研究语言条件策略如何区分场景约束与指令。

  6. arXiv · cs.RO66

    HS-MoDP:通过同构遥操作与独立技能路由实现人形机器人组合操作

    作者提出HS-MoDP,通过共享专家池上的独立语义路由,把分别演示的手臂技能组合起来,在Unitree G1上取得比基线更强的技能组合效果。为采集全身接触操作演示,团队开发了同构外骨骼G1Exo,对机械臂构型提供关节级直接控制。

    推荐理由:论文提出用同构外骨骼采集接触操作演示,并比较其与VR-IK遥操作对策略学习的影响,可供研究遥操作数据质量的人参考。

  7. arXiv · cs.RO71

    ERR-VLM:用动作分组Turn-GSPO训练具身VLM实现错误恢复重规划

    研究提出ERR-Env可验证交互环境与ERR-Bench基准,用于评估具身VLM在正常、中间和错误状态下的恢复能力与执行可靠性。作者进一步提出在线强化学习方法Action-Grouped Turn-GSPO(AGT-GSPO),结合回合级任务进度与错误状态奖励及动作分组优势估计,训练出2B参数的ERR-VLM。

    推荐理由:论文给出可验证交互环境与错误恢复基准,并报告2B模型在严格成功率与恢复率上的提升幅度。

  8. arXiv · cs.RO67

    FR-VLA:面向接触密集操作的隐式力推理VLA模型

    FR-VLA提出一种视觉语言力推理模型,用可学习的力查询token基于视觉语言上下文生成力准入信号,再用该信号调制外部的token化力通路来生成动作。作者指出已有VLA通常以固定通路注入力信息,未显式判断力反馈与当前动作是否相关。在两个机器人平台的五个接触密集任务实机实验中,FR-VLA在六个评估阶段取得最高平均成功率,轨迹可视化显示其力准入随交互阶段变化。

    推荐理由:论文提出在力进入动作通路前先由视觉语言上下文判断力相关性的机制,并在两个机器人平台的五类接触密集任务上做了实机对比。

  9. arXiv · cs.RO65

    PaceVLA:视觉-语言-动作模型中的自适应时间动作量化

    PaceVLA提出一种面向视觉-语言-动作模型的自适应时间执行框架,通过多粒度动作解码与路由选择减少低层动作步数。该框架包含基于共享动作专家的模式专用解码器,以及判断粗粒度执行是否合适的可量化性引导模式选择与上下文条件路由器。作者在三个多任务仿真基准和六个真实世界任务上测试,称其在多种本体包括长程与灵巧操作中提升执行效率并保持任务成功率。

    推荐理由:论文针对VLA执行时延问题提出自适应时间动作量化框架,并在三个仿真基准和六个实机任务上验证。

  10. arXiv · cs.RO64

    CondenseVLA:面向多帧 VLA 的可学习历史压缩方法

    CondenseVLA 提出一种带可学习解码端历史压缩模块的多帧 VLA 策略,用可学习查询和多头交叉注意力把缓存的逐帧特征压缩为固定数量的 slot token,用于动作解码。

    推荐理由:论文提出可学习的历史压缩模块,并给出仿真与实机成功率对比,可用于比较多帧 VLA 的历史信息利用方式。

  11. arXiv · cs.RO71

    TrajWAM:面向动态机器人操作的高效轨迹引导世界动作模型

    TrajWAM 提出一种轨迹引导的世界动作模型,用于高效的动态机器人操作。该方法用历史物体掩码预测目标未来轨迹,再通过轻量 Trajectory ControlNet 引导预训练视频模型生成轨迹一致未来,并用解耦蒸馏实现一步视频-动作推理。

    推荐理由:论文把未来视觉预测锚定到目标物体轨迹上,并给出一步推理的解耦蒸馏方案,可供动态操作研究比较。

  12. arXiv · cs.RO58

    LECDrive:用潜空间专家认知链改进VLA自动驾驶

    作者提出LECDrive框架,在VLA模型中嵌入由任务特定潜token构成的渐进式专家认知链,让模型从DINOv3、SAM3和DepthAnything3中内化视觉、语义与几何知识。该认知链按课程学习原则从表征到语义、几何逐步施加监督,同时保持推理效率。作者称在物体感知、状态预测和轨迹规划等自动驾驶基准上,LECDrive持续提升基础VLM的性能,论文为预印本。

  13. arXiv · cs.RO71

    ScaleNav:用互联网视频预训练语言条件局部导航策略

    浙江大学等团队提出 ScaleNav,一个面向语言条件局部导航的世界-动作统一框架,先用互联网第一视角视频做指令条件视频预训练,再用带动作标注的仿真数据对齐动作块,最后联合微调。

    推荐理由:论文用互联网第一视角视频预训练视觉动态,再对齐仿真动作,为语言条件局部导航提供可迁移的三阶段训练思路。

  14. arXiv · cs.RO69

    VeSTA:弥合视觉语言导航中的物理可执行性差距

    Gang He 等人在 arXiv 预印本中提出 VeSTA 框架,用于弥合连续视觉语言导航中语义能力与物理可执行性之间的差距。作者指出当前仿真器的宽松接触模型可能掩盖物理不可行动作,使到达成功率不能反映真实执行能力。

    推荐理由:论文指出宽松接触模型会掩盖物理不可行动作,并给出对齐可执行轨迹的方法,可供评估VLN策略的仿真与实机差距参考。

  15. arXiv · cs.RO64

    SteerAct:用少样本时间引导改进预训练机器人动作模型

    SteerAct 提出一种少样本时间引导框架,在不更新动作模型权重的情况下,通过修改特征激活提升预训练机器人动作模型的任务成功率。该方法用预训练稀疏自编码器提供候选特征,并以时间描述符刻画各特征局部激活顺序模式的分布,从而在无需时间步对齐的情况下比较不同 rollout。

    推荐理由:论文提出用稀疏自编码器特征的时间描述符做少样本激活引导,为测试时提升预训练动作模型提供可迁移方法。

  16. arXiv · cs.RO75

    VQ-WM:用向量量化世界模型做机器人操作潜空间反馈运动规划

    作者提出向量量化世界模型 VQ-WM,将离散潜空间长程搜索与连续视觉反馈控制结合,用于机器人操作规划。该方法用首达时间的准度量估计替代欧氏距离,使规划抽象与控制器能力对齐。在汉诺塔实机操作中,该方法仅用短演示数据即达到 100% 成功率,并在操作与运动仿真基准上比最强世界模型高出 13.3 至 85.3 个百分点。

    推荐理由:论文把离散潜空间搜索与连续视觉反馈控制结合,并用首达时间估计对齐规划与控制器能力,为长程操作提供可迁移方法。

  17. arXiv · cs.RO65

    AQUAACT:摇杆级水下遥操作数据集与闭环基准发布

    AQUAACT 是作者称为首个公开的语言标注水下数据集,将相机图像与人类摇杆指令配对,包含 1.9 小时真实演示和 17.9 小时仿真演示,并附车辆惯性测量数据。实验显示仿真演示可迁移到真实数据,并大幅减少策略所需的真实演示量。在仿真中对七种策略(从模仿学习基线到 VLA 模型)的闭环基准测试显示,没有策略完成超过五分之一的回合,陆上数据预训练也未让大型 VLA 模型优于从头训练的小策略。

    推荐理由:论文公开了带语言标注的水下遥操作数据集,并用七种策略的闭环基准说明水下自主任务仍未解决。

  18. arXiv · cs.RO72

    BiDex-100:覆盖100余项仿真任务的双臂灵巧操作基准

    BiDex-100 是一个面向双臂灵巧操作的仿真基准,包含106项任务,按泛化、指令跟随、少演示、长时程和记忆五个能力维度组织。每项任务配有受控视觉与空间变化的域外变体,用于评估鲁棒性;基准支持两种本体,提供8,080条经成功验证的遥操作演示,共625万帧。作者在统一协议下评测了七个近期视觉-语言-动作模型,给出各能力维度、鲁棒性和数据效率的基线结果。

    推荐理由:该预印本给出106项双臂灵巧操作仿真任务与7个VLA模型的统一评测基线,可用于比较现有模型的能力与鲁棒性。

  19. arXiv · cs.RO58

    SurGPT:用于机器人手术技能评估与手势识别的多任务基础模型

    作者提出 SurGPT 基础模型,可自动分析达芬奇手术机器人视频,同时完成手术任务分类(打结、穿针、缝合)、标准化技能水平评估和手术手势自然语言描述三项任务。模型结合视觉编码器与 transformer 架构,用位置编码建模时序、注意力机制整合时空特征,并以自适应不确定性加权进行多任务学习。在达芬奇技能模拟器数据集上,作者称其在手术任务识别上达到当前最优表现,技能评估结果与专家评价相关。

  20. arXiv · cs.RO74

    TILDE:从具身基础模型进行教师闭环蒸馏

    TILDE 提出一种从预训练具身基础模型向未做动作预训练的策略迁移能力的蒸馏框架,结合学生状态上的在线蒸馏与教师执行恢复轨迹的学习。其 AutoDAgger 用机器人奖励模型监测任务进度并触发教师介入,无需人工监控或操控,恢复轨迹采集速度比人类在环方法快 2 倍以上。在三个真实世界任务上,TILDE 的任务表现最高为行为克隆的 4.1 倍,并支持跨架构蒸馏。

    推荐理由:论文提出从具身基础模型蒸馏策略的框架,并给出自动数据聚合与实机任务对比结果,可供关注策略迁移的研究者参考。

10月18日周日
  1. arXiv · cs.RO78

    The Bitter Lesson Comes to Robotics:九款前沿多模态语言模型直接控制真实机械臂的评测

    一篇 arXiv 预印本在 RoboDojo 的六项操作任务上评测了九款前沿多模态语言模型,让它们直接控制真实机械臂。作者称这是首次在物理硬件上对广泛前沿模型做统一操作任务比较,结果显示这些模型能完成多种操作任务,但精度和效率尚不足以在实际动作预算内完成。2026 年 7 月至 10 月间基准性能对应 53.9 天的翻倍周期,最佳执行速率提升 4.4 倍,最低执行成本下降 6.2 倍。

    推荐理由:在真实机械臂上统一评测九款前沿多模态语言模型,给出能力现状与性能翻倍周期,可作为通用模型直接控制机器人这一路线的参照。