跳到正文

技术方向

VLA 最新动态

与机器人感知、决策和物理交互直接相关的VLA进展

122 条精选近 30 天 119 条共收录 172 条

更新

精选归档 · 第 6 页

10月19日周一第 101–120 条
  1. arXiv · cs.RO67

    ALIGN:面向优势条件行为克隆的条件估计与表达对齐框架

    ALIGN 提出一种条件对齐的优势条件行为克隆(AC-BC)框架,用于视觉-语言-动作策略,直接预测策略标签空间中的类别化成对条件,并通过 AdaRMS 调制与流时间融合注入 DiT 动作专家。

    推荐理由:论文针对混合质量机器人数据下的优势条件行为克隆,提出条件对齐框架,并在两个实机任务上给出闭环成功率对比。

  2. arXiv · cs.RO60

    Cartender:通过反事实分支学习语言条件驾驶

    Cartender 提出从真实驾驶记录中学习未被采取的分支,用视觉语言模型生成替代未来及对应指令,并以不支持的指令作为负标签,从而在无仿真器条件下构造匹配与不匹配的指令-动作对。

    推荐理由:论文用真实记录构造反事实分支来监督语言条件驾驶,并给出同场景换指令的评测方式,可供研究语言条件策略如何区分场景约束与指令。

  3. arXiv · cs.RO66

    HS-MoDP:通过同构遥操作与独立技能路由实现人形机器人组合操作

    作者提出HS-MoDP,通过共享专家池上的独立语义路由,把分别演示的手臂技能组合起来,在Unitree G1上取得比基线更强的技能组合效果。为采集全身接触操作演示,团队开发了同构外骨骼G1Exo,对机械臂构型提供关节级直接控制。

    推荐理由:论文提出用同构外骨骼采集接触操作演示,并比较其与VR-IK遥操作对策略学习的影响,可供研究遥操作数据质量的人参考。

  4. arXiv · cs.RO71

    ERR-VLM:用动作分组Turn-GSPO训练具身VLM实现错误恢复重规划

    研究提出ERR-Env可验证交互环境与ERR-Bench基准,用于评估具身VLM在正常、中间和错误状态下的恢复能力与执行可靠性。作者进一步提出在线强化学习方法Action-Grouped Turn-GSPO(AGT-GSPO),结合回合级任务进度与错误状态奖励及动作分组优势估计,训练出2B参数的ERR-VLM。

    推荐理由:论文给出可验证交互环境与错误恢复基准,并报告2B模型在严格成功率与恢复率上的提升幅度。

  5. arXiv · cs.RO67

    FR-VLA:面向接触密集操作的隐式力推理VLA模型

    FR-VLA提出一种视觉语言力推理模型,用可学习的力查询token基于视觉语言上下文生成力准入信号,再用该信号调制外部的token化力通路来生成动作。作者指出已有VLA通常以固定通路注入力信息,未显式判断力反馈与当前动作是否相关。在两个机器人平台的五个接触密集任务实机实验中,FR-VLA在六个评估阶段取得最高平均成功率,轨迹可视化显示其力准入随交互阶段变化。

    推荐理由:论文提出在力进入动作通路前先由视觉语言上下文判断力相关性的机制,并在两个机器人平台的五类接触密集任务上做了实机对比。

  6. arXiv · cs.RO65

    PaceVLA:视觉-语言-动作模型中的自适应时间动作量化

    PaceVLA提出一种面向视觉-语言-动作模型的自适应时间执行框架,通过多粒度动作解码与路由选择减少低层动作步数。该框架包含基于共享动作专家的模式专用解码器,以及判断粗粒度执行是否合适的可量化性引导模式选择与上下文条件路由器。作者在三个多任务仿真基准和六个真实世界任务上测试,称其在多种本体包括长程与灵巧操作中提升执行效率并保持任务成功率。

    推荐理由:论文针对VLA执行时延问题提出自适应时间动作量化框架,并在三个仿真基准和六个实机任务上验证。

  7. arXiv · cs.RO64

    CondenseVLA:面向多帧 VLA 的可学习历史压缩方法

    CondenseVLA 提出一种带可学习解码端历史压缩模块的多帧 VLA 策略,用可学习查询和多头交叉注意力把缓存的逐帧特征压缩为固定数量的 slot token,用于动作解码。

    推荐理由:论文提出可学习的历史压缩模块,并给出仿真与实机成功率对比,可用于比较多帧 VLA 的历史信息利用方式。

  8. arXiv · cs.RO71

    TrajWAM:面向动态机器人操作的高效轨迹引导世界动作模型

    TrajWAM 提出一种轨迹引导的世界动作模型,用于高效的动态机器人操作。该方法用历史物体掩码预测目标未来轨迹,再通过轻量 Trajectory ControlNet 引导预训练视频模型生成轨迹一致未来,并用解耦蒸馏实现一步视频-动作推理。

    推荐理由:论文把未来视觉预测锚定到目标物体轨迹上,并给出一步推理的解耦蒸馏方案,可供动态操作研究比较。

  9. arXiv · cs.RO71

    ScaleNav:用互联网视频预训练语言条件局部导航策略

    浙江大学等团队提出 ScaleNav,一个面向语言条件局部导航的世界-动作统一框架,先用互联网第一视角视频做指令条件视频预训练,再用带动作标注的仿真数据对齐动作块,最后联合微调。

    推荐理由:论文用互联网第一视角视频预训练视觉动态,再对齐仿真动作,为语言条件局部导航提供可迁移的三阶段训练思路。

  10. arXiv · cs.RO69

    VeSTA:弥合视觉语言导航中的物理可执行性差距

    Gang He 等人在 arXiv 预印本中提出 VeSTA 框架,用于弥合连续视觉语言导航中语义能力与物理可执行性之间的差距。作者指出当前仿真器的宽松接触模型可能掩盖物理不可行动作,使到达成功率不能反映真实执行能力。

    推荐理由:论文指出宽松接触模型会掩盖物理不可行动作,并给出对齐可执行轨迹的方法,可供评估VLN策略的仿真与实机差距参考。

  11. arXiv · cs.RO64

    SteerAct:用少样本时间引导改进预训练机器人动作模型

    SteerAct 提出一种少样本时间引导框架,在不更新动作模型权重的情况下,通过修改特征激活提升预训练机器人动作模型的任务成功率。该方法用预训练稀疏自编码器提供候选特征,并以时间描述符刻画各特征局部激活顺序模式的分布,从而在无需时间步对齐的情况下比较不同 rollout。

    推荐理由:论文提出用稀疏自编码器特征的时间描述符做少样本激活引导,为测试时提升预训练动作模型提供可迁移方法。

  12. arXiv · cs.RO75

    VQ-WM:用向量量化世界模型做机器人操作潜空间反馈运动规划

    作者提出向量量化世界模型 VQ-WM,将离散潜空间长程搜索与连续视觉反馈控制结合,用于机器人操作规划。该方法用首达时间的准度量估计替代欧氏距离,使规划抽象与控制器能力对齐。在汉诺塔实机操作中,该方法仅用短演示数据即达到 100% 成功率,并在操作与运动仿真基准上比最强世界模型高出 13.3 至 85.3 个百分点。

    推荐理由:论文把离散潜空间搜索与连续视觉反馈控制结合,并用首达时间估计对齐规划与控制器能力,为长程操作提供可迁移方法。

  13. arXiv · cs.RO65

    AQUAACT:摇杆级水下遥操作数据集与闭环基准发布

    AQUAACT 是作者称为首个公开的语言标注水下数据集,将相机图像与人类摇杆指令配对,包含 1.9 小时真实演示和 17.9 小时仿真演示,并附车辆惯性测量数据。实验显示仿真演示可迁移到真实数据,并大幅减少策略所需的真实演示量。在仿真中对七种策略(从模仿学习基线到 VLA 模型)的闭环基准测试显示,没有策略完成超过五分之一的回合,陆上数据预训练也未让大型 VLA 模型优于从头训练的小策略。

    推荐理由:论文公开了带语言标注的水下遥操作数据集,并用七种策略的闭环基准说明水下自主任务仍未解决。

  14. arXiv · cs.RO72

    BiDex-100:覆盖100余项仿真任务的双臂灵巧操作基准

    BiDex-100 是一个面向双臂灵巧操作的仿真基准,包含106项任务,按泛化、指令跟随、少演示、长时程和记忆五个能力维度组织。每项任务配有受控视觉与空间变化的域外变体,用于评估鲁棒性;基准支持两种本体,提供8,080条经成功验证的遥操作演示,共625万帧。作者在统一协议下评测了七个近期视觉-语言-动作模型,给出各能力维度、鲁棒性和数据效率的基线结果。

    推荐理由:该预印本给出106项双臂灵巧操作仿真任务与7个VLA模型的统一评测基线,可用于比较现有模型的能力与鲁棒性。

  15. arXiv · cs.RO74

    TILDE:从具身基础模型进行教师闭环蒸馏

    TILDE 提出一种从预训练具身基础模型向未做动作预训练的策略迁移能力的蒸馏框架,结合学生状态上的在线蒸馏与教师执行恢复轨迹的学习。其 AutoDAgger 用机器人奖励模型监测任务进度并触发教师介入,无需人工监控或操控,恢复轨迹采集速度比人类在环方法快 2 倍以上。在三个真实世界任务上,TILDE 的任务表现最高为行为克隆的 4.1 倍,并支持跨架构蒸馏。

    推荐理由:论文提出从具身基础模型蒸馏策略的框架,并给出自动数据聚合与实机任务对比结果,可供关注策略迁移的研究者参考。

10月18日周日
  1. arXiv · cs.RO78

    The Bitter Lesson Comes to Robotics:九款前沿多模态语言模型直接控制真实机械臂的评测

    一篇 arXiv 预印本在 RoboDojo 的六项操作任务上评测了九款前沿多模态语言模型,让它们直接控制真实机械臂。作者称这是首次在物理硬件上对广泛前沿模型做统一操作任务比较,结果显示这些模型能完成多种操作任务,但精度和效率尚不足以在实际动作预算内完成。2026 年 7 月至 10 月间基准性能对应 53.9 天的翻倍周期,最佳执行速率提升 4.4 倍,最低执行成本下降 6.2 倍。

    推荐理由:在真实机械臂上统一评测九款前沿多模态语言模型,给出能力现状与性能翻倍周期,可作为通用模型直接控制机器人这一路线的参照。

  2. arXiv · cs.RO71

    VLA-Rolling:复用动作尾部以减少去噪步数并提升控制

    VLA-Rolling 提出一种轻量推理框架,通过动作尾部继承、逐动作置信度估计和置信度引导的重加噪与去噪预算分配三阶段复用动作尾部,底层 VLA 保持冻结。

    推荐理由:论文提出复用动作尾部的推理框架,在16组模型与基准组合上同时报告推理加速与成功率变化,可供比较VLA推理效率方案。

  3. arXiv · cs.RO71

    DreamCan:用稀疏视觉规划衔接视频模型与机器人操作策略

    DreamCan 提出一种分层策略,用预训练视频模型改造的高层规划器生成稀疏视觉子目标,再由低层视觉运动策略执行,从而把视频模型的可执行性约束进规划。作者从无动作的离线机器人视频中估计子目标的可达性与任务效用,并用动态规划自动选取子目标序列,无需人工标注。

    推荐理由:论文提出用稀疏视觉子目标替代稠密视频预测的分层策略,并在 LIBERO-Long 与真实双臂任务上给出对比结果。

10月13日周二
  1. Physical Intelligence Blog72

    Physical Intelligence 推出 Pi API 测试版,开放 π 系列模型微调与托管推理

    Physical Intelligence 发布 Pi API 测试版,开发者可上传数据、在 Pi 管理的算力和基础设施上微调 π 模型,并通过托管网关调用微调后的模型做推理。

    推荐理由:Pi API 测试版把数据上传、微调和托管推理串成一条流程,可用于观察机器人基础模型如何被下游团队自行迭代。

9月17日周四
  1. Figure News88
    Figure News的报道配图

    Figure 发布 Helix 2.5:在 30 个未见家庭零样本完成全身家务

    Figure 发布 Helix 2.5,在 30 个湾区未见家庭中零样本完成整理客厅、叠毛巾、铺床三类全身长程任务,这些环境与操作对象均未采集数据、未做微调或适配。

    推荐理由:Figure 公布 Helix 2.5 在 30 个未见家庭零样本完成三类全身任务,并给出 Index 预训练消融与数据缩放规律。