跳到正文

NEWS / 动态

#VLA

按时间浏览,使用右上角筛选切换领域。

10月19日周一
  1. arXiv · cs.RO72

    BiDex-100:覆盖100余项仿真任务的双臂灵巧操作基准

    BiDex-100 是一个面向双臂灵巧操作的仿真基准,包含106项任务,按泛化、指令跟随、少演示、长时程和记忆五个能力维度组织。每项任务配有受控视觉与空间变化的域外变体,用于评估鲁棒性;基准支持两种本体,提供8,080条经成功验证的遥操作演示,共625万帧。作者在统一协议下评测了七个近期视觉-语言-动作模型,给出各能力维度、鲁棒性和数据效率的基线结果。

    推荐理由:该预印本给出106项双臂灵巧操作仿真任务与7个VLA模型的统一评测基线,可用于比较现有模型的能力与鲁棒性。

  2. arXiv · cs.RO58

    SurGPT:用于机器人手术技能评估与手势识别的多任务基础模型

    作者提出 SurGPT 基础模型,可自动分析达芬奇手术机器人视频,同时完成手术任务分类(打结、穿针、缝合)、标准化技能水平评估和手术手势自然语言描述三项任务。模型结合视觉编码器与 transformer 架构,用位置编码建模时序、注意力机制整合时空特征,并以自适应不确定性加权进行多任务学习。在达芬奇技能模拟器数据集上,作者称其在手术任务识别上达到当前最优表现,技能评估结果与专家评价相关。

  3. arXiv · cs.RO74

    TILDE:从具身基础模型进行教师闭环蒸馏

    TILDE 提出一种从预训练具身基础模型向未做动作预训练的策略迁移能力的蒸馏框架,结合学生状态上的在线蒸馏与教师执行恢复轨迹的学习。其 AutoDAgger 用机器人奖励模型监测任务进度并触发教师介入,无需人工监控或操控,恢复轨迹采集速度比人类在环方法快 2 倍以上。在三个真实世界任务上,TILDE 的任务表现最高为行为克隆的 4.1 倍,并支持跨架构蒸馏。

    推荐理由:论文提出从具身基础模型蒸馏策略的框架,并给出自动数据聚合与实机任务对比结果,可供关注策略迁移的研究者参考。

10月18日周日
  1. arXiv · cs.RO78

    The Bitter Lesson Comes to Robotics:九款前沿多模态语言模型直接控制真实机械臂的评测

    一篇 arXiv 预印本在 RoboDojo 的六项操作任务上评测了九款前沿多模态语言模型,让它们直接控制真实机械臂。作者称这是首次在物理硬件上对广泛前沿模型做统一操作任务比较,结果显示这些模型能完成多种操作任务,但精度和效率尚不足以在实际动作预算内完成。2026 年 7 月至 10 月间基准性能对应 53.9 天的翻倍周期,最佳执行速率提升 4.4 倍,最低执行成本下降 6.2 倍。

    推荐理由:在真实机械臂上统一评测九款前沿多模态语言模型,给出能力现状与性能翻倍周期,可作为通用模型直接控制机器人这一路线的参照。

  2. arXiv · cs.RO71

    VLA-Rolling:复用动作尾部以减少去噪步数并提升控制

    VLA-Rolling 提出一种轻量推理框架,通过动作尾部继承、逐动作置信度估计和置信度引导的重加噪与去噪预算分配三阶段复用动作尾部,底层 VLA 保持冻结。

    推荐理由:论文提出复用动作尾部的推理框架,在16组模型与基准组合上同时报告推理加速与成功率变化,可供比较VLA推理效率方案。

  3. arXiv · cs.RO71

    DreamCan:用稀疏视觉规划衔接视频模型与机器人操作策略

    DreamCan 提出一种分层策略,用预训练视频模型改造的高层规划器生成稀疏视觉子目标,再由低层视觉运动策略执行,从而把视频模型的可执行性约束进规划。作者从无动作的离线机器人视频中估计子目标的可达性与任务效用,并用动态规划自动选取子目标序列,无需人工标注。

    推荐理由:论文提出用稀疏视觉子目标替代稠密视频预测的分层策略,并在 LIBERO-Long 与真实双臂任务上给出对比结果。

10月13日周二
  1. Physical Intelligence Blog72

    Physical Intelligence 推出 Pi API 测试版,开放 π 系列模型微调与托管推理

    Physical Intelligence 发布 Pi API 测试版,开发者可上传数据、在 Pi 管理的算力和基础设施上微调 π 模型,并通过托管网关调用微调后的模型做推理。

    推荐理由:Pi API 测试版把数据上传、微调和托管推理串成一条流程,可用于观察机器人基础模型如何被下游团队自行迭代。

9月17日周四
  1. Figure News88
    Figure News的报道配图

    Figure 发布 Helix 2.5:在 30 个未见家庭零样本完成全身家务

    Figure 发布 Helix 2.5,在 30 个湾区未见家庭中零样本完成整理客厅、叠毛巾、铺床三类全身长程任务,这些环境与操作对象均未采集数据、未做微调或适配。

    推荐理由:Figure 公布 Helix 2.5 在 30 个未见家庭零样本完成三类全身任务,并给出 Index 预训练消融与数据缩放规律。

7月27日周一
  1. Hugging Face · 机器人与开源研究82

    NVIDIA 发布 Cosmos-H-Dreams 实时生成式手术机器人模拟器

    NVIDIA 发布 Cosmos-H-Dreams,一个面向手术机器人的实时、动作条件生成式模拟器,将 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型,并通过 FlashDreams 推理库在单张 NVIDIA RTX PRO 6000 上运行。

    推荐理由:NVIDIA 把手术世界模型蒸馏成实时闭环模拟器,给出从约10帧到约160帧的推理提速路径。

4月16日周四