SteerAct:用少样本时间引导改进预训练机器人动作模型
SteerAct 提出一种少样本时间引导框架,在不更新动作模型权重的情况下,通过修改特征激活提升预训练机器人动作模型的任务成功率。该方法用预训练稀疏自编码器提供候选特征,并以时间描述符刻画各特征局部激活顺序模式的分布,从而在无需时间步对齐的情况下比较不同 rollout。
推荐理由:论文提出用稀疏自编码器特征的时间描述符做少样本激活引导,为测试时提升预训练动作模型提供可迁移方法。
技术方向
与机器人感知、决策和物理交互直接相关的VLA进展
192 条精选近 30 天 189 条共收录 267 条
SteerAct 提出一种少样本时间引导框架,在不更新动作模型权重的情况下,通过修改特征激活提升预训练机器人动作模型的任务成功率。该方法用预训练稀疏自编码器提供候选特征,并以时间描述符刻画各特征局部激活顺序模式的分布,从而在无需时间步对齐的情况下比较不同 rollout。
推荐理由:论文提出用稀疏自编码器特征的时间描述符做少样本激活引导,为测试时提升预训练动作模型提供可迁移方法。
作者提出向量量化世界模型 VQ-WM,将离散潜空间长程搜索与连续视觉反馈控制结合,用于机器人操作规划。该方法用首达时间的准度量估计替代欧氏距离,使规划抽象与控制器能力对齐。在汉诺塔实机操作中,该方法仅用短演示数据即达到 100% 成功率,并在操作与运动仿真基准上比最强世界模型高出 13.3 至 85.3 个百分点。
推荐理由:论文把离散潜空间搜索与连续视觉反馈控制结合,并用首达时间估计对齐规划与控制器能力,为长程操作提供可迁移方法。
AQUAACT 是作者称为首个公开的语言标注水下数据集,将相机图像与人类摇杆指令配对,包含 1.9 小时真实演示和 17.9 小时仿真演示,并附车辆惯性测量数据。实验显示仿真演示可迁移到真实数据,并大幅减少策略所需的真实演示量。在仿真中对七种策略(从模仿学习基线到 VLA 模型)的闭环基准测试显示,没有策略完成超过五分之一的回合,陆上数据预训练也未让大型 VLA 模型优于从头训练的小策略。
推荐理由:论文公开了带语言标注的水下遥操作数据集,并用七种策略的闭环基准说明水下自主任务仍未解决。
BiDex-100 是一个面向双臂灵巧操作的仿真基准,包含106项任务,按泛化、指令跟随、少演示、长时程和记忆五个能力维度组织。每项任务配有受控视觉与空间变化的域外变体,用于评估鲁棒性;基准支持两种本体,提供8,080条经成功验证的遥操作演示,共625万帧。作者在统一协议下评测了七个近期视觉-语言-动作模型,给出各能力维度、鲁棒性和数据效率的基线结果。
推荐理由:该预印本给出106项双臂灵巧操作仿真任务与7个VLA模型的统一评测基线,可用于比较现有模型的能力与鲁棒性。
TILDE 提出一种从预训练具身基础模型向未做动作预训练的策略迁移能力的蒸馏框架,结合学生状态上的在线蒸馏与教师执行恢复轨迹的学习。其 AutoDAgger 用机器人奖励模型监测任务进度并触发教师介入,无需人工监控或操控,恢复轨迹采集速度比人类在环方法快 2 倍以上。在三个真实世界任务上,TILDE 的任务表现最高为行为克隆的 4.1 倍,并支持跨架构蒸馏。
推荐理由:论文提出从具身基础模型蒸馏策略的框架,并给出自动数据聚合与实机任务对比结果,可供关注策略迁移的研究者参考。
一篇 arXiv 预印本在 RoboDojo 的六项操作任务上评测了九款前沿多模态语言模型,让它们直接控制真实机械臂。作者称这是首次在物理硬件上对广泛前沿模型做统一操作任务比较,结果显示这些模型能完成多种操作任务,但精度和效率尚不足以在实际动作预算内完成。2026 年 7 月至 10 月间基准性能对应 53.9 天的翻倍周期,最佳执行速率提升 4.4 倍,最低执行成本下降 6.2 倍。
推荐理由:在真实机械臂上统一评测九款前沿多模态语言模型,给出能力现状与性能翻倍周期,可作为通用模型直接控制机器人这一路线的参照。
VLA-Rolling 提出一种轻量推理框架,通过动作尾部继承、逐动作置信度估计和置信度引导的重加噪与去噪预算分配三阶段复用动作尾部,底层 VLA 保持冻结。
推荐理由:论文提出复用动作尾部的推理框架,在16组模型与基准组合上同时报告推理加速与成功率变化,可供比较VLA推理效率方案。
DreamCan 提出一种分层策略,用预训练视频模型改造的高层规划器生成稀疏视觉子目标,再由低层视觉运动策略执行,从而把视频模型的可执行性约束进规划。作者从无动作的离线机器人视频中估计子目标的可达性与任务效用,并用动态规划自动选取子目标序列,无需人工标注。
推荐理由:论文提出用稀疏视觉子目标替代稠密视频预测的分层策略,并在 LIBERO-Long 与真实双臂任务上给出对比结果。
Physical Intelligence 发布 Pi API 测试版,开发者可上传数据、在 Pi 管理的算力和基础设施上微调 π 模型,并通过托管网关调用微调后的模型做推理。
推荐理由:Pi API 测试版把数据上传、微调和托管推理串成一条流程,可用于观察机器人基础模型如何被下游团队自行迭代。

Figure 发布 Helix 2.5,在 30 个湾区未见家庭中零样本完成整理客厅、叠毛巾、铺床三类全身长程任务,这些环境与操作对象均未采集数据、未做微调或适配。
推荐理由:Figure 公布 Helix 2.5 在 30 个未见家庭零样本完成三类全身任务,并给出 Index 预训练消融与数据缩放规律。
NVIDIA 发布 Cosmos-H-Dreams,一个面向手术机器人的实时、动作条件生成式模拟器,将 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型,并通过 FlashDreams 推理库在单张 NVIDIA RTX PRO 6000 上运行。
推荐理由:NVIDIA 把手术世界模型蒸馏成实时闭环模拟器,给出从约10帧到约160帧的推理提速路径。
Physical Intelligence 训练并发布通用模型 π0.7,官方称其在泛化上出现阶跃式提升,能执行训练数据中未出现的任务。
推荐理由:官方披露π0.7在未见任务上的组合泛化与跨本体迁移表现,并说明多模态提示如何统一异构数据。