技术方向
与机器人感知、决策和物理交互直接相关的VLA进展
122 条精选近 30 天 119 条共收录 172 条
OpenFlyV2 是一个统一的机载视觉-语言-动作架构，用共享视觉-语言表征在单一模型中支持语义理解、语言定位感知、空间推理与连续空中控制。紧凑动作专家将多模态上下文转为短时域航点，运动感知时序记忆与动作先验降低闭环执行计算开销；作者构建约 7 万条导航轨迹和 6 万对视觉-语言指令-响应的仿真数据集。
推荐理由：论文给出机载 VLA 在 Jetson Orin NX 上以 10 Hz 闭环飞行、零样本迁移到真实四旋翼的结果，可供比较机载与离板方案。
研究提出一种跨控制器迁移框架，让单一策略在上下文内适应不同控制器。该方法用指令动作与机器人实际运动的示例编码控制器下的行为交互，再由 transformer 上下文编码器汇总，使策略无需为每种控制器单独学习。实验覆盖六种控制器类型及控制器增益与柔顺性变化，实机结果显示平均成功率比朴素数据合并高 33 个百分点，在未见控制器模式上达到 50% 成功率，在未见控制器增益上达到 52%，并能迁移到控制器专属数据有限的任务。在 USB 插入、表面擦拭等接触丰富任务中，行为交互上下文使策略不仅调整动作，也调整策略。
推荐理由：论文给出跨控制器与跨本体的行为交互上下文编码方法，并报告实机成功率提升与未见控制器模式下的表现。
QbD-VLA 提出一种任务引导的混合精度量化方法，用短闭环评估中的任务成功率分配权重与激活位宽，并考虑模型组件间的相互影响。实验覆盖四个 VLA 模型和 LIBERO 全部四个套件，权重平均约 4 位、激活少于 6 位时仍保持较强任务表现；在 SIMPLER 上相对均匀量化的增益较小。
推荐理由：论文用闭环任务成功率指导 VLA 混合精度量化，并给出仿真与 Franka 实机上的差异结果，可供关注 VLA 部署成本的研究者参考。
Synthoid.ai 的 VLA Research Team 提出 SaiVLA-JEPA，在 VLA 流策略中接入冻结 V-JEPA 编码器特征，并在 10,030 对 LIBERO-Plus 回合上比较三种设置。
推荐理由：论文在 LIBERO-Plus 配对闭环试验中比较 JEPA 条件与未来表征监督，给出成功率对照与负结果。
一项 arXiv 预印本研究提出面向零样本视觉语言导航的时空记忆系统，由 8B observer 总结观测、8B reasoner 依据任务、时序与空间三类记忆选择路点意图或请求新视角，再由几何控制器执行。
推荐理由：论文拆解零样本视觉语言导航中任务进度、观测历史与几何记忆各自的作用，并给出记忆消融与实机对比结果。
纽约大学等团队发布预印本 Embodied at Sea，研究模仿学习在水下多任务操作中的表现。团队在平静与湍流水域采集1616条水下操作数据，训练14个不同本体感知配置的 DynamicVLA 模型，在泳池1260次可评分实机回放中10个模型超过基线，最佳模型总体成功率93.3%（含部分成功）。
推荐理由：论文给出水下多任务模仿学习的实机回放数据与开源工具包，可用于比较通用VLA与单任务策略在域偏移下的表现。
论文提出自标注偏好迁移方法SPT，让带偏好标注训练的VLA策略把偏好控制迁移到缺少偏好标注的新任务。SPT在带标注源演示上联合训练共享视觉语言骨干做偏好条件动作预测与偏好识别，再冻结识别器为目标演示自标注并微调策略。
推荐理由：论文给出偏好标注缺失时迁移执行偏好的自标注方法，并报告仿真与实机对比数据，可供研究VLA偏好控制的人参考。
ThinkWorld 是一个 VLA 学习框架，把动作推理建立在世界动力学上，并通过世界想象的强化学习加以强化。它将每个动作思考表示为 Chain-of-Dynamics（CoD），即一串离散运动 token，刻画从当前世界到未来状态的中间动力学，并作为跨本体的通用动作表示。
推荐理由：论文提出以世界动力学链作为跨本体动作表示，并用世界想象强化推理，为无动作标注视频提供监督路径。
World Dreamer v5-lite 是一个面向多机器人的世界动作模型，围绕共享世界状态为各机器人分别预测动作序列。该状态由预训练视频编码器的校准特征在工作空间坐标中填充，空间尺寸不随视角增加而改变；视觉语言模型提供场景上下文，并为每个机器人提供一个查询，查询读取共享状态并交换位姿感知信息，动作流保持独立。
推荐理由：预印本给出多机器人共享世界状态的动作预测设计，并在仿真与四项实机任务上报告成功率对比。
研究在 FastWAM 和 OpenWAM 中做受控的未来视频预测损失消融，模型架构、初始化、机器人训练数据和训练步数在各模型族内保持固定。在已见任务的干净条件下，预测监督分别将成功率提升 24.38 和 72.91 个百分点；但在分布偏移下收益并不稳定，未见任务上的提升因模型和任务而异，两个模型在所受评估的环境随机化下成功率都较低。
推荐理由：在 FastWAM 与 OpenWAM 上做受控消融，区分未来视频预测在熟悉任务上的执行提升与分布偏移下的迁移表现。
智元机器人发布 Genie Studio 2.0，这是一个用于开发、部署和运营具身智能应用的一体化平台，由 Flywheel、Agent、Monitor 三个模块组成，覆盖数据采集、模型训练、评估、推理、任务编排与车队管理。
推荐理由：官方披露平台三个模块与常州、PIA、龙旗、广州地铁等落地项目，可了解具身应用从数据到车队运营的工程链路。
RynnVLA-Latent提出用异构交互视频做机器人策略预训练，其RynnLAM模块无需原生机器人控制即可从视觉变化中学习连续、3D接地的潜在动作。研究在30.1K小时人类、机器人和仿真视频上生成745.52M个潜在动作描述符，再通过流匹配预测潜在动作块并适配到具体本体动作。
推荐理由：论文用30.1K小时异构视频学习3D接地的潜在动作，为VLA预训练绕开动作标注稀缺提供了一条可比较的路径。
AdaPolicy 提出一种动作驱动的前瞻策略框架，通过级联的下一动作块预测让在线策略获得隐式前瞻，训练时无需未来观测编码，推理阶段零额外开销。方法由在线动作头同时输出当前动作块与演化隐状态，再由级联展开动作头预测下一动作块，并将损失回传至该隐状态。
推荐理由：论文提出仅用动作信号做下一动作块预测来获得前瞻表征，训练无推理开销，并在仿真与实机任务上报告增益。
HuGe 是一组人形通用视觉-语言-动作模型，在超过 2000 小时的第一视角人类与机器人数据上预训练。它沿用三种现有代表性 VLA 架构，预测预训练全身控制器的潜在运动 token 与手部控制信号，并采用第一视角预训练、人形适配和下游微调的三阶段流程。
推荐理由：论文给出用第一视角人类数据预训练人形VLA的三阶段流程，并说明视觉与本体感知差异的处理方式。
X-World提出一种把视频扩散模型先验迁移到机器人控制的框架，通过固定长度token序列接入共享动作专家，并用残差跨视角注意力支持一至三路相机输入。在LIBERO上平均成功率为98.5%，其LIBERO训练检查点在LIBERO-Plus上不做额外适配取得76.5%；六项双臂实机任务每项20次试验平均成功率81.7%。
推荐理由：论文给出跨视角视频先验迁移到机器人控制的完整训练流程，并列出LIBERO与双臂实机成功率及扰动下的强弱项。
AdaDexTrack 提出一种调制器在环的框架，用于语言条件下的灵巧手物交互跟踪。该框架以大规模专家到通才蒸馏得到的跟踪器承载技能，调制器经强化学习训练，对参考轨迹、物体隐表示和位置目标做三类反馈修正。作者称其在未见轨迹和未见物体集合上的平均跟踪误差与成功率均优于此前 SOTA，并在真实硬件上展示了零样本 sim-to-real 迁移，加入调制器相比仅用跟踪器有显著提升。
推荐理由：论文把语言条件下的灵巧操作重构为闭环调制跟踪，并给出未见轨迹与实机零样本迁移的对比结果。
研究提出Scan2Instruction与PRPT-KS，用一次简短的iPhone扫描替代人工示范，完成语言引导导航策略在新场景的适配。Scan2Instruction把扫描结果编译成完整训练环境并自动合成带指令的可执行导航片段，PRPT-KS则直接从重建场景读取闭式Pareto效用更新策略，无需学习型critic和人工标注。
推荐理由：论文用一次手机扫描替代现场遥操作采集示范，为语言引导导航策略的场景适配提供了可比较的实机成功率数据。
RoboJev-27B 是一个开放权重的视觉语言模型，输入任务指令与 10 帧操作画面，预测机器人是否完成任务。它在同型号 SO-101 的 268 个留出回合上取得 95.2% 平衡准确率和 0.993 AUROC，在未见实验室/机器人采集的 459 个回合上 AUROC 为 0.890。
推荐理由：RoboJev-27B 给出机器人操作成功检测的开放权重模型与完整评测记录，可用于比较不同成功判定方案。
Mohamed A. Mabrok 提出 Open-World Law-to-Action（L2A），由视觉语言模型为每个可动部件提出运动方式、运动定律项和可能的锁定因素，再以带下限的先验形式交给触觉在线修正。
推荐理由：论文把视觉语言先验与触觉在线辨识结合，给出仿真中未见场景的任务完成率对比，可用于了解开放世界操作中的物理推断思路。
MOON提出一种框架，为冻结的视觉语言导航策略加装两个轻量模块，参数量增加不到1%，用于在偏离路线时判断何时清空历史并学习如何恢复。作者称在R2R-CE和RxR-CE上，MOON取得对比方法中最高的R2R-CE成功率，并把冻结基线的成功率分别提升5.2和6.0个百分点；随机触发消融显示增益取决于清空历史的时机。
推荐理由：论文用冻结策略加两个轻量模块处理导航偏离后的历史清理时机，并给出R2R-CE与RxR-CE上的对比结果。