研究揭示驾驶 VLA 的感知-动作绑定缺口,并提出冻结采样器引导修复
研究指出,推理增强的驾驶 VLA 能感知并推理安全关键危险,却未能把危险信息转化为安全动作,作者将这一现象称为感知-动作绑定缺口。基于匹配的仿真反事实和驾驶日志回放,研究发现路径内危险确实被编码进视觉表征,但纵向规划主要由自车速度历史主导,对危险距离和模型自身推理轨迹响应很弱。
推荐理由:论文用匹配仿真反事实与实车日志回放,把驾驶 VLA 的危险感知与制动控制分开诊断,并给出不改权重的生成时引导方案。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
研究指出,推理增强的驾驶 VLA 能感知并推理安全关键危险,却未能把危险信息转化为安全动作,作者将这一现象称为感知-动作绑定缺口。基于匹配的仿真反事实和驾驶日志回放,研究发现路径内危险确实被编码进视觉表征,但纵向规划主要由自车速度历史主导,对危险距离和模型自身推理轨迹响应很弱。
推荐理由:论文用匹配仿真反事实与实车日志回放,把驾驶 VLA 的危险感知与制动控制分开诊断,并给出不改权重的生成时引导方案。
作者提出生成式计划隐变量(GPL),把VLA的推理状态表示为对计划(如选哪个物体、抓取或路线)的低维条件分布,使计划可采样、可按请求选择、可按部署结果重加权,且无需重新训练VLA。
推荐理由:论文把VLA的推理状态建模为可采样的计划分布,并在仿真操作任务上对比了计划引导与动作分布引导的差异。
作者提出两阶段框架 CPR,从多视角视频片段学习互补的预测几何表征用于具身操作。预训练阶段用冻结的 3D 基础模型提供稠密几何特征,压缩为预测几何表征并保留场景结构及其时序演化,再对几何转移施加动作监督提取运动表征;下游后训练通过几何查询迁移预测几何,运动表征引导动作生成路径上的中间特征。
推荐理由:论文提出两阶段框架,从多视角视频学习互补预测几何表征,并在 LIBERO、SimplerEnv 与实机任务上对比下游策略表现。
DirectWAM 通过动作充分蒸馏把预训练视频与动作专家转为单步预测器,在 LIBERO 四个套件平均成功率 97.1%、RoboTwin 2.0 上 85.4%,推理延迟较完整迭代教师降低 28.0 倍。
推荐理由:论文分析世界-动作模型中视觉预测误差对动作的影响,提出单步蒸馏方法,并给出仿真基准与实机任务结果。
FIT-MAC 是一个失败感知的闭环多智能体控制框架,在推理阶段为 VLA 策略增加控制层以提升鲁棒性。该框架由 Planner、Grounder、Verifier 和 Correction 四个智能体组成,分别负责任务解析、视觉目标绑定、执行进度跟踪与失败类型区分,以及将干预路由到目标重绑定或有界抓取与放置恢复;无需干预时仍由预训练 VLA 生成动作。
PACT-VLA 提出一种免训练框架,用推理起始观测生成候选动作块,再用提交前观测从中选出完整动作块,以缓解异步推理延迟导致的成功率下降。其 FlowRes 评分衡量候选隐含流方向与冻结策略在提交前观测下预测速度的残差,无需单独验证器;流水线实现使选择不增加控制步延迟。
推荐理由:论文针对异步推理的观测滞后问题提出免训练的动作块选择方法,并给出仿真与实机成功率对比。
EventSync 是一个分层框架,通过事件驱动的记忆更新协调任务推理与动作执行:视觉语言模型依据任务计划和交互历史生成子目标,视觉-语言-动作模型负责执行,轻量 Event Monitor 结合视觉观测与末端执行器轨迹判断当前子目标是否完成,只有取得完成证据后才写入已完成子目标历史并触发下一步推理。
推荐理由:论文提出事件驱动的子目标完成判定与记忆更新机制,并在 RoboMME 基准和四类实机任务上给出结果,可供做长程操作记忆的研究者参考。
研究者在 RoboColiseum 上对 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 和 Gemini 4 Argon 四款模型做跨模型具身能力评测,覆盖指令跟随、空间推理、通用操作与鲁棒性四个赛道。
作者提出 RoboCasa-Shift,一个基于 RoboCasa365 的诊断性鲁棒性基准,结合受控单因素扰动、共享相同设置仅目标扰动不同的配对干净-扰动 rollout,以及仿真中的分阶段诊断。
推荐理由:该预印本提出基于 RoboCasa365 的分阶段鲁棒性评测,用配对 rollout 揭示聚合成功率掩盖的执行差异。
作者提出一种多视角潜动作模型(LAM),用交叉注意力融合同步多相机视角以消解深度与遮挡,再压缩为潜动作,并接入由潜专家与动作专家经顺序流匹配耦合、冻结VLM骨干的策略。
推荐理由:论文比较多视角与单视角潜动作预训练在6D动作可解码性和跨本体迁移上的差异,并给出实机验证。
PLaCA 提出一种以未来潜变量变化为核心的世界到动作框架,直接从当前多模态输入预测空间结构化的 patch 级未来潜变量变化,并引入 patch 级变化感知监督和未来到动作接口。在 LIBERO-Long 上成功率为 79.0%,比仅动作基线提升 5.0 个百分点;在 CALVIN 上平均序列长度从 2.784 提升到 3.564。第二阶段训练仅更新 2.95% 的模型参数。
研究在真实人机社交交互基准SHREC上评估Gemini Robotics-ER,并与已发表的通用VLM基线比较。Robotics-ER在错误与能力检测上优于GPT-4o-mini,但在详细社交属性判断上表现更差;增加一帧视觉信息对其中一项任务有帮助,对另一项则有损害。
Arnav Grover 的预印本论文指出,GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂执行三项危险常识明确的家庭任务时,15 次试验中拒答率为 0%,每次都尝试了危险动作,并在 27% 的试验中完成了危险动作。
推荐理由:研究用15次试验对比机器人控制循环中的拒答与执行差异,并给出可选的运行时安全检查方案。
论文研究视觉语言动作(VLA)模型的失败归因问题,即判断去除某个视觉损坏是否会让当前回合受益,而非仅检测损坏是否存在。作者提出因子化风险模型,分别学习场景与损坏的表示,从当前图像和任务指令出发通过潜在干预估计去除收益,无需配对干净图像或额外反事实 rollout。
PhysWord 是一个先推理后动作的机器人基础模型,用原子动作动词作为共享语义锚点,把物理动态的连续表示组织成可复用的推理原语。模型预测未来原子动作词,并将其上下文隐状态与对应未来观测导出的潜在目标对齐,再按时间自回归预测 Physical Words 以捕捉执行阶段转换。
推荐理由:论文提出以原子动作动词为语义锚点的推理先验框架,并给出仿真基准与实机操作的成功率对比。
论文提出 PhysRSI-eval,用首次尝试表现、效率、成功率、预算和失败后改进五个维度量化物理递归自我改进(RSI),并在 18 个操作任务、固定交互预算下评测不同 VLM。
作者在 arXiv 预印本中报告,GPT-6 Astra 可直接解读基于视觉的触觉图像,并通过其现有视觉接口在 19 个仿真 UniVTAC 与 OpenViTac 任务上实现少样本闭环控制,每个设置采样 210 个场景种子。
推荐理由:论文在仿真触觉基准上比较通用多模态模型与专用策略,并给出视觉单独输入时的对照结果。
PICA-WAM 提出一种自监督训练框架,把视觉扰动不变性作为世界动作模型(WAM)的辅助跨外观自对齐任务。方法用指数滑动平均(EMA)教师处理原始观测并提供更深层目标,在线 WAM 处理受扰动观测,通过轻量投影头将较浅层动作表示对齐到该目标。
推荐理由:论文指出世界动作模型对任务无关视觉扰动敏感的训练缺口,并给出可迁移的自监督对齐方法。
研究团队提出ACE-Brain-0.6,在Qwen3.5-9B上用约150万条可验证空间定位样本微调,以强化通用具身操作的空间感知基础。数据来自机器人操作录像与多来源视觉数据的统一管线,经自动标注转为定位监督。该模型在7个公开定位基准中的4个上超过GPT-6 Astra,平均分75.41对73.68;在固定微调设置下,随数据批次扩大覆盖更多定位场景,聚合定位性能稳步提升。
推荐理由:论文给出从机器人操作录像构建可验证空间定位监督的数据管线,并报告9B模型在公开基准上的对比结果。
研究提出一套面向农业抓取任务的仿真到现实机器人学习框架,将预训练的通用机器人策略适配到农业操作场景。团队搭建基于 MuJoCo 的番茄植株仿真环境,通过摇杆遥操作采集专家演示,并用这些演示适配 Octo 和 π0.5 两个预训练策略,随后在 Franka Research 3 机械臂上用真实机器人演示进一步微调。

北京人形机器人创新中心将于北京时间 2026 年 10 月 21 日 19:00 直播,由中国人民大学胡迪、夏文科分享 Robo-ValueRL 毫米级 VLA 强化学习方案。
HAF-VLA 提出一种面向人形机器人 VLA 控制的分层动作流框架,在预训练 flow-matching VLA 基础上继承视觉语言前缀编码器与动作专家权重,并加入可学习阶段嵌入和跨阶段 KV-cache 条件机制。它不再一次生成完整动作块,而是按先移动与头部指令、再腰部细化、最后全身操作的顺序逐步去噪共享全身动作空间。作者称在六项真实世界任务上,该框架提升了现有人形移动操作模型的性能。
ReInsVLN 提出一种免训练框架,在冻结的导航器中构建并利用历史记忆,在 R2R Val-Unseen 上相较原生 StreamVLN 和 InternVLA-N1 成功率分别提升 8.48 和 3.37 个百分点,达到 64.27% 和 64.44%。
推荐理由:论文提出免训练的历史证据复用框架,并给出在 R2R Val-Unseen 上的成功率提升与压缩带来的时延、显存收益。
SPAR 提出对 VLA 模型 LLM 主干同时剪枝隐藏层与前馈中间维度,再用强化学习恢复策略性能。应用于 π0.5 时,语言主干从 2.34B 降至 0.09B 参数,完整模型从 3.37B 降至 1.12B,分别移除约 96% 和 67% 的参数。
推荐理由:论文给出 VLA 模型结构化剪枝后接强化学习恢复的具体压缩比例与 LIBERO 成功率变化,可作为紧凑策略部署的参考。
ALIGN 提出一种条件对齐的优势条件行为克隆(AC-BC)框架,用于视觉-语言-动作策略,直接预测策略标签空间中的类别化成对条件,并通过 AdaRMS 调制与流时间融合注入 DiT 动作专家。
推荐理由:论文针对混合质量机器人数据下的优势条件行为克隆,提出条件对齐框架,并在两个实机任务上给出闭环成功率对比。
Cartender 提出从真实驾驶记录中学习未被采取的分支,用视觉语言模型生成替代未来及对应指令,并以不支持的指令作为负标签,从而在无仿真器条件下构造匹配与不匹配的指令-动作对。
推荐理由:论文用真实记录构造反事实分支来监督语言条件驾驶,并给出同场景换指令的评测方式,可供研究语言条件策略如何区分场景约束与指令。
RoboPhoto-VLA 提出一个统一视觉-语言-动作框架,联合建模感知、推理与相机控制,用于自主机器人摄影。该框架包含用于结构化动作规划的 PhotoCoT 和将相机行为与人类审美偏好对齐的 Aesthetic Direct Preference Optimization(ADPO)。
作者提出HS-MoDP,通过共享专家池上的独立语义路由,把分别演示的手臂技能组合起来,在Unitree G1上取得比基线更强的技能组合效果。为采集全身接触操作演示,团队开发了同构外骨骼G1Exo,对机械臂构型提供关节级直接控制。
推荐理由:论文提出用同构外骨骼采集接触操作演示,并比较其与VR-IK遥操作对策略学习的影响,可供研究遥操作数据质量的人参考。
研究提出ERR-Env可验证交互环境与ERR-Bench基准,用于评估具身VLM在正常、中间和错误状态下的恢复能力与执行可靠性。作者进一步提出在线强化学习方法Action-Grouped Turn-GSPO(AGT-GSPO),结合回合级任务进度与错误状态奖励及动作分组优势估计,训练出2B参数的ERR-VLM。
推荐理由:论文给出可验证交互环境与错误恢复基准,并报告2B模型在严格成功率与恢复率上的提升幅度。
FR-VLA提出一种视觉语言力推理模型,用可学习的力查询token基于视觉语言上下文生成力准入信号,再用该信号调制外部的token化力通路来生成动作。作者指出已有VLA通常以固定通路注入力信息,未显式判断力反馈与当前动作是否相关。在两个机器人平台的五个接触密集任务实机实验中,FR-VLA在六个评估阶段取得最高平均成功率,轨迹可视化显示其力准入随交互阶段变化。
推荐理由:论文提出在力进入动作通路前先由视觉语言上下文判断力相关性的机制,并在两个机器人平台的五类接触密集任务上做了实机对比。
PaceVLA提出一种面向视觉-语言-动作模型的自适应时间执行框架,通过多粒度动作解码与路由选择减少低层动作步数。该框架包含基于共享动作专家的模式专用解码器,以及判断粗粒度执行是否合适的可量化性引导模式选择与上下文条件路由器。作者在三个多任务仿真基准和六个真实世界任务上测试,称其在多种本体包括长程与灵巧操作中提升执行效率并保持任务成功率。
推荐理由:论文针对VLA执行时延问题提出自适应时间动作量化框架,并在三个仿真基准和六个实机任务上验证。
CondenseVLA 提出一种带可学习解码端历史压缩模块的多帧 VLA 策略,用可学习查询和多头交叉注意力把缓存的逐帧特征压缩为固定数量的 slot token,用于动作解码。
推荐理由:论文提出可学习的历史压缩模块,并给出仿真与实机成功率对比,可用于比较多帧 VLA 的历史信息利用方式。
作者提出 Vision-Language-Delta-Action(VLDA),把完整未来状态预测改写为紧凑的可操作过渡建模,用一个 Delta 变量捕捉潜在世界状态变化,作为视觉语言理解与动作生成之间的接口。
TrajWAM 提出一种轨迹引导的世界动作模型,用于高效的动态机器人操作。该方法用历史物体掩码预测目标未来轨迹,再通过轻量 Trajectory ControlNet 引导预训练视频模型生成轨迹一致未来,并用解耦蒸馏实现一步视频-动作推理。
推荐理由:论文把未来视觉预测锚定到目标物体轨迹上,并给出一步推理的解耦蒸馏方案,可供动态操作研究比较。
作者提出LECDrive框架,在VLA模型中嵌入由任务特定潜token构成的渐进式专家认知链,让模型从DINOv3、SAM3和DepthAnything3中内化视觉、语义与几何知识。该认知链按课程学习原则从表征到语义、几何逐步施加监督,同时保持推理效率。作者称在物体感知、状态预测和轨迹规划等自动驾驶基准上,LECDrive持续提升基础VLM的性能,论文为预印本。
浙江大学等团队提出 ScaleNav,一个面向语言条件局部导航的世界-动作统一框架,先用互联网第一视角视频做指令条件视频预训练,再用带动作标注的仿真数据对齐动作块,最后联合微调。
推荐理由:论文用互联网第一视角视频预训练视觉动态,再对齐仿真动作,为语言条件局部导航提供可迁移的三阶段训练思路。
Gang He 等人在 arXiv 预印本中提出 VeSTA 框架,用于弥合连续视觉语言导航中语义能力与物理可执行性之间的差距。作者指出当前仿真器的宽松接触模型可能掩盖物理不可行动作,使到达成功率不能反映真实执行能力。
推荐理由:论文指出宽松接触模型会掩盖物理不可行动作,并给出对齐可执行轨迹的方法,可供评估VLN策略的仿真与实机差距参考。
SteerAct 提出一种少样本时间引导框架,在不更新动作模型权重的情况下,通过修改特征激活提升预训练机器人动作模型的任务成功率。该方法用预训练稀疏自编码器提供候选特征,并以时间描述符刻画各特征局部激活顺序模式的分布,从而在无需时间步对齐的情况下比较不同 rollout。
推荐理由:论文提出用稀疏自编码器特征的时间描述符做少样本激活引导,为测试时提升预训练动作模型提供可迁移方法。
作者提出向量量化世界模型 VQ-WM,将离散潜空间长程搜索与连续视觉反馈控制结合,用于机器人操作规划。该方法用首达时间的准度量估计替代欧氏距离,使规划抽象与控制器能力对齐。在汉诺塔实机操作中,该方法仅用短演示数据即达到 100% 成功率,并在操作与运动仿真基准上比最强世界模型高出 13.3 至 85.3 个百分点。
推荐理由:论文把离散潜空间搜索与连续视觉反馈控制结合,并用首达时间估计对齐规划与控制器能力,为长程操作提供可迁移方法。
AQUAACT 是作者称为首个公开的语言标注水下数据集,将相机图像与人类摇杆指令配对,包含 1.9 小时真实演示和 17.9 小时仿真演示,并附车辆惯性测量数据。实验显示仿真演示可迁移到真实数据,并大幅减少策略所需的真实演示量。在仿真中对七种策略(从模仿学习基线到 VLA 模型)的闭环基准测试显示,没有策略完成超过五分之一的回合,陆上数据预训练也未让大型 VLA 模型优于从头训练的小策略。
推荐理由:论文公开了带语言标注的水下遥操作数据集,并用七种策略的闭环基准说明水下自主任务仍未解决。