RynnUnify:16B统一具身模型发布,兼顾理解、视觉规划与机器人控制
研究团队提出16B统一具身模型RynnUnify,通过交错的视频-语言推理把具身理解与长程视觉规划结合起来。实验显示其在所评估统一多模态模型中取得最高具身理解平均分,Rynn-VP总分比Cosmos 3 Nano高9.75分;经强化学习的智能体扩展使Rynn-GEU平均分比直接推理高6.0分。
推荐理由:论文给出16B统一具身模型在理解、视觉规划与真机控制上的分项结果,可用于比较统一模型与专用方案。
技术方向
与机器人感知、决策和物理交互直接相关的VLA进展
122 条精选近 30 天 119 条共收录 172 条
研究团队提出16B统一具身模型RynnUnify,通过交错的视频-语言推理把具身理解与长程视觉规划结合起来。实验显示其在所评估统一多模态模型中取得最高具身理解平均分,Rynn-VP总分比Cosmos 3 Nano高9.75分;经强化学习的智能体扩展使Rynn-GEU平均分比直接推理高6.0分。
推荐理由:论文给出16B统一具身模型在理解、视觉规划与真机控制上的分项结果,可用于比较统一模型与专用方案。
首尔大学团队提出从大规模演示数据学习速度先验,为机器人演示重定时。给定任务指令、运动路径及沿途图像,该先验预测路径上的执行速度分布,取选定分位数作为统一时钟;单个训练好的先验可覆盖语料库中所有任务,无需为每个新任务重新拟合或标注。
推荐理由:论文提出从大规模演示数据学习速度先验,为每条演示统一重定时,并给出仿真与实机对比结果。
论文提出面向 ROS 2 Nav2 的自然语言策略接口,由本地大语言模型把操作员指令转成 JSON 策略,指定目的地、空间约束和时间或事件条件,再经确定性检查与三个代价地图适配器接入现有导航栈,不改动规划器与控制器。
推荐理由:论文给出自然语言到 Nav2 策略的接口与验证数据,可供比较语言指令如何接入现有导航栈。
作者提出 OWLS(开放世界语言条件速度场),直接在一张单目图像的视觉语言模型稠密特征图上规划,无需任务训练、地形标注或持久地图。方法用可通行地形描述提示视觉语言模型为每个像素打分,将分数投影到地面并经两次形态学操作适配平台,作为最小时间规划器的速度场,使地形外观与障碍间距共同塑造轨迹。作者在室内与越野的实体漫游车、200 个程序生成地形上的仿真火星与月球漫游车以及真实行星影像上进行了评估。
推荐理由:论文把开放词汇视觉语言模型的逐像素地形评分接入最小时间规划器,为无地图、仅靠单目相机的越野导航提供了一条可迁移思路。
LogLook提出一种执行日志式记忆,让前沿视觉语言模型规划器保留执行记录与先前笔记,并自行决定查看哪些帧。在基准自带运动规划器下,它的成功率与仅用笔记的记忆相当,但token减少43%、图像用量不到一半,因记忆或观察失误导致的失败回合也明显更少;直接控制时在RoboMME测试集上解决93.5%。
推荐理由:论文提出面向前沿模型机器人规划器的执行日志式记忆,在RoboMME上以更少token和图像达到相近成功率,可供比较记忆设计。
研究显示 OpenVLA 激活的稀疏自编码器(SAE)表征含有结果预测信息,可在机器人进入不可恢复状态前预测任务失败。作者还找出与成功或失败特定阶段相关的单个 SAE 特征,通过定位这些特征激活显著变化的时间区间来归纳重复出现的行为模式,并构建基于 VLM 的解释流程生成行为描述,在留出区间上验证其与特征激活的对应关系。
推荐理由:研究用稀疏自编码器解读 OpenVLA 激活,把失败预测与可解释行为模式联系起来,为诊断机器人策略提供一种可迁移的分析路径。
DiscoDemo 提出用强化学习生成多样化机器人演示数据,再导出为静态数据集供下游视觉运动模仿学习使用。该方法训练带特权信息的潜在条件强化学习生成器,结合并行逆向课程与成功门控的多样性目标,产出多条成功的闭环行为并做安全过滤。
推荐理由:论文把强化学习当作数据生成器,用多解多样性提升下游模仿学习,并给出仿真与实机成功率对比。
北京通用人工智能研究院团队提出 TaF-VLA,将经物理力与压力监督的触觉表征接入 VLA 主干,用于接触密集的力感知操作。团队搭建自动化触觉-力采集装置并构建 TaF-Dataset,包含超过 1000 万条同步触觉观测、六轴力/力矩测量与力分布图。
推荐理由:论文提出以力觉而非视觉对齐触觉表征的 VLA 框架,并公开千万级同步触觉与六维力数据集,可供接触密集操作研究参考。
一项 arXiv 预印本研究指出,VLA 模型以 bf16 训练且无 fp32 主副本时,AdamW 会把小于权重 1/512 的更新直接舍入掉;12 个开源 VLA 代码库中有 9 个默认或文档配方这样训练,包括 LeRobot 的 SmolVLA 默认配置及其 π0/π0.5 指南。
推荐理由:研究指出 bf16 微调 VLA 会静默抹掉大部分权重更新,并给出 fp32 主副本在 LIBERO 上的对比结果,可作为训练配置的参考。
EgoForesight 提出一种视觉-语言-动作框架,联合利用机器人演示与带噪第一视角视频训练策略,通过可靠性条件加噪、可靠性加权回归和特权未来表征蒸馏降低不可靠动作标签的影响。在 3 万小时预训练数据下,其缩放斜率比基线更陡,真实世界开环动作 MSE 降低 20.5%,RoboCasa 少样本成功率提升 8.1 个百分点。后训练后,该方法在仿真与真实世界的灵巧操作任务上也取得较强的绝对性能。
推荐理由:论文提出用带噪第一视角动作联合训练 VLA 策略,并给出 3 万小时预训练下的缩放对比与实机开环误差数据。
RepresentNav 是一个建立在自构建表征空间上的导航基础模型,该空间由策略自身目标从视觉基础模型中构建。它用三层 transformer 的 Representation Residuals 聚合多个视觉基础模型全深度特征,并在每次动作前通过潜在思维链预测下一时刻场景表征,以 JEPA 方式与策略端到端训练。
推荐理由:论文提出用策略自身目标构建视觉表征空间的导航基础模型,并给出与拼接编码器输出的对照结果。
作者提出Progress Probes P²,在演示数据上对VLA策略激活训练线性探针来估计任务进度,并标记偏离预期进度的执行。在开源VLA π0.5及仿真和真实世界操作任务实验中,该方法在任务失败检测上不逊于或优于基于VLM的监测器和需要失败数据训练的方法。研究据此认为,对VLA内部做简单探针即可构建运行时监测器,无需外部基础模型。
推荐理由:论文用VLA自身内部激活训练线性探针做运行时进度监测,为免外部基础模型的失败检测提供可比较方案。
Echo提出一种框架,将停止与失败两类任务状态信号作为每个动作块的两个维度,与机器人动作一起去噪,从而区分执行中、成功完成和失败三种状态。该方法无需帧级进度标注,通过构建成功、失败和恢复轨迹进行监督,并让状态信号比动作更快去噪,使后续动作去噪步骤能基于更干净的状态估计。真实世界操作实验显示,Echo能较准确预测任务状态并持续提升策略性能。
推荐理由:论文把停止与失败信号并入动作块联合去噪,为VLA执行决策提供了一种免帧级进度标注的训练思路。
作者提出 SkeLAM,一种骨架引导的潜动作模型,用于可控机器人世界建模,将潜动作分解为由机器人骨架监督约束的运动学分量和保留其余视觉动态的残差分量。在 DROID 上,SkeLAM 相比 DreamDojo 将末端执行器 ADE 降低 19.5%、LPIPS 降低 11.1%。
推荐理由:论文把机器人运动学分量从潜动作中分离出来,为世界模型的可控生成提供了一种可迁移的建模思路。

智元开源 AGIBOT WORLD 2026 的第四版“Physical Reasoning”数据集,任务设计重点从操作难度转向决策复杂度。该数据集覆盖 10 类以上逻辑推理场景,按 Easy、Medium、Hard 三级组织,并提供高层问答与低层动作轨迹,用于高层决策模型与低层动作策略的协同训练。
推荐理由:智元开源 AGIBOT WORLD 2026 第四版数据集,任务设计从操作难度转向决策复杂度,可用于比较具身决策与动作联合训练的数据组织方式。
FocusVLA 提出一种阶段感知的多视角路由框架,从历史动作预测未来交互意图,并据此在动作生成过程中动态调整全局与局部视角的依赖。作者称现有 VLA 模型在多视角输入下持续依赖腕部视角、缺乏跨操作阶段的视角切换能力。
推荐理由:论文指出已有 VLA 模型过度依赖腕部视角,提出按任务阶段动态路由全局与局部视角,并在仿真与实机给出对比结果。
论文提出WholeBodyMem,一种物体引导的感知记忆,用于解决全身VLA策略在动态场景中只能看到当前帧、物体线索易消失的问题。该方法用SAM3跟踪任务物体,由物体事件在自适应预算内因果选取关键帧,动作专家通过交叉注意力读取这些帧及编码外观、几何和时间的物体token。
推荐理由:论文提出面向人形机器人全身VLA的物体引导感知记忆,并给出仿真与实机基准,可用于比较记忆机制对长时序操作的作用。
上海交通大学等团队提出 UniFlowWAM,将3D场景流作为与视觉、动作并列的第三模态,构建统一世界-动作模型。该模型采用扩散Transformer,每个模态一个专家,通过联合注意力交换信息,并在十目标角色网格下训练,同一模型可充当策略、前向与逆向动力学以及未来视觉特征或3D流预测器。
推荐理由:论文把3D场景流作为与视觉、动作并列的第三模态,并给出仿真与四项实机双臂任务的对比结果。
研究提出EBV-CAN,一种结合初始全局鸟瞰图、内窥镜观测与电机状态的视觉语言策略,用于柔性内窥镜的接触辅助导航。团队构建VLCA数据集,包含517条演示、75k动作样本、958k空间条目和93k剩余路径记录;在50个留出回合中,尖端坐标与路点定位分别达到97.5%和94.8%。
推荐理由:论文给出内窥镜接触辅助导航的视觉语言策略与VLCA数据集,并对比动作模仿与任务完成两类指标。
一项 arXiv 预印本研究考察流匹配 VLA 机器人策略中欧拉积分的单步与多步采样差异,作者在六个流匹配 VLA 上发现,模型训练充分且容量足够时,单步动作生成大体可匹配多步采样,多步积分在推理阶段几乎没有一致优势。作者据此指出,对大型 VLA 而言,单步策略可直接从多步模型获得,无需重训练、蒸馏或额外辅助目标,从而支持低延迟部署。
推荐理由:该预印本在六个流匹配 VLA 上比较单步与多步采样,为低延迟部署是否需要额外训练目标提供实证参照。