
上纬新材加码物理AI,首席科学家董豪详解启元机器人技术路线与商业化探索
上纬新材首席科学家董豪详解启元机器人技术路线:以通用大模型为“慢脑”、VLA模型为“快脑”协同,并推进“启元大脑”研发,计划2026年底推出阶段性成果。其HIL-UMI后训练方法在清理桌面实验中数据采集效率达传统真机人工接管方法的5.63倍,但属特定实验条件验证。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。

上纬新材首席科学家董豪详解启元机器人技术路线:以通用大模型为“慢脑”、VLA模型为“快脑”协同,并推进“启元大脑”研发,计划2026年底推出阶段性成果。其HIL-UMI后训练方法在清理桌面实验中数据采集效率达传统真机人工接管方法的5.63倍,但属特定实验条件验证。
Di Zhu、Ziheng Yan、Fang Wan 提出 ActionUNet,一个在预训练 VLA 模型上做高效多尺度微调的框架,用于缓解粗粒度语义与细粒度时序执行之间的对齐问题。
推荐理由:论文提出在预训练VLA上做多尺度微调的轻量框架,并给出π0.5在三个测试设置下的成功率提升幅度,可供比较微调策略。
Linhan Wang等人提出GlanceWAM,将视觉想象与控制解耦在同一个视频DiT主干上,由异步提议器在后台以慢时钟生成单帧前瞻画面,动作头在潜空间中按控制频率解码动作块,单块时延48 ms(A100)。
推荐理由:论文把视频想象移出控制关键路径,在共享DiT上异步生成前瞻帧,为世界动作模型的时延与成功率权衡提供了一种可迁移思路。
作者提出WNM-3D,一个面向连续视觉语言导航(VLN)的生成式世界导航模型,用冻结的前馈几何编码器从单目RGB历史提取跨视角表示,再经可训练的3D Scene-to-Token Adapter转为定长场景前缀,通过块因果注意力在联合去噪中持续提供给世界-动作Diffusion Transformer。
推荐理由:论文把3D场景几何作为持续条件注入世界-动作扩散模型,并给出GN-Bench与VLN-CE上的对照结果,可供比较世界模型路线。
作者提出证据获取与可行性门控框架 EAFG,让 VLM 生成子目标、机器人执行 TAMP 规划的动作序列以获取视觉证据,再据此决定继续任务规划、继续获取证据还是停止。在三个烹饪场景(明确指定所需物体、指令欠明确、所需物体缺失)中,EAFG 在明确与欠明确场景下任务完成情况优于 VLM-TAMP 基线,并在所需物体缺失时能适当停止。该工作为 arXiv 预印本(arXiv:2608.20084)。
推荐理由:论文提出用视觉证据门控 VLM 子目标与 TAMP 规划,并在三个烹饪场景中与 VLM-TAMP 基线对比,可供关注长程操作规划的研究者参考。
论文提出免训练测试时纠错框架RTCF,通过渐进记忆对齐(PMA)为冻结VLA策略检索成功轨迹,并在动作块运动通道上迁移系数裁剪的低频残差,高频成分与夹爪决策仍由原策略给出。
作者提出 Anchor-Align,在行为克隆微调 VLA 时加入视觉语言锚定与语言动作对齐两个目标,以缓解预训练表征被覆盖和语言动作错位问题。视觉语言锚定从冻结的 VLM 副本逐层蒸馏表征,语言动作对齐把每个动作目标转成离散运动方向标签,并在同一机器人观测上联合训练语言与动作预测。
推荐理由:论文针对行为克隆微调会覆盖预训练表征的问题,提出表征锚定与语言动作对齐两项训练目标,并在单臂与双臂实机上评测。
作者提出VLA-Corrector,一个面向动作分块VLA策略的轻量纠正推理框架,在不修改主干策略权重的前提下检测视觉动态偏差并触发纠正重规划。该框架引入潜空间视觉监控器LVM,持续比较预测与实际视觉特征演化,一旦检测到持续偏差便截断剩余动作,并通过在线梯度引导OGG重新规划。
推荐理由:该预印本提出不改动VLA主干权重的检测与纠正推理框架,为动作分块策略的闭环响应提供可迁移思路。
作者提出 MoVLR 框架,利用视觉语言模型在控制优化与 VLM 反馈之间迭代探索奖励空间,为高维肌肉骨骼系统的运动与操作发现和细化奖励函数,而非依赖手工设计奖励。该方法把语言和视觉评估转化为具身学习的结构化引导,论文称结果说明 VLM 能把抽象动作描述对应到生理运动控制中的隐含原则。该工作已被 L4DC 2026 接收,arXiv 编号 2512.23077。
推荐理由:论文提出用视觉语言模型迭代反馈来发现高维肌肉骨骼系统的奖励函数,可了解语言目标如何转成控制奖励。
一篇被npj Robotics接收的94页综述系统梳理了接触密集机器人任务的安全学习方法,将其分为安全探索与安全执行两大类。文章回顾了约束强化学习、风险敏感优化、不确定性建模、控制屏障函数和模型预测安全盾等技术,并重点讨论这些安全原则如何延伸到VLM与VLA基础模型,包括语言级约束指定与安全信号多模态落地带来的新机会和放大风险。作者同时列出当前局限与面向复杂接触环境的未来方向。
推荐理由:综述把接触密集任务的安全学习拆成安全探索与安全执行两类,并讨论这些原则如何延伸到VLM/VLA基础模型。
OmniVIC 提出一种由视觉语言模型增强的通用变阻抗控制器,从图像和自然语言推理任务上下文并生成自适应阻抗参数。其核心是自改进的检索增强生成与上下文学习,从结构化记忆库检索相似历史经验,并结合实时力/力矩反馈把交互力约束在安全阈值内。作者称在仿真和实机复杂接触任务上优于基线,平均成功率从 27% 提升到 61.4%,力违规减少;该工作已被 IEEE Humanoids 2026 接收。
推荐理由:论文把视觉语言模型的上下文推理接入变阻抗控制,并给出仿真与实机任务的成功率对比,可供关注语义推理与柔顺控制衔接的研究者参考。
智元联合创始人、联席总裁姚卯青在接受证券时报采访时判断,通用大模型在物理机器人实操上存在显著短板,未来系统将走向分层架构。他指出通用大模型执行效率差、Token消耗巨大,人类几十秒到一分钟的物理操作可能需要1—2小时,且面对高动态运动、力触反馈控制类任务实测成功率几乎为零。
作者提出Gym-Anything for Robotics框架,让编码智能体创建机器人仿真,以缓解仿真构建依赖专家、难以规模化的问题。他们依据美国GDP数据挑选覆盖有经济价值体力工作的场景,定义良好仿真与任务的标准,并设计对抗式创建-审计循环逐项检查。基于该流程构建的RoboWorld包含25个仿真,以及难度不同的25个测试和175个训练强化学习环境;最好的前沿模型在所有RoboWorld测试任务上均失败,平均奖励仅0.06。
推荐理由:论文提出用编码智能体自动生成机器人仿真环境,并给出25个仿真与200个RL环境的基准结果,可供比较仿真规模化路径。
作者提出BURGER,一个语言条件机器人绘画基准,并提供可在仿真和真实世界生成连续绘画轨迹的提示驱动流水线。研究用282个绘画任务、28200条仿真演示评测5个代表性VLA模型,分析数据规模、语言落地和多模态行为,发现不同模型呈现不同失败模式。团队还将训练策略部署到Franka Panda机械臂,展示在人工干预下进行反应式绘画。
推荐理由:该预印本用绘画任务构建语言条件机器人基准,覆盖282个任务和5个VLA模型,便于比较不同模型的语言落地与动作生成失败模式。
Jingxu Gu 与 Dongze Lian 提出 DEED 框架,通过结构化演示扩展与执行设计,将预训练视觉-语言-动作策略适配到 MetaFine 的五项细粒度操作任务。
作者提出HiFOR,一个带动作引导世界检索的分层预见框架,用于视觉-语言-动作模型。该方法通过分层依赖掩码联合预测短期状态演化、语义里程碑和最终目标状态,并用结构感知潜在世界建模与动作引导因子化世界检索为动作生成提供针对性引导。作者称在两个仿真基准和六个真实机器人操作任务上验证了方法有效性。
推荐理由:论文把短期状态、语义里程碑与最终目标纳入统一分层预测,并用动作引导检索未来信息,可供VLA策略设计参考。
TouchBridge 提出硬件与软件协同的人到机器人数据转换框架,通过可穿戴人类演示接口与对应机器人接口建立视觉和指尖触觉的跨本体对应。其 Tac-Retarget 方法以实测接触对齐指尖接触区域,无需物体网格、位姿估计或物理仿真即可完成重定向。
推荐理由:论文给出触觉条件重定向的人到机器人数据转换框架,并报告四类实机接触任务的成功率与采集效率对比。
研究提出一种LLM引导的分层框架,用于四足机器人在有可移动障碍物的环境中完成交互式导航与平面推挤。语言条件任务规划器用LoRA在合成数据上微调,将自然语言任务和结构化场景表示映射为变长参数化动作序列,由低层强化学习策略执行,在交互式导航任务上优于经典规划器和提示式前沿模型。
RoboSeed 提出面向视觉-语言-动作模型(VLA)和世界动作模型(WAM)的多维评估框架,覆盖能力、下游训练成本、部署成本、本地验证的研究价值与复现证据五个维度。
LOGIV 是一个面向具身机器人执行的图工程框架,用显式任务图连接符号规划、基于观测的验证与具身动作,并在执行中检查条件支撑与资源顺序边的物理有效性。在 RoboTwin V2 和 BiCoord 的 20 个双臂任务、三种执行骨干上,无注入扰动时平均任务成功率分别提升 10.67 和 15.33 个百分点;在预设扰动下,其任务完成与条件恢复优于三个适配的恢复基线。
推荐理由:论文把任务图与执行期条件校验结合,为长程机器人任务提供可复用的失败恢复接口。
CoC-CFG 在策略上下文与去掉推理片段的同一上下文之间做无分类器引导,每个 Euler 步用一个权重调节推理的影响,w=1 时恢复原策略。作者把权重选择建模为动作价值可精确测量的马尔可夫决策过程,并用小型 critic 拟合这些价值,提出 Q-adaptive guidance。
论文提出 Surrogate Uncertainty 方法,用外部代理贝叶斯模型估计黑盒视觉语言模型在视觉定位中的逐查询不确定性,并分解为偶然与认知两部分。该方法通过跨输入模态的分层检索构建紧凑联合空间邻域,可结合保形预测或基于模型的规划实现主动视觉定位。作者称在多个定位基准和先进VLM上校准与任务表现均有提升,并在真实 Fetch 机器人上按开放世界指令在自信行动与信息收集间做取舍。
推荐理由:论文把黑盒VLM的视觉定位不确定性交给外部代理贝叶斯模型估计,并在真实Fetch机器人上验证主动定位的取舍。
作者提出CoRAct,一个后果锚定的推理到动作对齐框架,通过动作噪声空间中的奖励引导优化,显式对齐具身思维链推理与动作生成。
推荐理由:论文提出用动作噪声空间中的奖励优化显式对齐推理与动作,并在仿真基准和实机任务上对比ECoT基线。
PRIME W0 是一个分层条件流匹配框架,旨在让VLA模型不再只依赖当前观测,而是利用长时序上下文与VLM的分层表示。其设计包括从预训练VLM向自适应MoE动作专家逐层注入KV、通过异步世界模型子目标图像预测和DINOv2历史帧语义桥接实现动力学感知条件,以及采用协方差结构化噪声的Action Dynamic Manifold流匹配。
推荐理由:论文提出分层条件流匹配框架,用世界模型子目标预测与历史帧语义桥接补足VLA的时序上下文,并给出消融验证。
该预印本提出一种轻量几何预测头,接在冻结的0.5-2B VLM骨干上,从中间隐藏层读取特征,经任务指令条件化查询和视觉token交叉注意力,直接回归可供性框与轨迹路点。
推荐理由:论文指出自回归解码是轨迹预测的主要瓶颈,并给出冻结骨干加几何预测头的替代方案,可供比较VLM空间输出方式。
作者提出UMI-Live,一套用于野外双臂数据采集的开源全栈UMI系统,其定制硬件集成相机与LiDAR-惯性传感、板载计算和供电,无需外部追踪设备或在采集环境中标定。系统提供简单录制界面,异步流水线并行进行SLAM重建并发布可直接用于训练的数据集,同时发布支持双YAM遥操作及VLA策略训练与推理的软件。作者用π0.5和MolmoAct2微调验证数据质量,在双臂抓放任务上成功率分别为10/10和8/10,并公开三个任务共40小时的UMI-Live数据及硬件设计、软件和复现指南。
推荐理由:该系统把相机与激光雷达惯性传感、机载计算和异步SLAM流程整合成免外部追踪的双臂采集方案,并附40小时数据与复现指南。
Utility-WAM 针对世界动作模型(WAM)中预测未来引发的动作偏移提出修正方法。
推荐理由:论文拆解世界动作模型中预测未来带来的动作偏移,指出精度任务上的负迁移并给出残差适配器修正方案。
OpenFlyV2 是一个统一的机载视觉-语言-动作架构,用共享视觉-语言表征在单一模型中支持语义理解、语言定位感知、空间推理与连续空中控制。紧凑动作专家将多模态上下文转为短时域航点,运动感知时序记忆与动作先验降低闭环执行计算开销;作者构建约 7 万条导航轨迹和 6 万对视觉-语言指令-响应的仿真数据集。
推荐理由:论文给出机载 VLA 在 Jetson Orin NX 上以 10 Hz 闭环飞行、零样本迁移到真实四旋翼的结果,可供比较机载与离板方案。
研究提出一种跨控制器迁移框架,让单一策略在上下文内适应不同控制器。该方法用指令动作与机器人实际运动的示例编码控制器下的行为交互,再由 transformer 上下文编码器汇总,使策略无需为每种控制器单独学习。实验覆盖六种控制器类型及控制器增益与柔顺性变化,实机结果显示平均成功率比朴素数据合并高 33 个百分点,在未见控制器模式上达到 50% 成功率,在未见控制器增益上达到 52%,并能迁移到控制器专属数据有限的任务。在 USB 插入、表面擦拭等接触丰富任务中,行为交互上下文使策略不仅调整动作,也调整策略。
推荐理由:论文给出跨控制器与跨本体的行为交互上下文编码方法,并报告实机成功率提升与未见控制器模式下的表现。
QbD-VLA 提出一种任务引导的混合精度量化方法,用短闭环评估中的任务成功率分配权重与激活位宽,并考虑模型组件间的相互影响。实验覆盖四个 VLA 模型和 LIBERO 全部四个套件,权重平均约 4 位、激活少于 6 位时仍保持较强任务表现;在 SIMPLER 上相对均匀量化的增益较小。
推荐理由:论文用闭环任务成功率指导 VLA 混合精度量化,并给出仿真与 Franka 实机上的差异结果,可供关注 VLA 部署成本的研究者参考。

Teradyne Robotics 与 Sereact 宣布正式合作,把 Sereact 的物理 AI 平台 Cortex 运行在 Universal Robots 的协作机械臂上,面向零售、物流和制造场景。
Synthoid.ai 的 VLA Research Team 提出 SaiVLA-JEPA,在 VLA 流策略中接入冻结 V-JEPA 编码器特征,并在 10,030 对 LIBERO-Plus 回合上比较三种设置。
推荐理由:论文在 LIBERO-Plus 配对闭环试验中比较 JEPA 条件与未来表征监督,给出成功率对照与负结果。
一项 arXiv 预印本研究提出面向零样本视觉语言导航的时空记忆系统,由 8B observer 总结观测、8B reasoner 依据任务、时序与空间三类记忆选择路点意图或请求新视角,再由几何控制器执行。
推荐理由:论文拆解零样本视觉语言导航中任务进度、观测历史与几何记忆各自的作用,并给出记忆消融与实机对比结果。
纽约大学等团队发布预印本 Embodied at Sea,研究模仿学习在水下多任务操作中的表现。团队在平静与湍流水域采集1616条水下操作数据,训练14个不同本体感知配置的 DynamicVLA 模型,在泳池1260次可评分实机回放中10个模型超过基线,最佳模型总体成功率93.3%(含部分成功)。
推荐理由:论文给出水下多任务模仿学习的实机回放数据与开源工具包,可用于比较通用VLA与单任务策略在域偏移下的表现。
论文提出自标注偏好迁移方法SPT,让带偏好标注训练的VLA策略把偏好控制迁移到缺少偏好标注的新任务。SPT在带标注源演示上联合训练共享视觉语言骨干做偏好条件动作预测与偏好识别,再冻结识别器为目标演示自标注并微调策略。
推荐理由:论文给出偏好标注缺失时迁移执行偏好的自标注方法,并报告仿真与实机对比数据,可供研究VLA偏好控制的人参考。
研究对 π0.5 在 BEHAVIOR-1K 全部 100 个任务上系统配对评估此前提出的推理与数据采集策略,所用模型基于 2025 BEHAVIOR Challenge 冠军方案微调,公开测试集 Q-score 为 0.39。结果显示这些策略并不能一致地迁移到新环境和新任务。项目页面、视频与详细分析见 https://rubenhammele.github.io/behavior2026。
ThinkWorld 是一个 VLA 学习框架,把动作推理建立在世界动力学上,并通过世界想象的强化学习加以强化。它将每个动作思考表示为 Chain-of-Dynamics(CoD),即一串离散运动 token,刻画从当前世界到未来状态的中间动力学,并作为跨本体的通用动作表示。
推荐理由:论文提出以世界动力学链作为跨本体动作表示,并用世界想象强化推理,为无动作标注视频提供监督路径。
论文研究双臂工具使用中的机器人故障诊断,在仿真任务上按记录轨迹标注故障原因,测量各传感通道能让诊断器分辨出什么。工具滑脱可在工具手上读出,哪只手迟了需要双臂信息,单手传感器只能读出本手延迟和另一手至多部分延迟;当工具手迟到时,迟到的尝试是否同时推力不足无法从被动传感中辨识。
World Dreamer v5-lite 是一个面向多机器人的世界动作模型,围绕共享世界状态为各机器人分别预测动作序列。该状态由预训练视频编码器的校准特征在工作空间坐标中填充,空间尺寸不随视角增加而改变;视觉语言模型提供场景上下文,并为每个机器人提供一个查询,查询读取共享状态并交换位姿感知信息,动作流保持独立。
推荐理由:预印本给出多机器人共享世界状态的动作预测设计,并在仿真与四项实机任务上报告成功率对比。
Ego-CEVR 提出一种数据原生的分层视觉表征学习框架,将全局表征与交互表征分配不同的学习目标。全局模块通过在第一视角视频上做未来预测,学习物体关系、任务状态和时间进度;交互模块结合全局上下文解读腕部观测,并借助机器人动作监督学习局部对齐与接触线索。两条残差路径把两种表征同时接入动作策略,全局视频模块可在大规模人类第一视角视频和多种机器人本体视频上独立预训练,无需机器人动作标签或配对的腕部观测。