
上纬新材加码物理AI,首席科学家董豪详解启元机器人技术路线与商业化探索
上纬新材首席科学家董豪详解启元机器人技术路线:以通用大模型为“慢脑”、VLA模型为“快脑”协同,并推进“启元大脑”研发,计划2026年底推出阶段性成果。其HIL-UMI后训练方法在清理桌面实验中数据采集效率达传统真机人工接管方法的5.63倍,但属特定实验条件验证。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。

上纬新材首席科学家董豪详解启元机器人技术路线:以通用大模型为“慢脑”、VLA模型为“快脑”协同,并推进“启元大脑”研发,计划2026年底推出阶段性成果。其HIL-UMI后训练方法在清理桌面实验中数据采集效率达传统真机人工接管方法的5.63倍,但属特定实验条件验证。
研究通过度量3D融合将逐帧预测关联到持久世界空间位置,提出体素级评估框架,联合刻画语义一致性、语义信念漂移(SBD)、观测持续性(OP)与语义不确定性。在UAVid-3D-Scenes上的实验显示逐帧语义变化显著,高聚合世界空间一致性在重复观测支持不足时会高估时序稳定性;持续性分层分析表明复发体素语义分歧更大,该现象在两个分割骨干及不同体素分辨率、几何关联和时间采样密度下保持一致。
作者团队提出开源头戴采集系统 Ego-OSCAR,用不到200美元的通用零件与3D打印件搭建,将硬件同步全局快门立体相机与6轴IMU结合,并用微控制器把相机与惯性时钟域对齐到700微秒残差。
推荐理由:论文给出不到200美元的开源头戴立体采集硬件与约550小时数据集,可用于比较自采具身视觉数据的成本与可复现性。
作者提出 HumiTransfer 框架,将野外人人交互视频转换为物理合理的人-人形机器人交互动作,并据此构建 HumiMimic 数据集。该数据集覆盖 26 自由度 Unitree R1 Edu 与 23 自由度 HighTorque Mini-hi 两款机器人,由 1200 段视频生成约 50 万帧交互数据。
推荐理由:论文提出从野外人人交互视频迁移到人形机器人的框架,并构建约50万帧数据集,可用于比较跨本体动作迁移方法。
OmniDex提出可扩展的seed-and-filter策略,构建了包含超260万场景和0.4B场景特定抓取真值的杂乱场景灵巧抓取基准。研究同时提出OmniDex模型,通过Soft Winner-Takes-All学习、类人物理约束训练和物理驱动排序,避免后优化延迟。实验称该模型在多样场景、视角和未见物体上取得state-of-the-art性能与较强泛化。
推荐理由:论文同时给出260万杂乱场景抓取数据集与OmniDex模型,可用于比较仿真数据规模与灵巧抓取泛化路线。
EgoHTR数据集发布,用第一视角可穿戴设备与便携3D扫描仪采集了55段场景对齐的4D人体运动序列,覆盖多样复杂环境,共超过15万帧。作者称该数据在运动捕捉真值对比中达到当前先进精度,并据此训练感知式运动策略,在Unitree G1上完成重建参考动作的硬件部署。重建流程已开源,支持社区扩展数据集。
推荐理由:该数据集用第一视角可穿戴设备与便携3D扫描仪采集55段场景对齐的4D人体运动序列,并给出实机部署结果,可供人形机器人在非结构化地形上的学习研究参考。
AffordSim 是一个将开放词汇3D可供性预测集成到仿真轨迹生成中的数据生成器与基准,可根据自然语言任务描述合成场景、生成可供性查询并采样区域条件抓取,再用运动规划筛选可执行候选。
推荐理由:论文给出将开放词汇3D可供性预测接入仿真轨迹生成的数据生成器与50任务基准,可用于比较可供性感知操作的数据构建方式。

行元智能发布面向机器人预训练的跨本体数据引擎 Chorus(众行),可将智能眼镜、胸戴相机、腕部相机、UMI 等设备采集的人类操作数据转化为适配不同机器人本体的训练数据。
DexSuite 是一个基于 Genesis 模拟器的开源一体化灵巧操作仿真框架,提供 30 个任务,并把 10 种机械臂与 12 种末端执行器(从平行夹爪到灵巧手)组合成 100 多种单臂机器人和数千种双臂组合。
推荐理由:该框架把机械臂、末端执行器、任务、遥操作与触觉仿真整合进同一套开源环境,并给出基准与示范数据集。
作者提出BURGER,一个语言条件机器人绘画基准,并提供可在仿真和真实世界生成连续绘画轨迹的提示驱动流水线。研究用282个绘画任务、28200条仿真演示评测5个代表性VLA模型,分析数据规模、语言落地和多模态行为,发现不同模型呈现不同失败模式。团队还将训练策略部署到Franka Panda机械臂,展示在人工干预下进行反应式绘画。
推荐理由:该预印本用绘画任务构建语言条件机器人基准,覆盖282个任务和5个VLA模型,便于比较不同模型的语言落地与动作生成失败模式。
RoboAtom 提出 RoboAtom-Data,为多来源现有数据补充统一、时间对齐的原子动作标注,覆盖 145 万条轨迹、688 万个技能标注片段和 16882.1 小时。其流程结合统一协议、大规模人工标注、同一有序技能序列重复执行间的传播以及多阶段质量控制。作者构建 RoboAtom-Bench 以标准化技能识别与时间边界定位评测,基于标注数据训练的 RoboAtom-Anno 在该基准和外部 WGO-Bench 上优于所评估的开源与闭源模型。
推荐理由:论文给出跨来源统一原子动作标注的数据规模与构建流程,并附技能识别基准和分层执行对照实验。
作者提出UMI-Live,一套用于野外双臂数据采集的开源全栈UMI系统,其定制硬件集成相机与LiDAR-惯性传感、板载计算和供电,无需外部追踪设备或在采集环境中标定。系统提供简单录制界面,异步流水线并行进行SLAM重建并发布可直接用于训练的数据集,同时发布支持双YAM遥操作及VLA策略训练与推理的软件。作者用π0.5和MolmoAct2微调验证数据质量,在双臂抓放任务上成功率分别为10/10和8/10,并公开三个任务共40小时的UMI-Live数据及硬件设计、软件和复现指南。
推荐理由:该系统把相机与激光雷达惯性传感、机载计算和异步SLAM流程整合成免外部追踪的双臂采集方案,并附40小时数据与复现指南。
WorldFlow 提出一种生成式世界模型,通过将3D运动参数化为与视频网格对齐的连续位移 token,用统一的 Mixture-of-Transformers 骨干在 rectified-flow 目标下同时去噪视频与基于查询的3D轨迹。
推荐理由:论文把视频与3D轨迹放进同一生成骨干联合预测,并给出跨仿真与真实域的训练规模和基准误差对比。
Event2Reward 提出从机器人演示中学习奖励的方法,用归一化时间标签锚定进度尺度,并用轨迹内的停滞、回退与恢复关系约束局部变化,将进度预测作为奖励塑形的势函数。
推荐理由:论文用轨迹内的停滞、回退与恢复关系约束进度预测,为从失败执行中构建稠密奖励提供了一种可迁移方法。
EgoContact 是一个大规模第一视角数据集,用于通过未来接触点预测评估学习到的操作先验的泛化性与精度,包含 22.5K 条人工核验的交互事件,每条含接触前观测、语义意图和像素级接触位置。
推荐理由:论文给出2.25万条人工核验的第一视角接触点数据,并展示将其用作现有可供性迁移策略记忆库后抓取成功率的提升。
作者开源ReSTEP数据集,包含两个操作任务的3156条轨迹,带语义阶段标签和帧级错误标注,覆盖成功执行、失误与恢复过程。基于该数据集,作者提出在线进度估计器REMORA,结合循环视觉记忆、分布预测和因果峰值选择来跟踪任务进度。在两个ReSTEP任务上的实验显示,REMORA在进度准确率和时间一致性上优于SARM基线。
推荐理由:论文开源了带帧级错误标注的长程操作数据集,并提出在线进度估计模型,可供比较任务进度监控方法。
论文提出 Tactus,一款织物集成传感手套,同时提供指尖触觉力感知与抗遮挡手部位姿追踪,用于采集自然状态下的人手操作演示数据。其指尖堆叠厚度为 1.5 mm,在 95% 置信度下最小可检测力为 0.59 N,比两款商用触觉手套基线低 1.6 至 2.7 倍,跨参与者一致性为 0.87;操作过程中遮挡最严重时指尖关键点相对误差为 11.0 mm。
推荐理由:论文给出触觉手套的传感配置与跨平台量化对比,可用于评估灵巧操作数据采集方案。

Maxinsights 获得 3000 万美元种子轮融资,用于扩展其物理 AI 数据平台,该平台付费招募人员记录做饭、清洁等日常活动以生成机器人和 AI 模型训练数据。

普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA 与智元机器人联合推出 WorldOracle,用同一初始观测和同一动作序列把动作条件世界模型的预测与真实执行逐帧对照评分。
推荐理由:WorldOracle 用同一初始帧与动作序列对照真实执行,给出七款世界模型的分解评分与长时程退化数据。
作者提出基于直线骨架的自动标注算法,无需人工干预即可生成双指抓取关键点,并训练出4-DoF的SkelGG-CNN。该模型在Jacquard V1、Jacquard V2和Cornell上分别达到95.42%、96.55%和97.1%的准确率;6-DoF自动标注在GraspNet novel split上平均精度为18.33。
推荐理由:论文提出基于骨架的自动抓取标注流程,并给出4-DoF与6-DoF在公开数据集、仿真和Delta并联机器人实机上的结果。
CuraEval 是一个评估机器人模仿学习演示筛选方法的框架,在混合技能 robomimic 数据上用 Diffusion Policy 和 BC-RNN 与同规模随机子集及全量训练做受控对比。
纽约大学等团队发布预印本 Embodied at Sea,研究模仿学习在水下多任务操作中的表现。团队在平静与湍流水域采集1616条水下操作数据,训练14个不同本体感知配置的 DynamicVLA 模型,在泳池1260次可评分实机回放中10个模型超过基线,最佳模型总体成功率93.3%(含部分成功)。
推荐理由:论文给出水下多任务模仿学习的实机回放数据与开源工具包,可用于比较通用VLA与单任务策略在域偏移下的表现。
研究评估多种先进单目深度估计方法在分布外月球环境中的重建效果,使用NASA Ames POLAR立体数据集与Apollo 17月面影像,建立从模拟到实地的验证流程,分别对物理模拟真值做定量评估、对历史实地数据做定性评估。结果显示部分先进方法可泛化生成非结构化月表的高保真相对三维重建。
研究团队采集了带标注的第一视角网球数据集,包含与五路第三人称视频同步的第一视角视频、估计的全局位置、标注的击球时刻和击球类型,并在其上训练和评测视觉模型。
RESPLE2 提出一种基于非均匀 B 样条的递归多传感器状态估计框架,用于 6-DoF 运动表示。该方法利用样条节点夹持边界性质,由惯性运动学直接预测控制点,并在迭代扩展卡尔曼滤波中用部分惯性测量完成预测,更新步骤按原始时间戳融合 LiDAR、相机、IMU 与腿部运动学。
推荐理由:论文给出惯性先验驱动的非均匀B样条多传感器里程计方法,并公开代码与实验数据集,便于对照多平台动态场景的估计精度。
Ego-CEVR 提出一种数据原生的分层视觉表征学习框架,将全局表征与交互表征分配不同的学习目标。全局模块通过在第一视角视频上做未来预测,学习物体关系、任务状态和时间进度;交互模块结合全局上下文解读腕部观测,并借助机器人动作监督学习局部对齐与接触线索。两条残差路径把两种表征同时接入动作策略,全局视频模块可在大规模人类第一视角视频和多种机器人本体视频上独立预训练,无需机器人动作标签或配对的腕部观测。
AuRA 是一套自动化机器人交互与数据准备系统,用于数字孪生重建,结合执行感知抓取选择、由机器人状态推导的夹爪运动测量以及配准的交互前几何与外观先验。在 13 个可变形物体上,AuRA 将每个成功重建资产的主动人工投入和实际采集时间分别减少 88.5% 和 55.4%。
推荐理由:论文给出自主采集机器人交互数据重建数字孪生的流程,并对比人工采集的耗时与重建指标。

北京人形机器人创新中心宣布,其 2025 年 12 月开源的 RoboMIND 数据集全球累计下载量突破 5000 万次,最近 1000 万次用时 18 天。该数据集开源释放 40 万条以上双臂操作轨迹、覆盖 700 项以上实操任务,官方称其支持双臂协调、移动操作、灵巧手与高保真触觉感知。北京人形数据基地占地近 6000 平方米,年数据产能可达 18 万小时,已对外交付近 3 万小时高质量数据。
ScheNav 是一个示意地图引导的闭环具身导航框架,通过 SchemaField 空间模块把粗略示意引导与累积观测融合,预测空间价值场并据此做探索和停止决策。
推荐理由:论文给出从2D平面图生成导航训练环境的数据管线与闭环框架,可用于比较示意地图引导的导航方法。
该研究提出多普勒辅助的毫米波雷达非视距跟踪方法,将隐藏目标跟踪建模为连续位置-速度估计,在留出轨迹上取得8.95厘米位置误差和1.75厘米/秒速度误差。作者同时发布首个室内非视距雷达数据集,包含576段序列、共720,856帧,覆盖移动机器人12条不同速度、起点和材质配置的轨迹,并称方法可泛化到未见场景中的移动人体目标。
推荐理由:论文公开了室内非视距雷达数据集与位置-速度联合跟踪方法,可用于比较穿墙感知方案。
RoboReason 提出用真实机器人立体相机与腕部相机图像构造三类排序任务来评估 VLM 的视觉推理能力,包括按任务描述排序打乱帧、按距相机远近排序物体和按像素坐标从左到右排序物体,任务复杂度可通过调整待排序集合大小调节。
GEMS 提出一种面向半静态环境的长期时空记忆框架,将持久 3D 高斯泼溅(3DGS)地图与智能体推理流程结合,地图只重建一次,之后仅在场景变化区域更新并保存这些修改。
推荐理由:论文把持久 3DGS 地图与智能体推理结合,并配套 GEMS-Bench,可用于比较机器人长期时空记忆方案。
SceneBloom 是一个结合视觉布局采样与契约引导 3D 编译的智能体框架,用于生成逼真、多样且可直接仿真的室内环境。其分层采样器利用扩散先验在功能区内生成家具布局,编译器再依据提案中提取的关系进行几何拟合与局部位姿修正。
推荐理由:论文提出用智能体框架生成仿真就绪的室内场景,并给出与真实房间分布及导航策略迁移的对比结果。
DexPort 是一个面向高自由度机器人灵巧手的手持数据采集接口,采集与部署使用同一套手部硬件,并记录指令关节目标与实测关节状态。操作者移动手持接口指定机器人腕部运动,再选择或调整技能来协调手指动作,无需逐关节控制。作者在4类真实任务上采集超过2500条演示,用行为克隆直接训练视觉运动策略;使用记录的机器人指令替代关节状态时成功率从11%提升到64%,使用野外数据时任务成功率从36%提升到78%。
推荐理由:论文提出用手持接口采集高自由度灵巧手数据,并给出4类任务的成功率对比,可供比较遥操作与人体演示两条数据路线。
作者提出动作感知量化方法,用视觉语言模型把长程轨迹拆成物体级子任务并分配加权动作信用,并据此构建 800 小时以上训练视频数据集和含 19,618 个人工校准评估帧的长程进度基准 LOOM。
推荐理由:论文提出动作感知量化与 NimCritic 进度评论器,并公开 800 小时视频数据集与 LOOM 基准,可供长程操作进度建模参考。
论文提出 VERID,一个面向自动化实验室的持久高保真语义数字孪生基础设施,用于衔接 AI 智能体的高层推理与湿实验的物理现实。VERID 提供四项核心服务:可供智能体推理的可查询内省、用于协议验证的时间压缩仿真、完整实验记录的追踪持久化,以及安全执行框架。
CoCarry 提出一个协同搬运数据集,包含 21 种任务方案、5 种共享物体几何、4 类地形下的 220 条同步双人序列,约 61 分钟运动数据。作者同时提出 Contact-Support-Structured Retargeting,从单人标称动作出发,围绕同一给定物体轨迹联合优化两台人形机器人。
北京通用人工智能研究院团队提出 TaF-VLA,将经物理力与压力监督的触觉表征接入 VLA 主干,用于接触密集的力感知操作。团队搭建自动化触觉-力采集装置并构建 TaF-Dataset,包含超过 1000 万条同步触觉观测、六轴力/力矩测量与力分布图。
推荐理由:论文提出以力觉而非视觉对齐触觉表征的 VLA 框架,并公开千万级同步触觉与六维力数据集,可供接触密集操作研究参考。
WorldMirror 是一个智能体式 real-to-sim 框架,可从野外机器人演示构建可交互数字孪生。它把 real-to-sim 构建表述为可执行世界程序的迭代精炼:编码智能体分解场景、规划重建步骤并调度图像与 3D 生成工具,再通过验证反馈修正程序。在 DROID 上的实验显示,该框架能重建视觉忠实、几何一致的可交互世界,并保持所记录机器人轨迹的物理有效性。
推荐理由:论文把野外机器人演示转成可交互仿真世界,其世界程序迭代修正思路可供仿真数据构建参考。
KiRoSe 提出用机器人运动学数据而非原始多路视频来分割机器人演示,以降低多模态大模型的处理成本。该方法借鉴 Huffman 编码思路构建稀疏运动 token(SMT),用带时间分段监督的运动轨迹编码并量化得到离散运动词汇,再以演示子任务标注监督开放语言模型解读 token 序列。
推荐理由:论文用机器人运动学数据替代多路视频做演示分段,并给出跨本体零样本迁移的评测结果,可供数据清洗与检索参考。