跳到正文

NEWS / 动态

#世界模型

按时间浏览,使用右上角筛选切换领域。

10月30日周五
  1. arXiv · cs.RO75

    GlanceWAM提出稀疏测试时想象的世界动作模型

    Linhan Wang等人提出GlanceWAM,将视觉想象与控制解耦在同一个视频DiT主干上,由异步提议器在后台以慢时钟生成单帧前瞻画面,动作头在潜空间中按控制频率解码动作块,单块时延48 ms(A100)。

    推荐理由:论文把视频想象移出控制关键路径,在共享DiT上异步生成前瞻帧,为世界动作模型的时延与成功率权衡提供了一种可迁移思路。

  2. arXiv · cs.RO67

    WNM-3D:以3D场景条件驱动的闭环视觉语言导航世界模型

    作者提出WNM-3D,一个面向连续视觉语言导航(VLN)的生成式世界导航模型,用冻结的前馈几何编码器从单目RGB历史提取跨视角表示,再经可训练的3D Scene-to-Token Adapter转为定长场景前缀,通过块因果注意力在联合去噪中持续提供给世界-动作Diffusion Transformer。

    推荐理由:论文把3D场景几何作为持续条件注入世界-动作扩散模型,并给出GN-Bench与VLN-CE上的对照结果,可供比较世界模型路线。

  3. arXiv · cs.RO62

    双线性世界模型:以结构化动力学学习表征并实现高效控制

    作者提出一种JEPA式世界模型,将潜动力学限制为双线性参数化,把建模负担转移到编码器,并结构化地保证动作可恢复性、避免表征坍缩。作者称一大类非线性动力系统经变换后可呈双线性形式,在标准2D和3D控制任务中,从高维观测直接学到的双线性动力学表征使规划时间缩短近三个数量级,同时保持或提升控制精度。

    推荐理由:论文提出双线性参数化的JEPA式世界模型,在2D与3D控制任务上把规划时间缩短近三个数量级,可供关注世界模型规划效率的研究者参考。

  4. arXiv · cs.RO64

    SALT:面向可靠视觉规划的状态仿射潜空间转移模型

    作者提出 SALT(State-Affine Latent Transition),一种动作条件的状态仿射潜空间动力学模型,动作同时调制状态变换与加性更新,并以递归多步 rollout 监督训练。

    推荐理由:论文把多步 rollout 误差拆成单步误差与传播项,并据此提出状态仿射转移模型,为视觉规划中的递归误差提供可迁移的分析视角。

  5. arXiv · cs.RO60

    ADTT:对齐增量三平面Transformer作为占用世界模型

    作者提出对齐增量三平面Transformer(ADTT),一种紧凑的4D占用世界模型,用自车运动补偿显式对齐历史三平面,并只预测未来场景变化。模型在对齐先验上用查询条件Transformer预测残差变化,其中自车运动查询引导可控未来运动、可学习外部查询捕捉自车运动之外的场景变化,预测变化叠加到对齐先验后解码为未来占用场景。

    推荐理由:论文提出用自车运动对齐历史三平面、只预测场景残差变化的紧凑占用世界模型,可用于比较自动驾驶场景预测的算力取舍。

  6. 证券时报 · 具身产业监测60

    智元姚卯青:通用大模型难解物理实操,具身基座将走向分层架构

    智元联合创始人、联席总裁姚卯青在接受证券时报采访时判断,通用大模型在物理机器人实操上存在显著短板,未来系统将走向分层架构。他指出通用大模型执行效率差、Token消耗巨大,人类几十秒到一分钟的物理操作可能需要1—2小时,且面对高动态运动、力触反馈控制类任务实测成功率几乎为零。

  7. arXiv · cs.RO58

    CoAWM:学习跨本体时空动力学先验的连续动作世界模型

    Liangyu Li 与 Qingwen Liu 提出连续动作世界模型 CoAWM,用于学习跨本体、跨执行频率的时空动力学先验,以支持机器人动作生成。该方法先通过函数预训练把不同本体和采样频率的轨迹映射到共享隐函数空间,借助动作重建与时间采样视图间的一致性学习共享动力学先验。

  8. arXiv · cs.RO60

    HiFOR:面向VLA模型的动作引导世界检索分层预见框架

    作者提出HiFOR,一个带动作引导世界检索的分层预见框架,用于视觉-语言-动作模型。该方法通过分层依赖掩码联合预测短期状态演化、语义里程碑和最终目标状态,并用结构感知潜在世界建模与动作引导因子化世界检索为动作生成提供针对性引导。作者称在两个仿真基准和六个真实机器人操作任务上验证了方法有效性。

    推荐理由:论文把短期状态、语义里程碑与最终目标纳入统一分层预测,并用动作引导检索未来信息,可供VLA策略设计参考。

10月29日周四
  1. arXiv · cs.RO58

    PASA-KV:针对世界动作模型动作面向视觉通路的攻击方法

    PASA-KV 提出一种针对世界动作模型(WAM)内部视觉 K/V 通路的攻击方法,并在多个 WAM 系统和一台实体机器人上验证了闭环攻击效果。研究发现表征可扰动性与闭环脆弱性存在明显错配,扰动幅度更大并不必然导致更强的控制失效。作者将这一错配归因于动作条件读出机制,并用短探针信号 Tail-AV 识别脆弱通路,再据此选择动作面向的 K/V 目标训练任务共享攻击。

  2. arXiv · cs.RO63

    PRIME W0:用世界模型物理先验增强具身操作的VLA框架

    PRIME W0 是一个分层条件流匹配框架,旨在让VLA模型不再只依赖当前观测,而是利用长时序上下文与VLM的分层表示。其设计包括从预训练VLM向自适应MoE动作专家逐层注入KV、通过异步世界模型子目标图像预测和DINOv2历史帧语义桥接实现动力学感知条件,以及采用协方差结构化噪声的Action Dynamic Manifold流匹配。

    推荐理由:论文提出分层条件流匹配框架,用世界模型子目标预测与历史帧语义桥接补足VLA的时序上下文,并给出消融验证。

  3. arXiv · cs.RO72

    WorldFlow:大规模预训练联合预测视频与3D运动

    WorldFlow 提出一种生成式世界模型,通过将3D运动参数化为与视频网格对齐的连续位移 token,用统一的 Mixture-of-Transformers 骨干在 rectified-flow 目标下同时去噪视频与基于查询的3D轨迹。

    推荐理由:论文把视频与3D轨迹放进同一生成骨干联合预测,并给出跨仿真与真实域的训练规模和基准误差对比。

  4. arXiv · cs.RO58

    GenSight:统一视频生成与4D感知的具身世界模型

    GenSight 是一个统一的具身世界模型,把未来视频生成与稠密感知放进同一个预训练视频扩散 Transformer。它用统一的时空表示覆盖视频、深度、具身分割和相对首帧的 2D 光流,在共享 DiT 主干上通过轻量任务调制预测各模态,并在统一速度预测空间中联合优化。推理时支持多步未来视频生成并给出对齐的稠密预测,以及从观测视频做单步稠密感知;训练数据涵盖多种机器人本体与人类手部交互。

  5. arXiv · cs.RO67

    TERRA:面向行星漫游车的高效定向探索自适应框架

    作者提出 TERRA 在线自适应框架,用奖励加权预测损失修正仿真训练的世界模型,并训练损失预测器估计未来与性能相关的误差位置,以此在 MPC 中引导探索。仿真中,在严重分布外预训练条件下,TERRA 约在五次试验内达到约 90% 爬坡成功率,在奖励、完成时间和首次成功能耗上优于探索基线。

    推荐理由:论文提出面向行星漫游车的在线自适应框架,用奖励加权预测损失引导探索,并给出仿真与 ERNEST 实机试验结果。

10月28日周三
  1. The Robot Report78
    The Robot Report的报道配图

    WorldOracle 发布动作条件世界模型基准,对照真实执行评测七款模型

    普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA 与智元机器人联合推出 WorldOracle,用同一初始观测和同一动作序列把动作条件世界模型的预测与真实执行逐帧对照评分。

    推荐理由:WorldOracle 用同一初始帧与动作序列对照真实执行,给出七款世界模型的分解评分与长时程退化数据。

  2. arXiv · cs.RO69

    ThinkWorld:用世界想象强化动力学链推理的VLA学习框架

    ThinkWorld 是一个 VLA 学习框架,把动作推理建立在世界动力学上,并通过世界想象的强化学习加以强化。它将每个动作思考表示为 Chain-of-Dynamics(CoD),即一串离散运动 token,刻画从当前世界到未来状态的中间动力学,并作为跨本体的通用动作表示。

    推荐理由:论文提出以世界动力学链作为跨本体动作表示,并用世界想象强化推理,为无动作标注视频提供监督路径。

  3. arXiv · cs.RO75

    World Dreamer v5-lite:单 Dreamer 多机器人世界动作模型

    World Dreamer v5-lite 是一个面向多机器人的世界动作模型,围绕共享世界状态为各机器人分别预测动作序列。该状态由预训练视频编码器的校准特征在工作空间坐标中填充,空间尺寸不随视角增加而改变;视觉语言模型提供场景上下文,并为每个机器人提供一个查询,查询读取共享状态并交换位姿感知信息,动作流保持独立。

    推荐理由:预印本给出多机器人共享世界状态的动作预测设计,并在仿真与四项实机任务上报告成功率对比。

  4. InfoQ · 已核实历史报道52
    InfoQ · 已核实历史报道的报道配图

    乐享科技李元庆:轻量化异构双臂与VLA/世界模型在家庭服务机器人中的落地实践

    乐享科技联席CTO、穹明智能总经理李元庆在AICon深圳站分享家庭服务具身机器人的落地实践,介绍其近期发布的轻量化家庭协作机器人:整机重30千克、底盘直径45厘米、升降高度82至147厘米,提供双七自由度臂和四加七自由度臂等版本。

10月26日周一
  1. 北京通用人工智能研究院52

    北京通用人工智能研究院提出AutoPhyX:文本条件自动生成物理属性

    北京通用人工智能研究院团队提出AutoPhyX,一个文本条件框架,用于预测空间变化的物理属性,论文被ECCV 2026收录。该方法先构建部件可控的数据生成流程,将复杂3D资产分解为语义部件并配对物理参数与文本描述,再以跨模态调制让文本特征动态调制视觉特征,在体素场中完成属性预测,兼容网格、点云、Gaussian Splatting和NeRF等表示。

  2. arXiv · cs.RO64

    研究:世界建模在机器人动作学习中究竟改善了哪些方面

    研究在 FastWAM 和 OpenWAM 中做受控的未来视频预测损失消融,模型架构、初始化、机器人训练数据和训练步数在各模型族内保持固定。在已见任务的干净条件下,预测监督分别将成功率提升 24.38 和 72.91 个百分点;但在分布偏移下收益并不稳定,未见任务上的提升因模型和任务而异,两个模型在所受评估的环境随机化下成功率都较低。

    推荐理由:在 FastWAM 与 OpenWAM 上做受控消融,区分未来视频预测在熟悉任务上的执行提升与分布偏移下的迁移表现。

10月25日周日
  1. arXiv · cs.RO60

    RoboWorM:评估具身视频世界模型的运动真实性、一致性与加速影响

    RoboWorM 是一个面向部署的视频世界模型基准,利用机器人运动学树和固定相机配置等硬件先验,系统考察结构与时空保真度。该基准汇集单臂、双臂和人形形态的 1,605 条 episode,覆盖单视角与多视角下的马尔可夫及长时程非马尔可夫任务。

    推荐理由:该预印本提出面向机器人视频世界模型的部署感知基准,并给出不依赖VLM的运动学与多视角几何一致性指标。

10月24日周六
  1. arXiv · cs.RO62

    WorldFailBench 发布:评测世界模型能否理解机器人策略失败

    研究团队提出 WorldFailBench,用于检验世界模型能否忠实模拟机器人策略的失败方式与失败阶段。该基准包含失败原因、失败阶段和失败边界三项测试,覆盖 LIBERO 与 RoboTwin 仿真环境中的操作任务,以及 G1 人形机器人在真实世界执行的操作任务。对七个世界模型的实验显示,它们在理解策略失败方面存在明显差距。

    推荐理由:该基准把世界模型对策略失败的模拟拆成失败原因、失败阶段与失败边界三项测试,可用于比较其作为策略评估器的可靠性。

  2. arXiv · cs.RO75

    RynnUnify:16B统一具身模型发布,兼顾理解、视觉规划与机器人控制

    研究团队提出16B统一具身模型RynnUnify,通过交错的视频-语言推理把具身理解与长程视觉规划结合起来。实验显示其在所评估统一多模态模型中取得最高具身理解平均分,Rynn-VP总分比Cosmos 3 Nano高9.75分;经强化学习的智能体扩展使Rynn-GEU平均分比直接推理高6.0分。

    推荐理由:论文给出16B统一具身模型在理解、视觉规划与真机控制上的分项结果,可用于比较统一模型与专用方案。

10月23日周五
  1. arXiv · cs.RO58

    AWARE:仅靠外部摄像头预测机器人动力学并识别异常的框架

    AWARE 是一个世界模型框架,仅通过外部摄像头监测、估计系统动力学并预测状态来实现异常检测,无需电机编码器等机载传感器。研究在240条真实机器人起重机轨迹上评估,涵盖负载碰撞与电机退化,在噪声条件下仅用摄像头做状态估计时,异常分类比最强基线提升26%。推断出的动力学参数还可解码用于定位故障来源,识别退化电机的准确率为88%。

  2. arXiv · cs.RO60

    HGWM:用图匹配实现零样本目标导航的分层图引导世界模型

    I-Tak Ieong与Hao Tang提出HGWM,一种分层图引导世界模型,通过类别条件房间-锚点先验与持久空间语义记忆完成零样本目标导航。粗阶段用视觉语言模型给候选朝向打分,细阶段将观测到的物体与关系同目标先验显式比对,再按阶段融合语言模型建议引导局部导航。

    推荐理由:论文给出分层图引导世界模型在HM3D与MP3D上的零样本目标导航结果,并列出各组件消融幅度,便于比较导航方法。

  3. arXiv · cs.RO74

    RepresentNav:在自构建表征空间上构建的导航基础模型

    RepresentNav 是一个建立在自构建表征空间上的导航基础模型,该空间由策略自身目标从视觉基础模型中构建。它用三层 transformer 的 Representation Residuals 聚合多个视觉基础模型全深度特征,并在每次动作前通过潜在思维链预测下一时刻场景表征,以 JEPA 方式与策略端到端训练。

    推荐理由:论文提出用策略自身目标构建视觉表征空间的导航基础模型,并给出与拼接编码器输出的对照结果。

  4. arXiv · cs.RO67

    SkeLAM:以骨架监督分解潜动作的机器人世界模型

    作者提出 SkeLAM,一种骨架引导的潜动作模型,用于可控机器人世界建模,将潜动作分解为由机器人骨架监督约束的运动学分量和保留其余视觉动态的残差分量。在 DROID 上,SkeLAM 相比 DreamDojo 将末端执行器 ADE 降低 19.5%、LPIPS 降低 11.1%。

    推荐理由:论文把机器人运动学分量从潜动作中分离出来,为世界模型的可控生成提供了一种可迁移的建模思路。

  5. 北京人形机器人创新中心40
    北京人形机器人创新中心的报道配图

    财新时间对话熊友军:没有泡沫的产业,只有泡沫的公司

    北京人形机器人创新中心CEO熊友军在《财新时间》访谈中表示,人形机器人行业不存在泡沫,只有泡沫的公司,真正竞争在于自身技术突破。他透露天工训练数据约80%来自虚拟仿真、20%来自真实场景,统一表征具身世界模型Pelican-Unify能提升执行准确率但算力要求高,下一轮融资已在规划中。

10月22日周四
  1. arXiv · cs.RO71

    UniFlowWAM:融合视觉语义与4D几何的统一世界-动作模型

    上海交通大学等团队提出 UniFlowWAM,将3D场景流作为与视觉、动作并列的第三模态,构建统一世界-动作模型。该模型采用扩散Transformer,每个模态一个专家,通过联合注意力交换信息,并在十目标角色网格下训练,同一模型可充当策略、前向与逆向动力学以及未来视觉特征或3D流预测器。

    推荐理由:论文把3D场景流作为与视觉、动作并列的第三模态,并给出仿真与四项实机双臂任务的对比结果。

  2. arXiv · cs.RO71

    Soft-Object World Model:面向双臂软体衣物操作的上下文学习世界模型

    作者提出 Soft-Object World Model,用 transformer 骨干在大规模仿真软体交互数据上训练,通过上下文学习从变长部分点云历史推断潜在形状与材质线索,实现生成式全状态估计和动作条件动力学预测。

    推荐理由:论文提出用上下文学习从部分点云历史推断软体衣物形状与材质,并跨本体泛化,为软体操作的世界模型路线提供参考。

  3. arXiv · cs.RO38

    LeWorldModel 是否保留局部动作几何?——基于 Reacher 与 OGBench Cube 的评测

    研究用配对仿真器与 LeWorldModel(LeWM)响应,在三种扰动尺度下以 Gram 矩阵测量动作敏感性。在 Reacher 和 OGBench Cube 近千个状态中,最小尺度下最敏感动作方向的中位夹角分别约 36° 和 42°;扰动放大十倍后,Reacher 与 Cube 的中位归一化 Gram 差异分别降低约 70% 和 47%。

  4. arXiv · cs.RO58

    PhysibleMDM:通过噪声优化在推理阶段约束运动扩散模型的物理可行性

    PhysibleMDM 提出在推理阶段优化扩散噪声,无需重新训练生成模型,即可提升运动扩散模型输出的物理可行性。该方法用运动学检查(地面穿透、滑移、自碰撞)和以内点锥规划求解逆动力学的动态可行性测试构造替代约束,再用 Sep-CMA-ES 求解黑盒噪声优化问题,并以自回归方式拼接长序列。

  5. arXiv · cs.RO67

    FRED:用自蒸馏与时间上下文提升世界动作模型的未来视频表征

    论文提出 FRED 框架,通过自蒸馏让世界动作模型(WAM)在单步去噪中从噪声预测未来视频表征,并以真实未来观测提取的表征作为目标,同时用历史观测提供时间上下文。作者称在多种真实操作场景中 FRED 持续优于对比的 WAM,在零样本环境泛化的长时程与域外任务上提升明显。在仅有人类视频演示、未出现在机器人训练数据中的任务上,FRED 达到 50.0% 任务成功率,对比最佳 WAM 为 19.4%。

    推荐理由:论文提出用自蒸馏提升世界动作模型的未来视频表征质量,并给出实机操作与人类视频迁移的成功率对比。

  6. arXiv · cs.RO72

    AW-0:融合代码规划与视频动作预测的智能体世界动作模型

    研究提出 AW-0,一个将代码规划与视频、动作联合预测结合的智能体世界动作模型框架,在统一的 mixture-of-transformers 架构中联合建模代码、未来视频和机器人动作三路生成流。

    推荐理由:论文把代码规划与视频、动作联合预测放进同一架构,为世界动作模型补上技能复用这一环。