GlanceWAM提出稀疏测试时想象的世界动作模型
Linhan Wang等人提出GlanceWAM,将视觉想象与控制解耦在同一个视频DiT主干上,由异步提议器在后台以慢时钟生成单帧前瞻画面,动作头在潜空间中按控制频率解码动作块,单块时延48 ms(A100)。
推荐理由:论文把视频想象移出控制关键路径,在共享DiT上异步生成前瞻帧,为世界动作模型的时延与成功率权衡提供了一种可迁移思路。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
Linhan Wang等人提出GlanceWAM,将视觉想象与控制解耦在同一个视频DiT主干上,由异步提议器在后台以慢时钟生成单帧前瞻画面,动作头在潜空间中按控制频率解码动作块,单块时延48 ms(A100)。
推荐理由:论文把视频想象移出控制关键路径,在共享DiT上异步生成前瞻帧,为世界动作模型的时延与成功率权衡提供了一种可迁移思路。
作者提出WNM-3D,一个面向连续视觉语言导航(VLN)的生成式世界导航模型,用冻结的前馈几何编码器从单目RGB历史提取跨视角表示,再经可训练的3D Scene-to-Token Adapter转为定长场景前缀,通过块因果注意力在联合去噪中持续提供给世界-动作Diffusion Transformer。
推荐理由:论文把3D场景几何作为持续条件注入世界-动作扩散模型,并给出GN-Bench与VLN-CE上的对照结果,可供比较世界模型路线。
作者提出一种JEPA式世界模型,将潜动力学限制为双线性参数化,把建模负担转移到编码器,并结构化地保证动作可恢复性、避免表征坍缩。作者称一大类非线性动力系统经变换后可呈双线性形式,在标准2D和3D控制任务中,从高维观测直接学到的双线性动力学表征使规划时间缩短近三个数量级,同时保持或提升控制精度。
推荐理由:论文提出双线性参数化的JEPA式世界模型,在2D与3D控制任务上把规划时间缩短近三个数量级,可供关注世界模型规划效率的研究者参考。
作者提出 SALT(State-Affine Latent Transition),一种动作条件的状态仿射潜空间动力学模型,动作同时调制状态变换与加性更新,并以递归多步 rollout 监督训练。
推荐理由:论文把多步 rollout 误差拆成单步误差与传播项,并据此提出状态仿射转移模型,为视觉规划中的递归误差提供可迁移的分析视角。
作者提出对齐增量三平面Transformer(ADTT),一种紧凑的4D占用世界模型,用自车运动补偿显式对齐历史三平面,并只预测未来场景变化。模型在对齐先验上用查询条件Transformer预测残差变化,其中自车运动查询引导可控未来运动、可学习外部查询捕捉自车运动之外的场景变化,预测变化叠加到对齐先验后解码为未来占用场景。
推荐理由:论文提出用自车运动对齐历史三平面、只预测场景残差变化的紧凑占用世界模型,可用于比较自动驾驶场景预测的算力取舍。
Liangyu Li 与 Qingwen Liu 提出连续动作世界模型 CoAWM,用于学习跨本体、跨执行频率的时空动力学先验,以支持机器人动作生成。该方法先通过函数预训练把不同本体和采样频率的轨迹映射到共享隐函数空间,借助动作重建与时间采样视图间的一致性学习共享动力学先验。
作者提出HiFOR,一个带动作引导世界检索的分层预见框架,用于视觉-语言-动作模型。该方法通过分层依赖掩码联合预测短期状态演化、语义里程碑和最终目标状态,并用结构感知潜在世界建模与动作引导因子化世界检索为动作生成提供针对性引导。作者称在两个仿真基准和六个真实机器人操作任务上验证了方法有效性。
推荐理由:论文把短期状态、语义里程碑与最终目标纳入统一分层预测,并用动作引导检索未来信息,可供VLA策略设计参考。
RoboSeed 提出面向视觉-语言-动作模型(VLA)和世界动作模型(WAM)的多维评估框架,覆盖能力、下游训练成本、部署成本、本地验证的研究价值与复现证据五个维度。
PASA-KV 提出一种针对世界动作模型(WAM)内部视觉 K/V 通路的攻击方法,并在多个 WAM 系统和一台实体机器人上验证了闭环攻击效果。研究发现表征可扰动性与闭环脆弱性存在明显错配,扰动幅度更大并不必然导致更强的控制失效。作者将这一错配归因于动作条件读出机制,并用短探针信号 Tail-AV 识别脆弱通路,再据此选择动作面向的 K/V 目标训练任务共享攻击。
PRIME W0 是一个分层条件流匹配框架,旨在让VLA模型不再只依赖当前观测,而是利用长时序上下文与VLM的分层表示。其设计包括从预训练VLM向自适应MoE动作专家逐层注入KV、通过异步世界模型子目标图像预测和DINOv2历史帧语义桥接实现动力学感知条件,以及采用协方差结构化噪声的Action Dynamic Manifold流匹配。
推荐理由:论文提出分层条件流匹配框架,用世界模型子目标预测与历史帧语义桥接补足VLA的时序上下文,并给出消融验证。
Utility-WAM 针对世界动作模型(WAM)中预测未来引发的动作偏移提出修正方法。
推荐理由:论文拆解世界动作模型中预测未来带来的动作偏移,指出精度任务上的负迁移并给出残差适配器修正方案。
WorldFlow 提出一种生成式世界模型,通过将3D运动参数化为与视频网格对齐的连续位移 token,用统一的 Mixture-of-Transformers 骨干在 rectified-flow 目标下同时去噪视频与基于查询的3D轨迹。
推荐理由:论文把视频与3D轨迹放进同一生成骨干联合预测,并给出跨仿真与真实域的训练规模和基准误差对比。
GenSight 是一个统一的具身世界模型,把未来视频生成与稠密感知放进同一个预训练视频扩散 Transformer。它用统一的时空表示覆盖视频、深度、具身分割和相对首帧的 2D 光流,在共享 DiT 主干上通过轻量任务调制预测各模态,并在统一速度预测空间中联合优化。推理时支持多步未来视频生成并给出对齐的稠密预测,以及从观测视频做单步稠密感知;训练数据涵盖多种机器人本体与人类手部交互。
作者提出 TERRA 在线自适应框架,用奖励加权预测损失修正仿真训练的世界模型,并训练损失预测器估计未来与性能相关的误差位置,以此在 MPC 中引导探索。仿真中,在严重分布外预训练条件下,TERRA 约在五次试验内达到约 90% 爬坡成功率,在奖励、完成时间和首次成功能耗上优于探索基线。
推荐理由:论文提出面向行星漫游车的在线自适应框架,用奖励加权预测损失引导探索,并给出仿真与 ERNEST 实机试验结果。
Synthoid.ai 的 VLA Research Team 提出 SaiVLA-JEPA,在 VLA 流策略中接入冻结 V-JEPA 编码器特征,并在 10,030 对 LIBERO-Plus 回合上比较三种设置。
推荐理由:论文在 LIBERO-Plus 配对闭环试验中比较 JEPA 条件与未来表征监督,给出成功率对照与负结果。
Josef Chen 的预印本在 PushT 上比较面向世界模型的学习型规划器,其固定动作更新器(1,505 参数)在预留的 16 个场景中解出 8 个,总规划与编码耗时 59.079s。
ThinkWorld 是一个 VLA 学习框架,把动作推理建立在世界动力学上,并通过世界想象的强化学习加以强化。它将每个动作思考表示为 Chain-of-Dynamics(CoD),即一串离散运动 token,刻画从当前世界到未来状态的中间动力学,并作为跨本体的通用动作表示。
推荐理由:论文提出以世界动力学链作为跨本体动作表示,并用世界想象强化推理,为无动作标注视频提供监督路径。
World Dreamer v5-lite 是一个面向多机器人的世界动作模型,围绕共享世界状态为各机器人分别预测动作序列。该状态由预训练视频编码器的校准特征在工作空间坐标中填充,空间尺寸不随视角增加而改变;视觉语言模型提供场景上下文,并为每个机器人提供一个查询,查询读取共享状态并交换位姿感知信息,动作流保持独立。
推荐理由:预印本给出多机器人共享世界状态的动作预测设计,并在仿真与四项实机任务上报告成功率对比。
研究在 FastWAM 和 OpenWAM 中做受控的未来视频预测损失消融,模型架构、初始化、机器人训练数据和训练步数在各模型族内保持固定。在已见任务的干净条件下,预测监督分别将成功率提升 24.38 和 72.91 个百分点;但在分布偏移下收益并不稳定,未见任务上的提升因模型和任务而异,两个模型在所受评估的环境随机化下成功率都较低。
推荐理由:在 FastWAM 与 OpenWAM 上做受控消融,区分未来视频预测在熟悉任务上的执行提升与分布偏移下的迁移表现。
RoboWorM 是一个面向部署的视频世界模型基准,利用机器人运动学树和固定相机配置等硬件先验,系统考察结构与时空保真度。该基准汇集单臂、双臂和人形形态的 1,605 条 episode,覆盖单视角与多视角下的马尔可夫及长时程非马尔可夫任务。
推荐理由:该预印本提出面向机器人视频世界模型的部署感知基准,并给出不依赖VLM的运动学与多视角几何一致性指标。
研究团队提出 WorldFailBench,用于检验世界模型能否忠实模拟机器人策略的失败方式与失败阶段。该基准包含失败原因、失败阶段和失败边界三项测试,覆盖 LIBERO 与 RoboTwin 仿真环境中的操作任务,以及 G1 人形机器人在真实世界执行的操作任务。对七个世界模型的实验显示,它们在理解策略失败方面存在明显差距。
推荐理由:该基准把世界模型对策略失败的模拟拆成失败原因、失败阶段与失败边界三项测试,可用于比较其作为策略评估器的可靠性。
研究团队提出16B统一具身模型RynnUnify,通过交错的视频-语言推理把具身理解与长程视觉规划结合起来。实验显示其在所评估统一多模态模型中取得最高具身理解平均分,Rynn-VP总分比Cosmos 3 Nano高9.75分;经强化学习的智能体扩展使Rynn-GEU平均分比直接推理高6.0分。
推荐理由:论文给出16B统一具身模型在理解、视觉规划与真机控制上的分项结果,可用于比较统一模型与专用方案。
AWARE 是一个世界模型框架,仅通过外部摄像头监测、估计系统动力学并预测状态来实现异常检测,无需电机编码器等机载传感器。研究在240条真实机器人起重机轨迹上评估,涵盖负载碰撞与电机退化,在噪声条件下仅用摄像头做状态估计时,异常分类比最强基线提升26%。推断出的动力学参数还可解码用于定位故障来源,识别退化电机的准确率为88%。
I-Tak Ieong与Hao Tang提出HGWM,一种分层图引导世界模型,通过类别条件房间-锚点先验与持久空间语义记忆完成零样本目标导航。粗阶段用视觉语言模型给候选朝向打分,细阶段将观测到的物体与关系同目标先验显式比对,再按阶段融合语言模型建议引导局部导航。
推荐理由:论文给出分层图引导世界模型在HM3D与MP3D上的零样本目标导航结果,并列出各组件消融幅度,便于比较导航方法。
RepresentNav 是一个建立在自构建表征空间上的导航基础模型,该空间由策略自身目标从视觉基础模型中构建。它用三层 transformer 的 Representation Residuals 聚合多个视觉基础模型全深度特征,并在每次动作前通过潜在思维链预测下一时刻场景表征,以 JEPA 方式与策略端到端训练。
推荐理由:论文提出用策略自身目标构建视觉表征空间的导航基础模型,并给出与拼接编码器输出的对照结果。
DiffDreamer 是一个可微强化学习框架,将学习到的世界模型与可微仿真紧耦合用于 actor 优化:单步优化中世界模型传播捕捉外部动态与历史依赖特征的隐状态,可微仿真器传播机器人显式物理状态。
作者提出 SkeLAM,一种骨架引导的潜动作模型,用于可控机器人世界建模,将潜动作分解为由机器人骨架监督约束的运动学分量和保留其余视觉动态的残差分量。在 DROID 上,SkeLAM 相比 DreamDojo 将末端执行器 ADE 降低 19.5%、LPIPS 降低 11.1%。
推荐理由:论文把机器人运动学分量从潜动作中分离出来,为世界模型的可控生成提供了一种可迁移的建模思路。
PhysTrace 是一个免训练框架,将多模态大模型生成的历史条件物理期望与观测视频窗口对齐,从而在时间上定位物理违规并给出可解释描述,无需任务专用探针或分类器。
Inside-JEPA 在 JEPA 潜状态中为有序实体对加入关系通道,并表明当逆动力学损失的头读取这些通道时,无需关系标签即可将其定位。
上海交通大学等团队提出 UniFlowWAM,将3D场景流作为与视觉、动作并列的第三模态,构建统一世界-动作模型。该模型采用扩散Transformer,每个模态一个专家,通过联合注意力交换信息,并在十目标角色网格下训练,同一模型可充当策略、前向与逆向动力学以及未来视觉特征或3D流预测器。
推荐理由:论文把3D场景流作为与视觉、动作并列的第三模态,并给出仿真与四项实机双臂任务的对比结果。
作者提出 Soft-Object World Model,用 transformer 骨干在大规模仿真软体交互数据上训练,通过上下文学习从变长部分点云历史推断潜在形状与材质线索,实现生成式全状态估计和动作条件动力学预测。
推荐理由:论文提出用上下文学习从部分点云历史推断软体衣物形状与材质,并跨本体泛化,为软体操作的世界模型路线提供参考。
研究用配对仿真器与 LeWorldModel(LeWM)响应,在三种扰动尺度下以 Gram 矩阵测量动作敏感性。在 Reacher 和 OGBench Cube 近千个状态中,最小尺度下最敏感动作方向的中位夹角分别约 36° 和 42°;扰动放大十倍后,Reacher 与 Cube 的中位归一化 Gram 差异分别降低约 70% 和 47%。
PhysibleMDM 提出在推理阶段优化扩散噪声,无需重新训练生成模型,即可提升运动扩散模型输出的物理可行性。该方法用运动学检查(地面穿透、滑移、自碰撞)和以内点锥规划求解逆动力学的动态可行性测试构造替代约束,再用 Sep-CMA-ES 求解黑盒噪声优化问题,并以自回归方式拼接长序列。
论文提出 FRED 框架,通过自蒸馏让世界动作模型(WAM)在单步去噪中从噪声预测未来视频表征,并以真实未来观测提取的表征作为目标,同时用历史观测提供时间上下文。作者称在多种真实操作场景中 FRED 持续优于对比的 WAM,在零样本环境泛化的长时程与域外任务上提升明显。在仅有人类视频演示、未出现在机器人训练数据中的任务上,FRED 达到 50.0% 任务成功率,对比最佳 WAM 为 19.4%。
推荐理由:论文提出用自蒸馏提升世界动作模型的未来视频表征质量,并给出实机操作与人类视频迁移的成功率对比。
研究提出 AW-0,一个将代码规划与视频、动作联合预测结合的智能体世界动作模型框架,在统一的 mixture-of-transformers 架构中联合建模代码、未来视频和机器人动作三路生成流。
推荐理由:论文把代码规划与视频、动作联合预测放进同一架构,为世界动作模型补上技能复用这一环。
PhysiCalWorld 提出通过上下文提示将动作条件世界模型校准到实例特定动力学,无需微调或解析物理建模。该方法把在测试场景中采集的探索交互片段编码为紧凑的物理描述符 token,仅用潜在预测损失端到端训练,不使用物理标签;推理时描述符只提取一次,可在多次 rollout 中复用。
Houzhu Ding 等提出 CW-WAM,一个联合预测视频、运动与接触力旋量的世界动作模型,将运动与力旋量作为统一建模目标并输出时间对齐的运动-力旋量块作为控制参考。
推荐理由:论文把接触力旋量纳入世界动作模型,并给出插入与擦拭任务的力参考误差对比,可供力控操作研究参考。
论文提出关系几何强制(RGF),通过对齐成对特征关系而非逐点特征,把冻结3D基础模型的几何先验迁移到世界动作模型(WAM)。作者发现逐点几何对齐虽改善视频特征却会损害动作学习,RGF 用帧内、跨视角和动作-时序三类关系目标,且仅在训练阶段使用,不增加几何分支或推理模块。仿真与实机实验显示,该方法在多种操作场景和 WAM 范式下取得一致提升。
推荐理由:论文指出逐点几何对齐会损害动作学习,提出用成对特征关系迁移3D先验,并在仿真与实机中验证。
arXiv 论文研究世界动作模型(WAMs)因生成骨干不同而在泛化性能上出现明显差异的原因,从模型继承自骨干的表征几何及策略训练对其的重组入手分析。作者提出用干扰正交性量化表征先验,即特征在经验分布流形之外的视觉变化下的正交程度,并在多种图像和视频骨干上发现先验正交性越高,WAM 训练后对视觉变化的鲁棒性越强。
该预印本研究了物理条件偏离训练分布时世界模型预测精度下降的问题,区分了预测器可用哪些输入以及机制如何计算这些输入的影响两个层面。在带捷径特征的合成基准中,由配对干预得到的冻结依赖掩码把分布外 RMSE 从全连接预测器的 1.769 降至 0.697,接近生成器 oracle 掩码的 0.694。
推荐理由:论文在 CausalWorld 中比较不同质量参数注入方式对分布外预测的影响,为世界模型的因果结构设计提供可迁移思路。