PhysiCalWorld:为世界模型做上下文物理校准
PhysiCalWorld 提出通过上下文提示将动作条件世界模型校准到实例特定动力学,无需微调或解析物理建模。该方法把在测试场景中采集的探索交互片段编码为紧凑的物理描述符 token,仅用潜在预测损失端到端训练,不使用物理标签;推理时描述符只提取一次,可在多次 rollout 中复用。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
PhysiCalWorld 提出通过上下文提示将动作条件世界模型校准到实例特定动力学,无需微调或解析物理建模。该方法把在测试场景中采集的探索交互片段编码为紧凑的物理描述符 token,仅用潜在预测损失端到端训练,不使用物理标签;推理时描述符只提取一次,可在多次 rollout 中复用。
Houzhu Ding 等提出 CW-WAM,一个联合预测视频、运动与接触力旋量的世界动作模型,将运动与力旋量作为统一建模目标并输出时间对齐的运动-力旋量块作为控制参考。
推荐理由:论文把接触力旋量纳入世界动作模型,并给出插入与擦拭任务的力参考误差对比,可供力控操作研究参考。
论文提出关系几何强制(RGF),通过对齐成对特征关系而非逐点特征,把冻结3D基础模型的几何先验迁移到世界动作模型(WAM)。作者发现逐点几何对齐虽改善视频特征却会损害动作学习,RGF 用帧内、跨视角和动作-时序三类关系目标,且仅在训练阶段使用,不增加几何分支或推理模块。仿真与实机实验显示,该方法在多种操作场景和 WAM 范式下取得一致提升。
推荐理由:论文指出逐点几何对齐会损害动作学习,提出用成对特征关系迁移3D先验,并在仿真与实机中验证。
arXiv 论文研究世界动作模型(WAMs)因生成骨干不同而在泛化性能上出现明显差异的原因,从模型继承自骨干的表征几何及策略训练对其的重组入手分析。作者提出用干扰正交性量化表征先验,即特征在经验分布流形之外的视觉变化下的正交程度,并在多种图像和视频骨干上发现先验正交性越高,WAM 训练后对视觉变化的鲁棒性越强。
该预印本研究了物理条件偏离训练分布时世界模型预测精度下降的问题,区分了预测器可用哪些输入以及机制如何计算这些输入的影响两个层面。在带捷径特征的合成基准中,由配对干预得到的冻结依赖掩码把分布外 RMSE 从全连接预测器的 1.769 降至 0.697,接近生成器 oracle 掩码的 0.694。
推荐理由:论文在 CausalWorld 中比较不同质量参数注入方式对分布外预测的影响,为世界模型的因果结构设计提供可迁移思路。
NVIDIA 等机构的研究者提出 Joints, Camera, Action! 模型,可为任意给定骨架同时生成视频与可重放的 3D 运动,并估计相机把运动配准到场景。
推荐理由:论文提出将3D运动与视频生成分离建模,支持任意骨架并恢复相机位姿,为机器人视频数据转可重放运动提供思路。
UniWALM 提出统一世界-动作-语言模型,在单一混合Transformer骨干中联合学习视频、动作与语言,各模态既作条件信号也作监督目标,并在同一次解码中输出子任务与文本记忆,无需独立规划阶段。
推荐理由:论文把视频、动作与语言放进同一混合Transformer骨干联合生成,并给出记忆依赖任务与实机对比数据,可供比较统一建模路线。
PhysCanvas 是一个面向接触密集机器人操作的视觉触觉世界模型,将多视角 RGB、触觉图像、标记位移、任务状态与动作统一到同一视觉空间,并共享视频 VAE 与预训练生成骨干。
推荐理由:论文把视觉与触觉统一进世界模型,并给出世界模型成功率与真实任务的相关性数据,可用于比较策略评估方案。
SuperMimic 提出用单一可微世界模型摊销人形机器人全身运动跟踪的学习,世界模型与跟踪策略在同一循环中联合训练,并通过短时想象 rollout 的反向传播为策略提供解析梯度。
推荐理由:论文用单一可微世界模型摊销多动作学习,给出与基线在GPU耗时和失败动作数上的对比,并报告在Unitree G1上的迁移。
论文提出TaskWAM,一个闭环、阶段感知的世界-动作模型框架,用Mode Tokens表示细粒度任务要求、用State Tokens跟踪执行进度,以缓解长程操作中局部合理但方向错误的推演导致的阶段混淆。
推荐理由:论文提出阶段混淆问题并给出TaskWAM与StageBench,可用于比较世界-动作模型的长程任务控制方法。
一项 arXiv 预印本研究拆解期望自由能(EFE)能否决定潜世界模型规划该花多少算力,并分别测试候选打分、停止规则与在线预测器更新。当精英代价停滞时停止细化,在成功率随深度饱和的任务上平均成功率接近固定深度参照;在测试的较大权重下,奖励预测分歧会降低冻结模型的成功率,惩罚分歧则在部分任务和权重设置下有益、在另一些设置下有害。
研究团队提出 RoboJudge-Bench,用于评测多模态大模型对具身视频生成的判断能力,覆盖物理遵循与指令对齐两个维度,包含来自 8 个源语料、10 个视频生成器的 800 段人工标注视频,涉及夹爪、人手和灵巧手。
推荐理由:该预印本系统评测了多模态大模型作为具身视频生成评判者的表现,并给出可复用的训练数据与微调方案。
PLaCA 提出一种以未来潜变量变化为核心的世界到动作框架,直接从当前多模态输入预测空间结构化的 patch 级未来潜变量变化,并引入 patch 级变化感知监督和未来到动作接口。在 LIBERO-Long 上成功率为 79.0%,比仅动作基线提升 5.0 个百分点;在 CALVIN 上平均序列长度从 2.784 提升到 3.564。第二阶段训练仅更新 2.95% 的模型参数。
论文提出 Action Influence Maximization(AIM)算法,主动采集训练数据以提升数据集的动作影响力,从而改善动作条件世界模型对指令的响应。
推荐理由:论文把动作条件视频模型忽略指令归因于训练数据的动作影响力上限,并给出主动采数据的改进方法,可用于理解世界模型可控性。
Ropedia W0 是作者提出的第一视角移动操作世界基础模型,覆盖人类与多种机器人本体。其 Xp-Data 包含 1 万小时第一视角人类数据和 3 千小时机器人数据,并配有统一多模态标注;模型用相机位姿编码移动、用投影骨架编码操作。
推荐理由:该工作构建跨人类与机器人的第一视角移动操作世界模型,并公开数据规模与五项基准评测结果,可供比较世界模型路线。
PICA-WAM 提出一种自监督训练框架,把视觉扰动不变性作为世界动作模型(WAM)的辅助跨外观自对齐任务。方法用指数滑动平均(EMA)教师处理原始观测并提供更深层目标,在线 WAM 处理受扰动观测,通过轻量投影头将较浅层动作表示对齐到该目标。
推荐理由:论文指出世界动作模型对任务无关视觉扰动敏感的训练缺口,并给出可迁移的自监督对齐方法。
一篇专著为Physical AI给出统一定义:在真实世界约束下通过持续反馈感知、建模并作用于物理世界的人工系统,并梳理其技术版图。该专著将Physical AI与传统数字AI、具身AI、信息物理系统及数字孪生区分,覆盖多模态感知、物理数据与仿真、世界模型、具身基础模型、运动控制系统、多智能体协同及软硬件协同设计。
论文提出 Prior-Informed Adaptation(PIA),一个离线到在线的基于模型强化学习框架,先在高保真与低保真仿真轨迹上预训练世界模型,再用不确定性正则化规划在目标域少量交互中完成适应。
推荐理由:论文提出用仿真轨迹作为有偏先验、在线校正残差的世界模型强化学习框架,并在真实赛车实机验证少样本适应。
TrajWAM 提出一种轨迹引导的世界动作模型,用于高效的动态机器人操作。该方法用历史物体掩码预测目标未来轨迹,再通过轻量 Trajectory ControlNet 引导预训练视频模型生成轨迹一致未来,并用解耦蒸馏实现一步视频-动作推理。
推荐理由:论文把未来视觉预测锚定到目标物体轨迹上,并给出一步推理的解耦蒸馏方案,可供动态操作研究比较。
浙江大学等团队提出 ScaleNav,一个面向语言条件局部导航的世界-动作统一框架,先用互联网第一视角视频做指令条件视频预训练,再用带动作标注的仿真数据对齐动作块,最后联合微调。
推荐理由:论文用互联网第一视角视频预训练视觉动态,再对齐仿真动作,为语言条件局部导航提供可迁移的三阶段训练思路。
Yoo Sung Jang 与 Michael Ryoo 提出 Latent Projection for Latent Planning,利用世界模型训练中 SIGReg 正则化带来的高斯结构,拟合状态动力学矩阵 A 并以其特征基衡量各潜空间方向的不确定性,从而把规划用的 ℓ2 成本限制在不确定性最低的 k 维子空间。
作者提出向量量化世界模型 VQ-WM,将离散潜空间长程搜索与连续视觉反馈控制结合,用于机器人操作规划。该方法用首达时间的准度量估计替代欧氏距离,使规划抽象与控制器能力对齐。在汉诺塔实机操作中,该方法仅用短演示数据即达到 100% 成功率,并在操作与运动仿真基准上比最强世界模型高出 13.3 至 85.3 个百分点。
推荐理由:论文把离散潜空间搜索与连续视觉反馈控制结合,并用首达时间估计对齐规划与控制器能力,为长程操作提供可迁移方法。
针对 LeWM 等潜世界模型用欧氏距离搜索动作序列的做法,作者发现该假设只在目标附近成立,远处 L2 代价会形成虚假低代价盆地困住规划器。作者据此提出 Neighborhood Graph Cost(NGC),在训练潜变量构建的互近邻图上计算最短路径距离,只改终端代价且无需重训。
推荐理由:研究指出 LeWM 的欧氏终端代价只在目标附近成立,提出沿潜流形测距的 NGC 方法,为潜空间世界模型的规划代价设计提供可迁移思路。
NVIDIA 发布 Cosmos-H-Dreams,一个面向手术机器人的实时、动作条件生成式模拟器,将 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型,并通过 FlashDreams 推理库在单张 NVIDIA RTX PRO 6000 上运行。
推荐理由:NVIDIA 把手术世界模型蒸馏成实时闭环模拟器,给出从约10帧到约160帧的推理提速路径。