SkeLAM：以骨架监督分解潜动作的机器人世界模型
作者提出 SkeLAM，一种骨架引导的潜动作模型，用于可控机器人世界建模，将潜动作分解为由机器人骨架监督约束的运动学分量和保留其余视觉动态的残差分量。在 DROID 上，SkeLAM 相比 DreamDojo 将末端执行器 ADE 降低 19.5%、LPIPS 降低 11.1%。
推荐理由：论文把机器人运动学分量从潜动作中分离出来，为世界模型的可控生成提供了一种可迁移的建模思路。
技术方向
世界模型 最新动态
与机器人感知、决策和物理交互直接相关的世界模型进展
43 条精选近 30 天 42 条共收录 64 条
更新
精选归档 · 第 2 页
arXiv · cs.RO精选AI 评分6767
arXiv · cs.RO精选AI 评分7171 UniFlowWAM：融合视觉语义与4D几何的统一世界-动作模型
上海交通大学等团队提出 UniFlowWAM，将3D场景流作为与视觉、动作并列的第三模态，构建统一世界-动作模型。该模型采用扩散Transformer，每个模态一个专家，通过联合注意力交换信息，并在十目标角色网格下训练，同一模型可充当策略、前向与逆向动力学以及未来视觉特征或3D流预测器。
推荐理由：论文把3D场景流作为与视觉、动作并列的第三模态，并给出仿真与四项实机双臂任务的对比结果。
arXiv · cs.RO精选AI 评分7171 Soft-Object World Model：面向双臂软体衣物操作的上下文学习世界模型
作者提出 Soft-Object World Model，用 transformer 骨干在大规模仿真软体交互数据上训练，通过上下文学习从变长部分点云历史推断潜在形状与材质线索，实现生成式全状态估计和动作条件动力学预测。
推荐理由：论文提出用上下文学习从部分点云历史推断软体衣物形状与材质，并跨本体泛化，为软体操作的世界模型路线提供参考。
arXiv · cs.RO精选AI 评分6767 FRED：用自蒸馏与时间上下文提升世界动作模型的未来视频表征
论文提出 FRED 框架，通过自蒸馏让世界动作模型（WAM）在单步去噪中从噪声预测未来视频表征，并以真实未来观测提取的表征作为目标，同时用历史观测提供时间上下文。作者称在多种真实操作场景中 FRED 持续优于对比的 WAM，在零样本环境泛化的长时程与域外任务上提升明显。在仅有人类视频演示、未出现在机器人训练数据中的任务上，FRED 达到 50.0% 任务成功率，对比最佳 WAM 为 19.4%。
推荐理由：论文提出用自蒸馏提升世界动作模型的未来视频表征质量，并给出实机操作与人类视频迁移的成功率对比。
arXiv · cs.RO精选AI 评分7272 AW-0：融合代码规划与视频动作预测的智能体世界动作模型
研究提出 AW-0，一个将代码规划与视频、动作联合预测结合的智能体世界动作模型框架，在统一的 mixture-of-transformers 架构中联合建模代码、未来视频和机器人动作三路生成流。
推荐理由：论文把代码规划与视频、动作联合预测放进同一架构，为世界动作模型补上技能复用这一环。
arXiv · cs.RO精选AI 评分7171 CW-WAM：面向力敏感操作的结构化接触力旋量世界动作模型
Houzhu Ding 等提出 CW-WAM，一个联合预测视频、运动与接触力旋量的世界动作模型，将运动与力旋量作为统一建模目标并输出时间对齐的运动-力旋量块作为控制参考。
推荐理由：论文把接触力旋量纳入世界动作模型，并给出插入与擦拭任务的力参考误差对比，可供力控操作研究参考。
arXiv · cs.RO精选AI 评分6060 RGF：用关系几何对齐改进世界动作模型的机器人操作
论文提出关系几何强制（RGF），通过对齐成对特征关系而非逐点特征，把冻结3D基础模型的几何先验迁移到世界动作模型（WAM）。作者发现逐点几何对齐虽改善视频特征却会损害动作学习，RGF 用帧内、跨视角和动作-时序三类关系目标，且仅在训练阶段使用，不增加几何分支或推理模块。仿真与实机实验显示，该方法在多种操作场景和 WAM 范式下取得一致提升。
推荐理由：论文指出逐点几何对齐会损害动作学习，提出用成对特征关系迁移3D先验，并在仿真与实机中验证。
arXiv · cs.RO精选AI 评分6060 研究：物理参数偏移下的因果世界模型
该预印本研究了物理条件偏离训练分布时世界模型预测精度下降的问题，区分了预测器可用哪些输入以及机制如何计算这些输入的影响两个层面。在带捷径特征的合成基准中，由配对干预得到的冻结依赖掩码把分布外 RMSE 从全连接预测器的 1.769 降至 0.697，接近生成器 oracle 掩码的 0.694。
推荐理由：论文在 CausalWorld 中比较不同质量参数注入方式对分布外预测的影响，为世界模型的因果结构设计提供可迁移思路。
arXiv · cs.RO精选AI 评分6060 NVIDIA 等提出 Joints, Camera, Action!：为任意骨架联合生成 3D 运动与视频
NVIDIA 等机构的研究者提出 Joints, Camera, Action! 模型，可为任意给定骨架同时生成视频与可重放的 3D 运动，并估计相机把运动配准到场景。
推荐理由：论文提出将3D运动与视频生成分离建模，支持任意骨架并恢复相机位姿，为机器人视频数据转可重放运动提供思路。
arXiv · cs.RO精选AI 评分7272 UniWALM：统一世界-动作-语言模型用于具身机器人控制
UniWALM 提出统一世界-动作-语言模型，在单一混合Transformer骨干中联合学习视频、动作与语言，各模态既作条件信号也作监督目标，并在同一次解码中输出子任务与文本记忆，无需独立规划阶段。
推荐理由：论文把视频、动作与语言放进同一混合Transformer骨干联合生成，并给出记忆依赖任务与实机对比数据，可供比较统一建模路线。
arXiv · cs.RO精选AI 评分7575 PhysCanvas：用于机器人策略评估与学习的视觉触觉世界模型
PhysCanvas 是一个面向接触密集机器人操作的视觉触觉世界模型，将多视角 RGB、触觉图像、标记位移、任务状态与动作统一到同一视觉空间，并共享视频 VAE 与预训练生成骨干。
推荐理由：论文把视觉与触觉统一进世界模型，并给出世界模型成功率与真实任务的相关性数据，可用于比较策略评估方案。
arXiv · cs.RO精选AI 评分8888 SuperMimic：用单一可微世界模型扩展人形机器人全身控制
SuperMimic 提出用单一可微世界模型摊销人形机器人全身运动跟踪的学习，世界模型与跟踪策略在同一循环中联合训练，并通过短时想象 rollout 的反向传播为策略提供解析梯度。
推荐理由：论文用单一可微世界模型摊销多动作学习，给出与基线在GPU耗时和失败动作数上的对比，并报告在Unitree G1上的迁移。
arXiv · cs.RO精选AI 评分6060 TaskWAM：用任务状态引导世界-动作模型走向预期未来
论文提出TaskWAM，一个闭环、阶段感知的世界-动作模型框架，用Mode Tokens表示细粒度任务要求、用State Tokens跟踪执行进度，以缓解长程操作中局部合理但方向错误的推演导致的阶段混淆。
推荐理由：论文提出阶段混淆问题并给出TaskWAM与StageBench，可用于比较世界-动作模型的长程任务控制方法。
arXiv · cs.RO精选AI 评分6767 RoboJudge：用多模态语言模型评判具身视频生成
研究团队提出 RoboJudge-Bench，用于评测多模态大模型对具身视频生成的判断能力，覆盖物理遵循与指令对齐两个维度，包含来自 8 个源语料、10 个视频生成器的 800 段人工标注视频，涉及夹爪、人手和灵巧手。
推荐理由：该预印本系统评测了多模态大模型作为具身视频生成评判者的表现，并给出可复用的训练数据与微调方案。
arXiv · cs.RO精选AI 评分6464 AIM：通过动作影响力最大化训练可控世界模型
论文提出 Action Influence Maximization（AIM）算法，主动采集训练数据以提升数据集的动作影响力，从而改善动作条件世界模型对指令的响应。
推荐理由：论文把动作条件视频模型忽略指令归因于训练数据的动作影响力上限，并给出主动采数据的改进方法，可用于理解世界模型可控性。
arXiv · cs.RO精选AI 评分7575 Ropedia W0 发布跨本体移动操作世界模型，基于人类经验数据
Ropedia W0 是作者提出的第一视角移动操作世界基础模型，覆盖人类与多种机器人本体。其 Xp-Data 包含 1 万小时第一视角人类数据和 3 千小时机器人数据，并配有统一多模态标注；模型用相机位姿编码移动、用投影骨架编码操作。
推荐理由：该工作构建跨人类与机器人的第一视角移动操作世界模型，并公开数据规模与五项基准评测结果，可供比较世界模型路线。
arXiv · cs.RO精选AI 评分6565 PICA-WAM：用跨外观自对齐提升世界动作模型的视觉扰动不变性
PICA-WAM 提出一种自监督训练框架，把视觉扰动不变性作为世界动作模型（WAM）的辅助跨外观自对齐任务。方法用指数滑动平均（EMA）教师处理原始观测并提供更深层目标，在线 WAM 处理受扰动观测，通过轻量投影头将较浅层动作表示对齐到该目标。
推荐理由：论文指出世界动作模型对任务无关视觉扰动敏感的训练缺口，并给出可迁移的自监督对齐方法。
arXiv · cs.RO精选AI 评分6060 PIA：用仿真先验加速基于模型强化学习适应的自动驾驶赛车研究
论文提出 Prior-Informed Adaptation（PIA），一个离线到在线的基于模型强化学习框架，先在高保真与低保真仿真轨迹上预训练世界模型，再用不确定性正则化规划在目标域少量交互中完成适应。
推荐理由：论文提出用仿真轨迹作为有偏先验、在线校正残差的世界模型强化学习框架，并在真实赛车实机验证少样本适应。
arXiv · cs.RO精选AI 评分7171 TrajWAM：面向动态机器人操作的高效轨迹引导世界动作模型
TrajWAM 提出一种轨迹引导的世界动作模型，用于高效的动态机器人操作。该方法用历史物体掩码预测目标未来轨迹，再通过轻量 Trajectory ControlNet 引导预训练视频模型生成轨迹一致未来，并用解耦蒸馏实现一步视频-动作推理。
推荐理由：论文把未来视觉预测锚定到目标物体轨迹上，并给出一步推理的解耦蒸馏方案，可供动态操作研究比较。
arXiv · cs.RO精选AI 评分7171 ScaleNav：用互联网视频预训练语言条件局部导航策略
浙江大学等团队提出 ScaleNav，一个面向语言条件局部导航的世界-动作统一框架，先用互联网第一视角视频做指令条件视频预训练，再用带动作标注的仿真数据对齐动作块，最后联合微调。
推荐理由：论文用互联网第一视角视频预训练视觉动态，再对齐仿真动作，为语言条件局部导航提供可迁移的三阶段训练思路。