跳到正文
具身前沿

技术方向

世界模型 最新动态

与机器人感知、决策和物理交互直接相关的世界模型进展

67 条精选近 30 天 66 条共收录 105 条

更新

精选归档 · 第 4 页

10月20日周二第 61–67 条
  1. arXiv · cs.RO官方发布65

    PICA-WAM:用跨外观自对齐提升世界动作模型的视觉扰动不变性

    PICA-WAM 提出一种自监督训练框架,把视觉扰动不变性作为世界动作模型(WAM)的辅助跨外观自对齐任务。方法用指数滑动平均(EMA)教师处理原始观测并提供更深层目标,在线 WAM 处理受扰动观测,通过轻量投影头将较浅层动作表示对齐到该目标。

    推荐理由:论文指出世界动作模型对任务无关视觉扰动敏感的训练缺口,并给出可迁移的自监督对齐方法。

  2. arXiv · cs.RO官方发布60

    PIA:用仿真先验加速基于模型强化学习适应的自动驾驶赛车研究

    论文提出 Prior-Informed Adaptation(PIA),一个离线到在线的基于模型强化学习框架,先在高保真与低保真仿真轨迹上预训练世界模型,再用不确定性正则化规划在目标域少量交互中完成适应。

    推荐理由:论文提出用仿真轨迹作为有偏先验、在线校正残差的世界模型强化学习框架,并在真实赛车实机验证少样本适应。

10月19日周一
  1. arXiv · cs.RO官方发布71

    TrajWAM:面向动态机器人操作的高效轨迹引导世界动作模型

    TrajWAM 提出一种轨迹引导的世界动作模型,用于高效的动态机器人操作。该方法用历史物体掩码预测目标未来轨迹,再通过轻量 Trajectory ControlNet 引导预训练视频模型生成轨迹一致未来,并用解耦蒸馏实现一步视频-动作推理。

    推荐理由:论文把未来视觉预测锚定到目标物体轨迹上,并给出一步推理的解耦蒸馏方案,可供动态操作研究比较。

  2. arXiv · cs.RO官方发布71

    ScaleNav:用互联网视频预训练语言条件局部导航策略

    浙江大学等团队提出 ScaleNav,一个面向语言条件局部导航的世界-动作统一框架,先用互联网第一视角视频做指令条件视频预训练,再用带动作标注的仿真数据对齐动作块,最后联合微调。

    推荐理由:论文用互联网第一视角视频预训练视觉动态,再对齐仿真动作,为语言条件局部导航提供可迁移的三阶段训练思路。

  3. arXiv · cs.RO官方发布75

    VQ-WM:用向量量化世界模型做机器人操作潜空间反馈运动规划

    作者提出向量量化世界模型 VQ-WM,将离散潜空间长程搜索与连续视觉反馈控制结合,用于机器人操作规划。该方法用首达时间的准度量估计替代欧氏距离,使规划抽象与控制器能力对齐。在汉诺塔实机操作中,该方法仅用短演示数据即达到 100% 成功率,并在操作与运动仿真基准上比最强世界模型高出 13.3 至 85.3 个百分点。

    推荐理由:论文把离散潜空间搜索与连续视觉反馈控制结合,并用首达时间估计对齐规划与控制器能力,为长程操作提供可迁移方法。

10月18日周日
  1. arXiv · cs.RO官方发布67

    研究提出 NGC:潜世界模型应沿潜流形距离规划

    针对 LeWM 等潜世界模型用欧氏距离搜索动作序列的做法,作者发现该假设只在目标附近成立,远处 L2 代价会形成虚假低代价盆地困住规划器。作者据此提出 Neighborhood Graph Cost(NGC),在训练潜变量构建的互近邻图上计算最短路径距离,只改终端代价且无需重训。

    推荐理由:研究指出 LeWM 的欧氏终端代价只在目标附近成立,提出沿潜流形测距的 NGC 方法,为潜空间世界模型的规划代价设计提供可迁移思路。

7月27日周一
  1. Hugging Face · 机器人与开源研究官方发布82

    NVIDIA 发布 Cosmos-H-Dreams 实时生成式手术机器人模拟器

    NVIDIA 发布 Cosmos-H-Dreams,一个面向手术机器人的实时、动作条件生成式模拟器,将 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型,并通过 FlashDreams 推理库在单张 NVIDIA RTX PRO 6000 上运行。

    推荐理由:NVIDIA 把手术世界模型蒸馏成实时闭环模拟器,给出从约10帧到约160帧的推理提速路径。