OpenNWM：用潜动作预训练的通用导航世界模型

OpenNWM 是一个通用导航世界模型，通过潜动作预训练缓解动作标注数据不足对真实环境泛化的限制。它先从大规模无动作视频中经视觉预测预训练学习通用潜动作，再用动作条件后训练将其与物理运动对齐。为支持视频预训练，作者构建了 NavAnywhere 数据集，包含来自15个异构来源的1750万条视觉观测，覆盖地面机器人、人类和无人机，横跨住宅区、公共与商业空间、城市场景、公园和自然景观五类场景。实验显示，模型在域内和域外基准上的视觉预测以及导航性能均有提升，作者据此认为潜动作预训练能让多样无动作视频改善开放世界导航的动力学学习与泛化。该工作为 arXiv 预印本，尚未经同行评议。