OpenNWM用无动作视频预训练通用导航世界模型

Dujun Nie等作者在 arXiv 发布预印本，提出通用导航世界模型 OpenNWM：先从大规模无动作视频中通过视觉预测预训练学习通用潜动作，再用动作条件后训练将其与物理运动对齐，以缓解动作标注数据不足对真实环境泛化的限制。作者称实验显示，模型在域内和域外基准上的视觉预测以及导航性能均有提升，据此认为潜动作预训练能让多样无动作视频改善开放世界导航的动力学学习与泛化。 为支持视频预训练，作者构建 NavAnywhere 数据集，包含来自15个异构来源的1750万条视觉观测，覆盖地面机器人、人类和无人机，横跨住宅区、公共与商业空间、城市场景、公园和自然景观五类场景。该工作尚未经同行评议。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。