WorldFlow预训练世界模型联合预测视频与3D轨迹

WorldFlow作者团队提出生成式世界模型WorldFlow，将3D运动表示为与视频网格对齐的连续位移token，用统一的Mixture-of-Transformers骨干在rectified-flow目标下同时去噪视频和基于查询的3D轨迹，从而联合预测未来视频与3D轨迹。 作者称，模型在覆盖仿真与真实域的144万条对象级样本混合数据上训练，并构建了WorldFlowBench，含来自11个数据源的1678个评估样本，涵盖空间推理任务。作者称，在三个评估集上，WorldFlow在参评的基于学习的方法中平均位移误差（ADE）和最终位移误差（FDE）最低；在SpatialCog集上ADE为0.060 m，较最强外部基线降低54.2%。 上述结果来自arXiv预印本，尚未经同行评议，也未报告实机部署验证。

AI 根据报道生成 · 4 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。