GenSight提出统一视频生成与4D感知的世界模型

论文作者提出 GenSight，一个统一的具身世界模型，把未来视频生成与稠密感知放进同一个预训练视频扩散 Transformer。模型用统一的时空表示覆盖视频、深度、具身分割和相对首帧的 2D 光流，在共享 DiT 主干上通过轻量任务调制预测各模态，并在统一速度预测空间中联合优化。 推理时，GenSight 支持多步未来视频生成并给出对齐的稠密预测，也能从观测视频做单步稠密感知。作者称，模型在涵盖多种机器人本体与人类手部交互的具身操作数据上训练，在视频生成和稠密 4D 感知两方面均表现良好，并将此归因于统一“看”与“想象”。该工作以 arXiv cs.RO 预印本形式发布，尚未经同行评议，效果未经独立验证。

AI 根据报道生成 · 4 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。