arXiv · cs.RO· Haitang Feng, Zhuoman Liu, Zhennan Wang, Sheng Wang, Juelin Li, Chengzhi Zhao, Hexiang Wei, Lin Shao·· 2 天前AI 评分58
论文 / 摘要阅读
GenSight：统一视频生成与4D感知的具身世界模型
Seeing and Imagining as One: Unified Video Generation and 4D Perception for Embodied World Modeling
AI 导读 · 根据来源整理
GenSight 是一个统一的具身世界模型，把未来视频生成与稠密感知放进同一个预训练视频扩散 Transformer。它用统一的时空表示覆盖视频、深度、具身分割和相对首帧的 2D 光流，在共享 DiT 主干上通过轻量任务调制预测各模态，并在统一速度预测空间中联合优化。推理时支持多步未来视频生成并给出对齐的稠密预测，以及从观测视频做单步稠密感知；训练数据涵盖多种机器人本体与人类手部交互。
本站目前提供摘要
以上是对来源材料的中文整理，不是完整论文或全文。研究方法、数据与完整论述请到来源页面核对。
前往 arXiv · cs.RO 阅读原文 ↗来源：arXiv · cs.RO · arxiv.org