DreamX 将视频扩散模型改造为通用潜在动作学习器

Jisoo Kim 等作者提出 DreamX，将预训练视频扩散模型改造为通用潜在动作学习器：从视频模型的时空特征中提取紧凑潜在动作，把每帧潜在视频从 1200 个 token 压缩到 4 个，压缩约 300 倍。作者称，借助视频模型的生成先验，这些潜在动作能捕捉与视觉外观解耦的动作相关动态，形成跨本体（人与机器人）、跨环境和跨动作参数化的共享动作接口。 作者称，在 LARY-Bench 上，DreamX 在潜在动作模型中取得最优性能；同一设置下编码的动作在另一设置中仍然有效，支持任意到任意的视频迁移，以及跨多种本体和环境的零样本动作迁移。作者还称，该共享接口可在紧凑潜在动作空间中进行策略学习，降低基于视频扩散的策略的计算成本。上述结果来自 arXiv 预印本，尚未经同行评议或独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。