DreamX：用视频扩散模型学习通用潜在动作

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器，从视频模型的时空特征中提取紧凑潜在动作，把每帧潜在视频从 1200 个 token 压缩到 4 个，压缩约 300 倍。借助视频模型的生成先验，这些潜在动作能捕捉与视觉外观解耦的动作相关动态，形成跨本体（人与机器人）、跨环境和跨动作参数化的共享动作接口。在 LARY-Bench 上，DreamX 在潜在动作模型中取得最优性能；同一设置下编码的动作在另一设置中仍然有效，支持任意到任意的视频迁移以及跨多种本体和环境的零样本动作迁移。