DreamFree:免生成未来视频的世界动作模型
热点事件持续更新
DreamFree:免生成未来视频的世界动作模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Jaehyeong Jo 等作者在 arXiv 预印本(arXiv:2611.04527)中提出世界动作模型 DreamFree:通过表征蒸馏把预训练视频扩散模型改造成预测性视觉编码器,仅用当前观测预测冻结视频扩散模型的表征,再由动作模块提取动作信息,从而不生成未来视频即可预测动作。 作者称,在真实世界和仿真任务中,DreamFree 的成功率高于当前先进的 VLA 和 WAM,并在 14B 视频扩散骨干上以 11Hz 实现实时闭环控制。作者还称,更强的视频先验和额外视频数据可转化为更好的机器人控制,并能从视频演示中学习新机器人任务,包括来自不同本体的视频,且新任务无需动作标注。 上述结果均为作者自述,论文为预印本,尚未经同行评议或独立验证;成功率的具体任务数、试验次数与分母未在摘要中给出。
AI 根据报道生成 · 1 小时前更新
最新进展11月4日 13:00
DreamFree:用表征蒸馏让世界动作模型免于想象未来视频报道时间线
沿着报道,了解事件的不同侧面。
11月4日
- arXiv · cs.RO精选DreamFree:用表征蒸馏让世界动作模型免于想象未来视频
DreamFree 是一种世界动作模型(WAM),通过表征蒸馏把预训练视频扩散模型改造成预测性视觉编码器,仅用当前观测即可预测冻结视频扩散模型的表征,再由动作模块提取动作相关信息,从而无需生成未来视频就能预测动作。作者称在真实世界和仿真任务中,DreamFree 的成功率高于当前先进的 VLA 和 WAM,并在 14B 视频扩散骨干上以 11Hz 实现实时闭环控制。实验还显示,更强的视频先验和额外视频数据可转化为更好的机器人控制,并能从视频演示中学习新机器人任务,包括来自不同本体的视频,且新任务无需动作标注。该论文为 arXiv 预印本(arXiv:2611.04527)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。