WorldOracle 开放动作条件世界模型评测基准

普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA 与智元机器人联合推出动作条件世界模型评测基准 WorldOracle，并于 10 月 16 日向开发者开放。该基准用同一初始观测和同一动作序列，把模型预测与真实执行逐帧对照评分。 团队用该基准评测了七款代表性模型，包括 DreamDojo、Cosmos 3、IRASim 和 GE-Sim 2.0，并指出两个突出问题。在人工操作的 AgiBot G2 数据上，全部五款受测模型在机械臂上的得分都高于在物体上的得分。 基准覆盖 AgiBot G2 和 YAM 两种机器人本体，以及第一人称人手操作场景。各本体的训练支持不同：AgiBot G2 模型使用基准专用训练集，YAM 模型使用公开数据，人手场景为零样本评测。

AI 根据报道生成 · 7 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。