作者提出混合粒子-体素多模态3D世界模拟器

Jimmy Wang等作者在arXiv预印本中提出3D World Simulator，一个动作条件多模态世界建模框架，从统一三维表示中联合预测外观、几何与触觉观测。方法是用混合粒子-体素自编码器把点云压缩为三维体素潜变量，再由动作条件潜动力学模型预测其演化，共享表示支持任意视角的几何一致渲染和空间对齐触觉信号的接入。 作者称实验展示了50 Hz的交互式长时程多模态预测，并用于生成触觉与多视角视觉数据以训练和评估策略，包括腕部相机和新视角；还将方法扩展到包含多样物体的大规模数据集，并用未见过的物体和机器人构型做基于模型的规划。 该工作为预印本，尚未经同行评议，上述结果均来自作者自述实验，未给出独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。