3D World Simulator：混合粒子-体素动力学实现多模态三维世界仿真

作者提出 3D World Simulator，一个动作条件多模态世界建模框架，从统一三维表示中联合预测外观、几何与触觉观测。方法上，混合粒子-体素自编码器把点云压缩为紧凑三维体素潜变量，再由动作条件潜动力学模型预测其演化，共享表示支持任意视角的几何一致渲染和空间对齐触觉信号的接入。实验展示了 50 Hz 的交互式长时程多模态预测，并用于生成触觉与多视角视觉数据以训练和评估策略，包括腕部相机和新视角；作者还将方法扩展到包含多样物体的大规模数据集，并用未见过的物体和机器人构型做基于模型的规划。该工作为预印本，结果来自作者自述实验。