SimuGuard审计仿真基准接触伪影

Alex Zhou等作者提出审计插件SimuGuard，用于检测LIBERO、RoboTwin、RoboCasa和RoboDojo四个仿真机器人基准中的接触伪影。作者称，在仿真中测试一个视觉语言动作模型和一个世界动作模型时，策略放置物体后模拟器会将其弹出，基准自带的脚本演示也出现同样问题，因此部分失败源于模拟器而非策略。SimuGuard在每个物理步记录状态，标记接触瞬间异常加速的物体，支持逐位重放和单参数重跑，且不改变原有评测。 在RoboTwin上，作者将问题追溯到物理引擎碰撞检测：相距一到两厘米的几何体被报告约两厘米穿透，求解器以数米每秒抛出物体，原因是距离算法丢弃低于固定面积阈值的三角形。作者称，只改这一常数后，每100个回合中出现伪影的回合从12个降至0，五个容器任务成功率从89%升至98%。 对于无法修改引擎的情况，作者建议在报告中同时给出成功率区间：若所有被标记回合均失败或均通过，LingBot-VA报告值83.1%对应区间为75.8%至98.5%。作者还建议，在PhysX 5.3.1或更早版本上运行的基准应在修复后的引擎中重跑。上述结果来自预印本，尚未经同行评议。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。