在视觉-语言-动作模型配对评估中核验测试状态一致性

Verifying Test-State Identity in Paired Evaluation of Vision-Language-Action Models

AI 导读 · 根据来源整理

针对仿真VLA评估中相同任务、种子和回合ID未必代表相同测试状态的问题，研究提出包含不变量I1-I5、来源日志、可选场景指纹与自动检查器的评估完整性框架，并在LeRobot 0.6.1 LIBERO测试环境中用仿真控制器开展受控研究。四类证据分开呈现：混合视界Sync wave-1 ID为[20, 5, 22, 7]对[4, 5, 6, 7]；同质独立任务Sync对照16个单元、0处ID/指纹不匹配；Async+Freeze批大小映射出现12处I3不匹配且bs=8不完整、机制未隔离；McNemar仅为合成示例。