LoopQ基准：VLA量化评测闭环

Syed Umer Bukhari、Magnus Almgren 与 Ahmed Ali-Eldin 发布闭环基准 LoopQ，在同一检查点、层和引擎上只改变量化方法与内核，比较 RTN、AWQ、GPTQ、ActQuant 和 QuantVLA 五种 VLA 后训练量化方法。作者称在四个 VLA 上覆盖 LIBERO 与 LIBERO-plus 超过 18 万条 episode，并在 NVIDIA H100、L4 和 Jetson AGX Thor 上测试，同时核查四个公开 VLA 量化发布能否复现。 作者报告量化可稳定节省内存，真实低比特模型为 2-3 倍。但延迟收益并不普遍：在 H100 上 batch 1 时，没有量化后的 pi0.5 或 OpenVLA-OFT 配置快于其 16 位模型，反而慢 1.06-1.58 倍；只有 L4 配 int8 内核有 4-14% 提升，Thor 上所有 4 位配置都更慢，仅更换引擎就使延迟变化 2.1 倍。 评测方法上，作者称标准 LIBERO 会掩盖实际损失：在 LIBERO 上无显著损失的配置，在配对的 LIBERO-plus 扰动下会掉 1.5-4.3 分。该工作为 arXiv 预印本，结论尚未经同行评议。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。