SACQ提出超低比特VLA权重量化框架

Haesung Lee、Insu Han 提出 SACQ，一个面向视觉-语言-动作（VLA）模型的超低比特权重量化框架，针对从大语言模型沿用的训练后量化在 VLA 超低精度下退化的问题。方法包括：结合输入统计与下游敏感度的角色特定二次度量做结构感知码本拟合；按逐层压缩带来的最终动作误差增量做动作感知混合比特分配；以及带二阶误差补偿的码字索引重分配和面向解码动作的码本与行组尺度校准两阶段精修。 作者称，在 GR00T N1.7 上，语言/动作权重为 1.5 比特时，四个 LIBERO 套件平均成功率 93.85%，模型内存减少 4.83 倍；叠加 INT8 激活量化和低精度注意力后，成功率保持 93.55%，运行速度比 BF16 快 1.51 倍。在 SimplER 上，语言/动作权重 2 比特时，Visual Matching 和 Variant Aggregation 成功率分别为 63.76% 和 52.27%，BF16 对应为 58.90% 和 53.45%。上述结果出自 arXiv 预印本，尚未经同行评议或独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。