ActionFlow：边缘VLA推理提速2.55倍

Yuntao Dai等作者提出系统级推理框架 ActionFlow，用于降低视觉-语言-动作模型（VLA）在资源受限边缘平台上的推理延迟。作者称，在 OpenVLA-7B 模型上，该框架无需重新训练即可将 FPS 提升 2.55 倍，从而在边缘硬件上支持实时动态操作。 作者给出的背景是：平滑的机器人交互需要 20–30 Hz 的控制频率，而现有 VLA 模型在边缘设备上通常只有 3–5 Hz，瓶颈在于自回归解码受内存带宽限制；已有优化往往需要大量重训练或牺牲精度。ActionFlow 的做法是把 VLA 推理重构为微请求的宏流水线，将内存受限的 Decode 阶段与计算受限的 Prefill 阶段跨连续时间步批处理，并配套跨请求状态打包前向算子和统一 KV 环形缓冲区。 上述 2.55 倍加速与实时操作效果均为作者在论文中报告的结果，尚待独立验证。该工作已被 DAC 2026 接收。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。