论文 / 摘要阅读
VLA 推理时间花在哪:跨 GPU 的瓶颈与优化交互测量研究
Where Is VLA Inference Time Spent? Bottlenecks and Optimization Interactions Across GPUs
AI 导读 · 根据来源整理
该预印本对 VLA 推理优化做了一次系统性测量研究,覆盖 CUDA graphs、编译、token 剪枝与量化等七类优化方法,在七种当前 VLA 模型和四类 GPU(从数据中心 H100 到嵌入式 Jetson Thor)上评估。作者指出,以往优化结果多只在单一 GPU 类型和少数 VLA 模型上报告,缺少对特定硬件上真实瓶颈及优化泛化性的分析。研究分析了 CPU 启动开销、内存带宽与内核效率如何共同塑造优化收益,以及一种方法如何改变另一种方法的收益,并据此提出 VLA-Triage 指南,用于在延迟预算下叠加优化,指出哪些阶段能提供所需节省、哪些组合需在部署执行模式下测试。
本站目前提供摘要
以上是对来源材料的中文整理,不是完整论文或全文。研究方法、数据与完整论述请到来源页面核对。
前往 arXiv · cs.RO 阅读原文 ↗来源:arXiv · cs.RO · arxiv.org