跳到正文
具身前沿
arXiv · cs.RO官方发布· Muhammad Danish Waseem, Ahmed Ali-Eldin Hassan·· 2 小时前精选AI 评分60

论文 / 摘要阅读

VLA 推理时间花在哪:跨 GPU 的瓶颈与优化交互测量研究

Where Is VLA Inference Time Spent? Bottlenecks and Optimization Interactions Across GPUs

AI 导读 · 根据来源整理

该预印本对 VLA 推理优化做了一次系统性测量研究,覆盖 CUDA graphs、编译、token 剪枝与量化等七类优化方法,在七种当前 VLA 模型和四类 GPU(从数据中心 H100 到嵌入式 Jetson Thor)上评估。作者指出,以往优化结果多只在单一 GPU 类型和少数 VLA 模型上报告,缺少对特定硬件上真实瓶颈及优化泛化性的分析。研究分析了 CPU 启动开销、内存带宽与内核效率如何共同塑造优化收益,以及一种方法如何改变另一种方法的收益,并据此提出 VLA-Triage 指南,用于在延迟预算下叠加优化,指出哪些阶段能提供所需节省、哪些组合需在部署执行模式下测试。

本站目前提供摘要

以上是对来源材料的中文整理,不是完整论文或全文。研究方法、数据与完整论述请到来源页面核对。

前往 arXiv · cs.RO 阅读原文 ↗

来源:arXiv · cs.RO · arxiv.org