arXiv · cs.RO官方发布· Asher James Hancock, Boyi Li, Yuxiao Chen, Shuhan Tan, Wenhao Ding, Thomas Tian, Yan Wang, Boris Ivanovic, Marco Pavone·· 2 小时前精选AI 评分62
论文 / 摘要阅读
论文比较 VLA 中动作专家是否应回传梯度训练 VLM
Should the Action Expert Train the VLM? Action-Token Supervision and Gradient Routing in Mixture-of-Transformer VLAs
AI 导读 · 根据来源整理
论文研究 VLA 训练中动作专家是否应向 VLM 回传梯度，以及动作 token 监督如何影响这一选择。作者在自动驾驶与操作任务中分别改变动作 token 监督和专家损失是否更新 VLM：开环驾驶中，有动作 token 监督时梯度隔离与耦合表现相当，无监督时耦合将轨迹预测误差降低约 25%。两个组件从训练初期联合训练时，耦合在有动作 token 监督下使闭环驾驶路线进度提升约 17%，无监督时提升约 40%，在两种设置下也类似改善机器人操作表现。作者据此认为梯度隔离的价值取决于 VLM 的动作监督与评测设置，对将其作为默认训练配方提出质疑。
本站目前提供摘要
以上是对来源材料的中文整理，不是完整论文或全文。研究方法、数据与完整论述请到来源页面核对。
前往 arXiv · cs.RO 阅读原文 ↗来源：arXiv · cs.RO · arxiv.org