跳到正文
具身前沿
热点事件持续更新

研究:VLA动作专家回传梯度并非总有益

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Asher James Hancock等作者在arXiv发表预印本论文,在自动驾驶与机器人操作任务中分别改变动作token监督和动作专家损失是否更新VLM,以分离两者的独立影响。作者称,开环驾驶中,有动作token监督时梯度隔离与耦合表现相当;无监督时耦合将轨迹预测误差降低约25%。两个组件从训练初期联合训练时,耦合在有监督下使闭环驾驶路线进度提升约17%,无监督下提升约40%,两种设置下也类似改善机器人操作表现。 作者据此认为,梯度隔离的价值取决于VLM的动作监督与评测设置,并质疑将其作为默认训练配方。该论文为预印本,尚未经同行评议。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv · cs.RO精选
    论文比较 VLA 中动作专家是否应回传梯度训练 VLM

    论文研究 VLA 训练中动作专家是否应向 VLM 回传梯度,以及动作 token 监督如何影响这一选择。作者在自动驾驶与操作任务中分别改变动作 token 监督和专家损失是否更新 VLM:开环驾驶中,有动作 token 监督时梯度隔离与耦合表现相当,无监督时耦合将轨迹预测误差降低约 25%。两个组件从训练初期联合训练时,耦合在有动作 token 监督下使闭环驾驶路线进度提升约 17%,无监督时提升约 40%,在两种设置下也类似改善机器人操作表现。作者据此认为梯度隔离的价值取决于 VLM 的动作监督与评测设置,对将其作为默认训练配方提出质疑。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。