研究用极低参数适配器对VLA模型进行行为引导

Behavioral Steering of Vision-Language-Action Models in the Low-Parameter Regime

AI 导读 · 根据来源整理

研究考察视觉-语言-动作模型的行为引导问题，即把VLA的执行风格调整为诸如更高抬举物体等偏好。作者冻结OpenVLA-OFT 7B策略，仅优化含8至384个可训练参数的TinyLoRA适配器，方法包括策略梯度强化学习GRPO与进化搜索CMA-ES。仅用256个可训练参数时，训练任务上的抬举高度提升120毫米、成功率92%，留出任务上提升74毫米、成功率80%。通过缩放学到的更新量，可在不重新训练的情况下调节风格收益与预训练能力保留之间的权衡；增大适配器容量通常能改善这一权衡。