研究：VLA 全权重微调缺少 fp32 主副本会静默抹掉大部分更新

Full-Weight VLA Fine-Tuning Without an fp32 Master Copy Silently Erases Most Updates

AI 导读 · 根据来源整理

一项 arXiv 预印本研究指出，VLA 模型以 bf16 训练且无 fp32 主副本时，AdamW 会把小于权重 1/512 的更新直接舍入掉；12 个开源 VLA 代码库中有 9 个默认或文档配方这样训练，包括 LeRobot 的 SmolVLA 默认配置及其 π0/π0.5 指南。