研究诊断推理VLA的文本与动作背离并提出TNAS引导方法

研究提出文本中性动作子空间（TNAS）诊断方法，发现视觉扰动可在生成理由逐字不变的情况下改变推理VLA的物理动作。在Alpamayo驾驶模型和InstructVLA操作模型上，局部最动作敏感方向与文本损失梯度近乎正交，范数重叠仅1.87%和5.28%；在相同隐状态扰动范数下，沿该方向的干预对动作的偏移是文本梯度扰动的4.64倍至47.8倍。在Alpamayo的154个带障碍物标注驾驶场景中，TNAS引导攻击在整图扰动下52.6%的场景于理由逐字不变时引发新碰撞，局部前视相机补丁下为35.1%，未引导动作攻击为4.55%。