图交换测试检验具身VLM是否使用场景图记忆

Shubh Garg 等作者在一篇预印本中提出“图交换测试”：把每个回合的场景图换成另一回合的图，统计有多少答案随之改变，以此判断具身视觉语言模型是否真正依赖场景图记忆。 在路线经过 2 至 7 个房间的具身问答基准上，作者比较了向微调 VLM 提供场景图记忆的不同方式：以文本形式输入时，记忆被强烈使用，路线问题提升 30 分；以图形式输入时则未被有效使用，作者称原因是编码器虽保留信息，但标准池化与晚期融合将其丢弃。为每个节点分配独立输入 token 可找回部分信息，路线问题提升 8.3 分，且替换测试确认该增益来自图。 测试还暴露出准确率掩盖的捷径：当相同事实出现在文本中时，模型会忽略其图。该研究为预印本，尚未经同行评议。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。