研究：具身VLM是否真正使用场景图记忆，图替换测试给出诊断

该预印本研究提出图替换测试，用于判断具身视觉语言模型是否真正依赖场景图记忆：给每个回合换成另一回合的场景图，统计答案变化数量。在包含2至7个房间路线的具身问答基准上，作者比较了向微调VLM提供场景图记忆的不同方式。以文本形式输入时记忆被强烈使用，路线问题提升30分；以图形式输入时则未被有效使用，原因是编码器虽保留信息，但标准池化与晚期融合丢弃了这些信息。为每个节点分配独立输入token可找回部分信息，路线问题提升8.3分，且替换测试确认该增益来自图。测试还暴露出准确率掩盖的捷径：当相同事实出现在文本中时，模型会忽略其图。