多房间具身问答基准：闭环智能体未达目标仍答对45.5%

Shubh Garg等作者在arXiv发布一个多房间具身问答证据审计基准：200个测试回合、800个问题按路径范围分层，问题固定不变，只改变提供给答题方的证据，从纯文本探针、闭环智能体到参考轨迹回放。作者称，闭环视觉语言智能体在200个回合中未到达任何目标，却答对45.5%的问题，与同一模型不给图像时相差不到0.1个百分点；回放参考轨迹后同一模型升至57.4%，说明证据存在于路径上但未被采集。 作者还称，八类问题中有四类基本可仅凭文本作答，有一类引用的帧无法支撑其自身答案；oracle条件在Rooms-visited上通过计入所提供图像达到59.5%。该基准的问题由房间、可见物体和帧的符号记录生成，每个答案可追溯到支撑它的观察。上述结果来自预印本，未经同行评议。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。