arXiv · cs.RO· Shubh Garg, Divyansh Pandey, Niyati Rawal, Vedant Khandelwal, Amit Sheth·· 7 小时前精选AI 评分67
论文 / 摘要阅读
具身问答证据审计基准:闭环智能体未到达目标仍答对45.5%
Answering Without Arriving: An Evidence Audit for Embodied Question Answering
AI 导读 · 根据来源整理
作者提出一个多房间具身问答基准,200 个测试回合、800 个问题按路径范围分层,并设计评测阶梯:问题固定不变,只改变提供给答题方的证据,从纯文本探针、闭环智能体到参考轨迹回放。问题由房间、可见物体和帧的符号记录生成,每个答案都可追溯到支撑它的观察。结果显示,闭环视觉语言智能体在 200 个回合中未到达任何目标,却答对 45.5% 的问题,与同一模型不给图像时相差 0.1 个百分点以内;回放参考轨迹后同一模型升至 57.4%,说明证据存在于路径上但未被采集。
本站目前提供摘要
以上是对来源材料的中文整理,不是完整论文或全文。研究方法、数据与完整论述请到来源页面核对。
前往 arXiv · cs.RO 阅读原文 ↗来源:arXiv · cs.RO · arxiv.org