RoboSeed 提出 VLA 与世界动作模型的多维评估框架
RoboSeed 提出面向视觉-语言-动作模型（VLA）和世界动作模型（WAM）的多维评估框架，覆盖能力、下游训练成本、部署成本、本地验证的研究价值与复现证据五个维度。
NEWS / 动态
#评测/基准
按时间浏览，使用右上角筛选切换领域。
arXiv · cs.ROAI 评分5555
The Robot Report精选AI 评分7878 
WorldOracle 发布动作条件世界模型基准，对照真实执行评测七款模型
普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA 与智元机器人联合推出 WorldOracle，用同一初始观测和同一动作序列把动作条件世界模型的预测与真实执行逐帧对照评分。
推荐理由：WorldOracle 用同一初始帧与动作序列对照真实执行，给出七款世界模型的分解评分与长时程退化数据。
arXiv · cs.ROAI 评分5858 论文发现更多规划反而有害：面向世界模型的学习型规划器对比
Josef Chen 的预印本在 PushT 上比较面向世界模型的学习型规划器，其固定动作更新器（1,505 参数）在预留的 16 个场景中解出 8 个，总规划与编码耗时 59.079s。
arXiv · cs.RO精选AI 评分6060 PhysLadder 发布分层仿真-实机匹配基准，测试 GPT-6 Astra 接触密集操作能力
研究团队提出 PhysLadder，一个用于评估接触密集操作物理交互能力的分层仿真-实机匹配基准，包含 16 项家务任务，分为接触选择与几何对齐（L1）、持续接触下的力调节（L2）、接触重构与力调节协同（L3）三个累积层级。
推荐理由：PhysLadder 用仿真与实机匹配的 16 项家务任务分层测试接触密集操作，给出 GPT-6 Astra 逐级成功率，可作为比较模型物理交互边界的基准参考。
arXiv · cs.RO精选AI 评分6363 EAST：通过数字孪生系统化故障注入测试具身AI安全性
EAST 是一个数字孪生框架，把有文献依据的安全证据转化为覆盖感知、指令、环境、动作和时序的故障注入测试，并配有专家评审的安全故障分类和八个可执行算子。
推荐理由：该预印本提出把安全证据转成可执行故障注入测试的数字孪生框架，并给出在六项操作任务上的覆盖与有效性数据。
arXiv · cs.ROAI 评分5858 研究发现执行日志文本会左右 VLM 对机器人进度的评判
研究显示，在机器人进度受挫的视频片段旁加入一行声称机器人正在推进的日志文本，会让 Gemini、Qwen 和 GPT 三类评判模型把正确判定翻转为“有进展”的比例比中性文本高出 10 到 35 个百分点。加入一句日志可能有误的提醒可消除大部分影响；伪造的“任务完成”声明能让 Qwen 一半的正确判定翻转，而对无关日志仅为十分之一，对 Gemini 则无可检测影响。
arXiv · cs.RO精选AI 评分6060 RoboWorM：评估具身视频世界模型的运动真实性、一致性与加速影响
RoboWorM 是一个面向部署的视频世界模型基准，利用机器人运动学树和固定相机配置等硬件先验，系统考察结构与时空保真度。该基准汇集单臂、双臂和人形形态的 1,605 条 episode，覆盖单视角与多视角下的马尔可夫及长时程非马尔可夫任务。
推荐理由：该预印本提出面向机器人视频世界模型的部署感知基准，并给出不依赖VLM的运动学与多视角几何一致性指标。
arXiv · cs.RO精选AI 评分7575 RoboJev-27B 开源机器人操作成功检测视觉语言裁判模型
RoboJev-27B 是一个开放权重的视觉语言模型，输入任务指令与 10 帧操作画面，预测机器人是否完成任务。它在同型号 SO-101 的 268 个留出回合上取得 95.2% 平衡准确率和 0.993 AUROC，在未见实验室/机器人采集的 459 个回合上 AUROC 为 0.890。
推荐理由：RoboJev-27B 给出机器人操作成功检测的开放权重模型与完整评测记录，可用于比较不同成功判定方案。
arXiv · cs.RO精选AI 评分6262 WorldFailBench 发布：评测世界模型能否理解机器人策略失败
研究团队提出 WorldFailBench，用于检验世界模型能否忠实模拟机器人策略的失败方式与失败阶段。该基准包含失败原因、失败阶段和失败边界三项测试，覆盖 LIBERO 与 RoboTwin 仿真环境中的操作任务，以及 G1 人形机器人在真实世界执行的操作任务。对七个世界模型的实验显示，它们在理解策略失败方面存在明显差距。
推荐理由：该基准把世界模型对策略失败的模拟拆成失败原因、失败阶段与失败边界三项测试，可用于比较其作为策略评估器的可靠性。
arXiv · cs.ROAI 评分4848 CEMIR 与 FISER 对比研究：基于推理与基于增强的语用意图识别方法
一项对比诊断研究在 HandMeThat v2 基准上评测了结构化社交与具身推理框架 FISER 与多模态增强方法 CEMIR，覆盖从 Qwen2.5-Omni-3B 到 GPT-5 的四款大模型。经多重比较校正的统计分析显示，两者在全部十六组模型与难度组合上均无统计显著差异，针对性消融亦如此，性能主要与骨干模型能力和歧义固有难度相关。
arXiv · cs.RO精选AI 评分6060 RGraph-Eval：用任务场景图评估机器人视频生成
作者提出 RGraph-Eval，一个基于参考演示的机器人视频生成评估框架，用任务场景图显式暴露物体错移、抓取消失、放置偏离等交互错误。该框架将任务实体、交互与运动组织在统一可解释的场景图表示中，由基础模型流水线识别操作角色、定位物体掩码、推断并核验状态转移与动作区间，并重建被操作物体的三维运动。
推荐理由：提出以任务场景图评估机器人视频生成，把物体、关系变化与三维轨迹纳入统一表示，并配套1000个场景数据集。
arXiv · cs.ROAI 评分5858 AstroBench 发布自由漂浮捕获与空间机器人操作基准
AstroBench 是一个面向固定基座机械臂自由漂浮捕获与空间机器人操作的开源基准，包含两个工作单元、九项任务定义和 29 组任务目标组合。
arXiv · cs.RO精选AI 评分6060 从推理到动作：前沿 AI 模型在 LIBERO-10 机器人操作任务上的基准评测
May Espinola 等人提出一个闭环操作框架，在 LIBERO-10 基准上评测前沿 AI 模型，模型仅凭视觉观测、本体感知和结构化工具调用控制机器人，无需任务特定微调或预训练操作技能。
推荐理由：该报告在 LIBERO-10 上统一评测六个前沿模型共 1800 个回合，可比较推理能力转化为操作动作的差距。
arXiv · cs.RO精选AI 评分6060 TARSphere：面向长时程具身智能体的全栈框架与仿真基准
TARSphere 是一个面向长时程具身智能体的机器人全栈框架，包含在物理仿真器中运行机器人策略的 TARSphere-Infra、让冻结多模态大模型通过多级可执行技能行动的 TARSphere-Harness，以及覆盖30个室内场景、360个回合的 TARSphere-Bench。
推荐理由：该预印本提出面向长时程具身智能体的全栈框架与360个回合的仿真基准，并给出8个MLLM的对比结果。
arXiv · cs.RO精选AI 评分7171 AirPlayground：跨多种重建环境的空中导航基准
AirPlayground 是一个用于训练和评估空中导航策略的统一基准，构建了覆盖室内、城市户外和植被场景的94个3D高斯泼溅（3DGS）环境，并配有对齐的碰撞几何。
推荐理由：该预印本公开了94个3DGS场景与94K飞行演示，并给出ACT随训练场景扩展的成功率变化，可供比较空中导航策略的闭环评测。
arXiv · cs.ROAI 评分5858 NavBind 提出在路线分叉处诊断导航 VLA 的指令-动作绑定
NavBind 提出一种诊断导航 VLA 指令-动作绑定的方法，在导航上下文固定时检验更换指令是否改变动作的概率分布。研究从 R2R-CE 和 RxR-CE 重组出 3,252 个路线分叉上下文，每个上下文的两条完整指令共享已走过路线的描述、但指向不同分支，并在相同智能体状态和导航历史下评估。
arXiv · cs.RO精选AI 评分6262 CAPSafe：面向具身智能体情境化动作与规划安全推理的基准
作者提出CAPSafe基准，从动作级和规划级两个层面评估具身智能体的安全推理，其中动作级判断单个动作在给定环境情境下是否安全，规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。
推荐理由：该预印本提出情境化动作与长程规划两级安全基准，并给出九个LLM在危险识别与安全规划间的差距数据。
arXiv · cs.ROAI 评分5858 前沿大模型进入机器人领域：RoboColiseum 上的跨模型评测
研究者在 RoboColiseum 上对 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 和 Gemini 4 Argon 四款模型做跨模型具身能力评测，覆盖指令跟随、空间推理、通用操作与鲁棒性四个赛道。
arXiv · cs.RO精选AI 评分6262 RoboCasa-Shift：面向长程家务操作 VLA 策略的分阶段鲁棒性评测基准
作者提出 RoboCasa-Shift，一个基于 RoboCasa365 的诊断性鲁棒性基准，结合受控单因素扰动、共享相同设置仅目标扰动不同的配对干净-扰动 rollout，以及仿真中的分阶段诊断。
推荐理由：该预印本提出基于 RoboCasa365 的分阶段鲁棒性评测，用配对 rollout 揭示聚合成功率掩盖的执行差异。
arXiv · cs.RO精选AI 评分6767 RoboJudge：用多模态语言模型评判具身视频生成
研究团队提出 RoboJudge-Bench，用于评测多模态大模型对具身视频生成的判断能力，覆盖物理遵循与指令对齐两个维度，包含来自 8 个源语料、10 个视频生成器的 800 段人工标注视频，涉及夹爪、人手和灵巧手。
推荐理由：该预印本系统评测了多模态大模型作为具身视频生成评判者的表现，并给出可复用的训练数据与微调方案。
arXiv · cs.RO精选AI 评分6060 经验记忆何时帮助闭环 LLM 驾驶智能体：受控评测揭示热启动池与 token 对照的影响
研究在单一经审计的 HighwayEnv 测试台（1Hz，决定性对比使用 gpt-4o-mini）上受控评测经验记忆对闭环 LLM 驾驶智能体的作用，将热启动池视为重采样随机因子（十个不相交池）并加入 token 匹配的无关填充对照。
推荐理由：在单一 HighwayEnv 测试台上用重采样热启动池与 token 匹配对照，检验经验记忆对闭环 LLM 驾驶智能体的增益是否稳健。
arXiv · cs.RO精选AI 评分6767 JARVIS：从视觉说明书到自主机器人装配的基准与智能体
JARVIS 是一个无需额外语言指令、由视觉说明书引导自主装配的方法无关基准，包含 8,987 个场景中的 236,679 个 LEGO 装配任务，并从中整理出 50 个任务的 JARVIS-v1 套件用于交互式机器人评测。
推荐理由：该预印本提出视觉说明书引导装配的基准与智能体方法，并给出九款模型在长程任务上的表现差异。
arXiv · cs.ROAI 评分5252 研究评估具身视觉语言模型的社交推理能力
研究在真实人机社交交互基准SHREC上评估Gemini Robotics-ER，并与已发表的通用VLM基线比较。Robotics-ER在错误与能力检测上优于GPT-4o-mini，但在详细社交属性判断上表现更差；增加一帧视觉信息对其中一项任务有帮助，对另一项则有损害。
arXiv · cs.ROAI 评分5959 HATCH：面向可验证操作任务的硬件认证任务链基准
Shiza Charania 提出 HATCH 机器人操作基准，以传感器确认任务完成并解锁下一任务，把房间串成一条长程评测链。任务覆盖五类技能、三个难度等级，物体摆放由运行日种子随机化，评分与机器人本体无关。参赛者需提交未剪辑视频、传感器日志和种子作为自证运行，任务规范、搭建指南、物料清单与评分细则以开放许可发布。
arXiv · cs.RO精选AI 评分6060 Jetson AGX Orin 深度估计器基准：九类单目与立体方法对比
作者在 Jetson AGX Orin 上对九类深度估计模型做了基准测试，覆盖单目 Depth Anything V2/V3、Depth Pro、MoGe-2、Metric3D v2、UniDepth V2 与立体方法 libSGM、NVIDIA ESS、Fast-FoundationStereo，按 Middlebury 2014 真值评估度量精度、GPU 时间、能耗和许可。
推荐理由：在 Jetson AGX Orin 上统一比较九类深度估计模型的精度、速度、能耗与许可，为机器人感知选型提供可复现依据。
arXiv · cs.RO精选AI 评分6262 Embodied Playground：面向物理、策略与空间推理的长程具身智能体基准
研究团队提出 Embodied Playground，一个用于评估基础模型智能体在长程任务中协调物理、策略与空间推理的基准。该基准包含410个任务环境，覆盖基础操作、序列谜题和多阶段家务活动，并从中整理出跨5个套件、16种任务类型的100项代表任务 EP-100，以及 EP-Easy、EP-Hard 难度划分和精简版 EP-20。
推荐理由：该基准用410个任务环境和统一评测协议，考察基础模型智能体在长程任务中的推理与执行衔接。
arXiv · cs.RO精选AI 评分7575 HandsOn：面向可泛化灵巧操作的大规模仿真基准
HandsOn 是一个面向跨本体灵巧操作的组合式仿真平台与基准，支持五种机械臂、六种灵巧手和约200个刚体、铰接与可变形资产，并配有18000条人工演示和66个经人工核验的任务。
推荐理由：该预印本给出跨本体灵巧操作仿真基准的规模与任务划分，并列出多类策略在Core-50上的成功率对比。
arXiv · cs.RO精选AI 评分6060 RoboValue：面向机器人价值模型统一评测的细粒度仿真与实机基准
RoboValue 是一个细粒度仿真与实机基准，用于统一评测机器人价值模型，通过共享接口考察任务状态理解、时序进度监控、失败与恢复推理、价值一致性四个能力维度。
推荐理由：该预印本提出覆盖四类能力维度的机器人价值模型评测基准，并给出仿真与实机任务上的诊断结果。
arXiv · cs.ROAI 评分5555 AnchorFlow-VIO：在 LaMAria 上评估固定模板单目视觉惯性里程计
AnchorFlow-VIO 是一个基于 Basalt 的开源单目视觉惯性里程计系统，作者在 LaMAria 上用统一配置完成评估。系统使用一个灰度相机和一个 IMU，结合出厂 IMU 校正、固定时间调整、窗口化初始化和固定模板 patch 跟踪。
arXiv · cs.ROAI 评分3838 自动仓储通道内机器人拣选的分析模型与离散事件仿真重建评估
研究构建了自动仓储通道内机器人拣选的解析-DES基准，在相同货架几何、穿梭车运动与拣选条件下与Lerher等解析式对比。基准含180个场景（三种货架长度、两种成对运动曲线、n=1至30个访问拣选点，每场景十次仿真重复），复现已发表解析表需取dES=1.5 m、dTB=0 m。
arXiv · cs.RO精选AI 评分7272 BiDex-100：覆盖100余项仿真任务的双臂灵巧操作基准
BiDex-100 是一个面向双臂灵巧操作的仿真基准，包含106项任务，按泛化、指令跟随、少演示、长时程和记忆五个能力维度组织。每项任务配有受控视觉与空间变化的域外变体，用于评估鲁棒性；基准支持两种本体，提供8,080条经成功验证的遥操作演示，共625万帧。作者在统一协议下评测了七个近期视觉-语言-动作模型，给出各能力维度、鲁棒性和数据效率的基线结果。
推荐理由：该预印本给出106项双臂灵巧操作仿真任务与7个VLA模型的统一评测基线，可用于比较现有模型的能力与鲁棒性。
arXiv · cs.RO精选AI 评分7878 The Bitter Lesson Comes to Robotics：九款前沿多模态语言模型直接控制真实机械臂的评测
一篇 arXiv 预印本在 RoboDojo 的六项操作任务上评测了九款前沿多模态语言模型，让它们直接控制真实机械臂。作者称这是首次在物理硬件上对广泛前沿模型做统一操作任务比较，结果显示这些模型能完成多种操作任务，但精度和效率尚不足以在实际动作预算内完成。2026 年 7 月至 10 月间基准性能对应 53.9 天的翻倍周期，最佳执行速率提升 4.4 倍，最低执行成本下降 6.2 倍。
推荐理由：在真实机械臂上统一评测九款前沿多模态语言模型，给出能力现状与性能翻倍周期，可作为通用模型直接控制机器人这一路线的参照。