跳到正文

NEWS / 动态

#评测基准

按时间浏览,使用右上角筛选切换领域。

10月30日周五
  1. arXiv · cs.RO45

    通过度量3D融合理解开放词汇无人机感知中的时序语义稳定性

    研究通过度量3D融合将逐帧预测关联到持久世界空间位置,提出体素级评估框架,联合刻画语义一致性、语义信念漂移(SBD)、观测持续性(OP)与语义不确定性。在UAVid-3D-Scenes上的实验显示逐帧语义变化显著,高聚合世界空间一致性在重复观测支持不足时会高估时序稳定性;持续性分层分析表明复发体素语义分歧更大,该现象在两个分割骨干及不同体素分辨率、几何关联和时间采样密度下保持一致。

  2. arXiv · cs.RO55

    CylindTrack:面向移动机器人全景多目标跟踪的深度感知圆柱运动建模

    CylindTrack 提出一种深度感知的圆柱跟踪-by-检测框架,联合建模全景拓扑与时间深度一致性,以应对等距柱状图像接缝处的坐标不连续和相对深度估计波动。方法包含深度-时间轨迹建模(DTM)、球面时空一致性学习(SSTC)与拓扑感知圆柱运动模型(TCMM)。

  3. arXiv · cs.RO60

    NTR:用神经 token 重建约束端到端驾驶的场景 token 瓶颈

    NTR 提出神经 token 重建框架,用自蒸馏掩码隐特征重建目标直接约束无感知端到端驾驶中的紧凑场景 token 瓶颈,使重建梯度只经过该瓶颈。方法还引入基础模型标注得到的语义先验作为弱语义接口,推理时移除全部辅助重建组件,部署规划器保持不变。

    推荐理由:论文针对无感知端到端驾驶的场景 token 瓶颈提出自蒸馏重建监督,并在三个公开基准上报告结果。

  4. arXiv · cs.RO72

    AffordSim:面向可供性感知机器人操作的可扩展数据生成器与基准

    AffordSim 是一个将开放词汇3D可供性预测集成到仿真轨迹生成中的数据生成器与基准,可根据自然语言任务描述合成场景、生成可供性查询并采样区域条件抓取,再用运动规划筛选可执行候选。

    推荐理由:论文给出将开放词汇3D可供性预测接入仿真轨迹生成的数据生成器与50任务基准,可用于比较可供性感知操作的数据构建方式。

  5. arXiv · cs.RO78

    Gym-Anything for Robotics:用编码智能体扩展机器人物理仿真并发布RoboWorld基准

    作者提出Gym-Anything for Robotics框架,让编码智能体创建机器人仿真,以缓解仿真构建依赖专家、难以规模化的问题。他们依据美国GDP数据挑选覆盖有经济价值体力工作的场景,定义良好仿真与任务的标准,并设计对抗式创建-审计循环逐项检查。基于该流程构建的RoboWorld包含25个仿真,以及难度不同的25个测试和175个训练强化学习环境;最好的前沿模型在所有RoboWorld测试任务上均失败,平均奖励仅0.06。

    推荐理由:论文提出用编码智能体自动生成机器人仿真环境,并给出25个仿真与200个RL环境的基准结果,可供比较仿真规模化路径。

  6. arXiv · cs.RO62

    BURGER:用机器人绘画基准评测VLA模型的泛化能力

    作者提出BURGER,一个语言条件机器人绘画基准,并提供可在仿真和真实世界生成连续绘画轨迹的提示驱动流水线。研究用282个绘画任务、28200条仿真演示评测5个代表性VLA模型,分析数据规模、语言落地和多模态行为,发现不同模型呈现不同失败模式。团队还将训练策略部署到Franka Panda机械臂,展示在人工干预下进行反应式绘画。

    推荐理由:该预印本用绘画任务构建语言条件机器人基准,覆盖282个任务和5个VLA模型,便于比较不同模型的语言落地与动作生成失败模式。

10月29日周四
  1. arXiv · cs.RO78

    RoboAtom 提出大规模原子动作监督数据集 RoboAtom-Data

    RoboAtom 提出 RoboAtom-Data,为多来源现有数据补充统一、时间对齐的原子动作标注,覆盖 145 万条轨迹、688 万个技能标注片段和 16882.1 小时。其流程结合统一协议、大规模人工标注、同一有序技能序列重复执行间的传播以及多阶段质量控制。作者构建 RoboAtom-Bench 以标准化技能识别与时间边界定位评测,基于标注数据训练的 RoboAtom-Anno 在该基准和外部 WGO-Bench 上优于所评估的开源与闭源模型。

    推荐理由:论文给出跨来源统一原子动作标注的数据规模与构建流程,并附技能识别基准和分层执行对照实验。

  2. arXiv · cs.RO72

    WorldFlow:大规模预训练联合预测视频与3D运动

    WorldFlow 提出一种生成式世界模型,通过将3D运动参数化为与视频网格对齐的连续位移 token,用统一的 Mixture-of-Transformers 骨干在 rectified-flow 目标下同时去噪视频与基于查询的3D轨迹。

    推荐理由:论文把视频与3D轨迹放进同一生成骨干联合预测,并给出跨仿真与真实域的训练规模和基准误差对比。

10月28日周三
  1. arXiv · cs.RO38

    自动驾驶系统测试中的现实差距:235项研究的系统映射与挑战

    一项系统映射从4195篇文献中筛选出235项测量或缓解自动驾驶系统测试现实差距的研究,按六类测试组件区分仿真与实机执行。其中76%聚焦缓解,主要针对场景与参与者真实感及感知;仅61项报告覆盖多类指标的度量,且不足以建立差距与测试结论间的因果联系。研究据此呼吁按主张分别评估并做组件级报告。

  2. arXiv · cs.RO58

    TRIM:基于激活统计的3D目标检测时序运行时监控

    研究提出TRIM,一种不修改、不重训检测器的轻量时序监控器,用于发现3D目标检测的漏检失败。TRIM用通道级统计概括中间激活,再以时序卷积网络处理短序列;在NuScenes上,相比单帧监控,AUROC从0.686提升到0.704,95%召回下的误报率从0.818降至0.759。早期与中间骨干特征提供的监控信号最强,时序推理头在CPU上仅需0.159 ms。

  3. arXiv · cs.RO71

    SpaceAct:用闭环动作与主动感知评测3D时空推理的基准

    SpaceAct 是一个交互式基准,通过闭环物理动作与主动感知评测多模态大模型的3D时空推理,并配套提出 SAPA 时空主动探测智能体框架。基准基于积木与机械谜题构建,覆盖6类36个任务族共108个已验证实例,不提供特权坐标,并设有 +plan、+state、no-camera、blind、L7 levers 等诊断模式。

    推荐理由:该基准用闭环物理动作和主动感知考察多模态模型的3D时空推理,并给出10个前沿模型的诊断性对比。

  4. arXiv · cs.RO58

    综述:物理AI中的递归自我改进机制、证据与评测

    一篇 arXiv 综述梳理物理AI中的递归自我改进,即系统不仅从部署经验更新策略、世界模型、技能和可执行程序,还会修订并复用数据采集、反馈或学习流程。文章区分学习器更新与改进器,比较策略学习、想象经验、记忆与技能积累、可执行框架等路径,并提出 L0-L3 分级,分别对应任务局部适应、持久能力增益、继承式流程修订和经核验的改进器增益。

  5. arXiv · cs.RO55

    研究对 π0.5 在 BEHAVIOR-1K 上的推理设置做配对评估

    研究对 π0.5 在 BEHAVIOR-1K 全部 100 个任务上系统配对评估此前提出的推理与数据采集策略,所用模型基于 2025 BEHAVIOR Challenge 冠军方案微调,公开测试集 Q-score 为 0.39。结果显示这些策略并不能一致地迁移到新环境和新任务。项目页面、视频与详细分析见 https://rubenhammele.github.io/behavior2026。

10月26日周一
  1. arXiv · cs.RO60

    PhysLadder 发布分层仿真-实机匹配基准,测试 GPT-6 Astra 接触密集操作能力

    研究团队提出 PhysLadder,一个用于评估接触密集操作物理交互能力的分层仿真-实机匹配基准,包含 16 项家务任务,分为接触选择与几何对齐(L1)、持续接触下的力调节(L2)、接触重构与力调节协同(L3)三个累积层级。

    推荐理由:PhysLadder 用仿真与实机匹配的 16 项家务任务分层测试接触密集操作,给出 GPT-6 Astra 逐级成功率,可作为比较模型物理交互边界的基准参考。

10月25日周日
  1. 江苏网信网 · 历史核实40

    苏州工业园区与中国信通院共建物理AI实景验证测试场

    苏州工业园区与中国信通院共建的数字孪生创新中心在2026物理AI与世界模型大会上展示物理AI实景验证测试场建设方案,采用“数字空间仿真验证+真实场景实景测试”两轮验证体系。该中心已跑通产业园区和工业厂房两类四足机器人智能巡检验证场景,在某集成电路企业仓库巡检案例中验证成本降低约30%、验证周期缩短一半。

  2. arXiv · cs.RO38

    C-DFF:面向自动驾驶感知仿真验证的机制一致性概念级诊断方法

    研究者提出概念级机制一致性诊断方法C-DFF,用于成对真实-合成图像评估,在KITTI与Virtual KITTI 2的2126对匹配样本上对三个冻结被测系统(转向回归、YOLOP可行驶区域、YOLOP车道线)进行测试。该方法从被测系统提取决定性证据并投影到共享语义概念空间,输出机制一致性得分及概念偏移诊断,可区分不同被测系统。结果表明任务输出一致本身并不能证明机制一致。

10月24日周六
  1. arXiv · cs.RO62

    WorldFailBench 发布:评测世界模型能否理解机器人策略失败

    研究团队提出 WorldFailBench,用于检验世界模型能否忠实模拟机器人策略的失败方式与失败阶段。该基准包含失败原因、失败阶段和失败边界三项测试,覆盖 LIBERO 与 RoboTwin 仿真环境中的操作任务,以及 G1 人形机器人在真实世界执行的操作任务。对七个世界模型的实验显示,它们在理解策略失败方面存在明显差距。

    推荐理由:该基准把世界模型对策略失败的模拟拆成失败原因、失败阶段与失败边界三项测试,可用于比较其作为策略评估器的可靠性。

  2. arXiv · cs.RO67

    GEMS:结合持久 3DGS 地图与智能体推理的长期时空记忆框架

    GEMS 提出一种面向半静态环境的长期时空记忆框架,将持久 3D 高斯泼溅(3DGS)地图与智能体推理流程结合,地图只重建一次,之后仅在场景变化区域更新并保存这些修改。

    推荐理由:论文把持久 3DGS 地图与智能体推理结合,并配套 GEMS-Bench,可用于比较机器人长期时空记忆方案。

  3. arXiv · cs.RO58

    RobustRLlib发布:统一17种鲁棒强化学习算法与评测基准

    RobustRLlib 是一个以算法为中心的鲁棒强化学习库与基准,将17种代表性在线、离线与安全强化学习算法整合到统一接口,以提升算法复用性。该工作还提供覆盖多种真实世界偏移以及人形机器人和视觉-语言-动作任务的评测平台,并在273种扰动配置上系统评估,给出当前鲁棒强化学习算法的能力图谱,指出仍存在明显鲁棒性差距的场景。作者称其开源且可复现、可扩展。

10月23日周五
  1. arXiv · cs.RO72

    NimCritic:动作感知量化的长程任务进度建模

    作者提出动作感知量化方法,用视觉语言模型把长程轨迹拆成物体级子任务并分配加权动作信用,并据此构建 800 小时以上训练视频数据集和含 19,618 个人工校准评估帧的长程进度基准 LOOM。

    推荐理由:论文提出动作感知量化与 NimCritic 进度评论器,并公开 800 小时视频数据集与 LOOM 基准,可供长程操作进度建模参考。

  2. arXiv · cs.RO80

    研究:VLA 全权重微调缺少 fp32 主副本会静默抹掉大部分更新

    一项 arXiv 预印本研究指出,VLA 模型以 bf16 训练且无 fp32 主副本时,AdamW 会把小于权重 1/512 的更新直接舍入掉;12 个开源 VLA 代码库中有 9 个默认或文档配方这样训练,包括 LeRobot 的 SmolVLA 默认配置及其 π0/π0.5 指南。

    推荐理由:研究指出 bf16 微调 VLA 会静默抹掉大部分权重更新,并给出 fp32 主副本在 LIBERO 上的对比结果,可作为训练配置的参考。

  3. arXiv · cs.RO58

    Sensorimotor Alignment:用免训练离线指标预测具身策略成功率

    Yunfei Xie 等作者提出 Sensorimotor Alignment(S²),一种免训练的离线指标,用于衡量模型感官表征与物理运动几何的对齐程度。作者称 S² 在多个模型家族中与下游机器人任务成功率正相关,可在闭环评测前用于模型优先级排序,也能在将 VLM 微调为 VLA 之前筛选有潜力的视觉语言模型骨干。

10月22日周四
  1. arXiv · cs.RO38

    LeWorldModel 是否保留局部动作几何?——基于 Reacher 与 OGBench Cube 的评测

    研究用配对仿真器与 LeWorldModel(LeWM)响应,在三种扰动尺度下以 Gram 矩阵测量动作敏感性。在 Reacher 和 OGBench Cube 近千个状态中,最小尺度下最敏感动作方向的中位夹角分别约 36° 和 42°;扰动放大十倍后,Reacher 与 Cube 的中位归一化 Gram 差异分别降低约 70% 和 47%。

  2. arXiv · cs.RO48

    多模态具身智能体:从计算机使用到机器人使用的统一能力视角框架 PAPAV

    研究提出以能力为中心的统一框架 PAPAV,将多模态具身智能体(MMEA)拆解为感知状态、预判动作效果、规划可行路径、通过接口或本体执行、验证结果五项功能,并据此比较 MMEA 与多模态智能体及机器人系统。在 64 个基准中,显式评估集中在“执行”,仅 5 个评估“预判”、3 个评估“验证”。从部分可观测到结果不可验证的五项物理约束,使可预先固定的选择更少、纠错空间更小。

  3. arXiv · cs.RO60

    从推理到动作:前沿 AI 模型在 LIBERO-10 机器人操作任务上的基准评测

    May Espinola 等人提出一个闭环操作框架,在 LIBERO-10 基准上评测前沿 AI 模型,模型仅凭视觉观测、本体感知和结构化工具调用控制机器人,无需任务特定微调或预训练操作技能。

    推荐理由:该报告在 LIBERO-10 上统一评测六个前沿模型共 1800 个回合,可比较推理能力转化为操作动作的差距。

  4. arXiv · cs.RO60

    TARSphere:面向长时程具身智能体的全栈框架与仿真基准

    TARSphere 是一个面向长时程具身智能体的机器人全栈框架,包含在物理仿真器中运行机器人策略的 TARSphere-Infra、让冻结多模态大模型通过多级可执行技能行动的 TARSphere-Harness,以及覆盖30个室内场景、360个回合的 TARSphere-Bench。

    推荐理由:该预印本提出面向长时程具身智能体的全栈框架与360个回合的仿真基准,并给出8个MLLM的对比结果。

10月21日周三
10月20日周二
  1. arXiv · cs.RO62

    CAPSafe:面向具身智能体情境化动作与规划安全推理的基准

    作者提出CAPSafe基准,从动作级和规划级两个层面评估具身智能体的安全推理,其中动作级判断单个动作在给定环境情境下是否安全,规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。

    推荐理由:该预印本提出情境化动作与长程规划两级安全基准,并给出九个LLM在危险识别与安全规划间的差距数据。

  2. arXiv · cs.RO62

    RoboCasa-Shift:面向长程家务操作 VLA 策略的分阶段鲁棒性评测基准

    作者提出 RoboCasa-Shift,一个基于 RoboCasa365 的诊断性鲁棒性基准,结合受控单因素扰动、共享相同设置仅目标扰动不同的配对干净-扰动 rollout,以及仿真中的分阶段诊断。

    推荐理由:该预印本提出基于 RoboCasa365 的分阶段鲁棒性评测,用配对 rollout 揭示聚合成功率掩盖的执行差异。

  3. arXiv · cs.RO59

    HATCH:面向可验证操作任务的硬件认证任务链基准

    Shiza Charania 提出 HATCH 机器人操作基准,以传感器确认任务完成并解锁下一任务,把房间串成一条长程评测链。任务覆盖五类技能、三个难度等级,物体摆放由运行日种子随机化,评分与机器人本体无关。参赛者需提交未剪辑视频、传感器日志和种子作为自证运行,任务规范、搭建指南、物料清单与评分细则以开放许可发布。