通过度量3D融合理解开放词汇无人机感知中的时序语义稳定性
研究通过度量3D融合将逐帧预测关联到持久世界空间位置,提出体素级评估框架,联合刻画语义一致性、语义信念漂移(SBD)、观测持续性(OP)与语义不确定性。在UAVid-3D-Scenes上的实验显示逐帧语义变化显著,高聚合世界空间一致性在重复观测支持不足时会高估时序稳定性;持续性分层分析表明复发体素语义分歧更大,该现象在两个分割骨干及不同体素分辨率、几何关联和时间采样密度下保持一致。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
研究通过度量3D融合将逐帧预测关联到持久世界空间位置,提出体素级评估框架,联合刻画语义一致性、语义信念漂移(SBD)、观测持续性(OP)与语义不确定性。在UAVid-3D-Scenes上的实验显示逐帧语义变化显著,高聚合世界空间一致性在重复观测支持不足时会高估时序稳定性;持续性分层分析表明复发体素语义分歧更大,该现象在两个分割骨干及不同体素分辨率、几何关联和时间采样密度下保持一致。
CylindTrack 提出一种深度感知的圆柱跟踪-by-检测框架,联合建模全景拓扑与时间深度一致性,以应对等距柱状图像接缝处的坐标不连续和相对深度估计波动。方法包含深度-时间轨迹建模(DTM)、球面时空一致性学习(SSTC)与拓扑感知圆柱运动模型(TCMM)。
NTR 提出神经 token 重建框架,用自蒸馏掩码隐特征重建目标直接约束无感知端到端驾驶中的紧凑场景 token 瓶颈,使重建梯度只经过该瓶颈。方法还引入基础模型标注得到的语义先验作为弱语义接口,推理时移除全部辅助重建组件,部署规划器保持不变。
推荐理由:论文针对无感知端到端驾驶的场景 token 瓶颈提出自蒸馏重建监督,并在三个公开基准上报告结果。
AffordSim 是一个将开放词汇3D可供性预测集成到仿真轨迹生成中的数据生成器与基准,可根据自然语言任务描述合成场景、生成可供性查询并采样区域条件抓取,再用运动规划筛选可执行候选。
推荐理由:论文给出将开放词汇3D可供性预测接入仿真轨迹生成的数据生成器与50任务基准,可用于比较可供性感知操作的数据构建方式。
作者提出Gym-Anything for Robotics框架,让编码智能体创建机器人仿真,以缓解仿真构建依赖专家、难以规模化的问题。他们依据美国GDP数据挑选覆盖有经济价值体力工作的场景,定义良好仿真与任务的标准,并设计对抗式创建-审计循环逐项检查。基于该流程构建的RoboWorld包含25个仿真,以及难度不同的25个测试和175个训练强化学习环境;最好的前沿模型在所有RoboWorld测试任务上均失败,平均奖励仅0.06。
推荐理由:论文提出用编码智能体自动生成机器人仿真环境,并给出25个仿真与200个RL环境的基准结果,可供比较仿真规模化路径。
作者提出BURGER,一个语言条件机器人绘画基准,并提供可在仿真和真实世界生成连续绘画轨迹的提示驱动流水线。研究用282个绘画任务、28200条仿真演示评测5个代表性VLA模型,分析数据规模、语言落地和多模态行为,发现不同模型呈现不同失败模式。团队还将训练策略部署到Franka Panda机械臂,展示在人工干预下进行反应式绘画。
推荐理由:该预印本用绘画任务构建语言条件机器人基准,覆盖282个任务和5个VLA模型,便于比较不同模型的语言落地与动作生成失败模式。
研究在 MuJoCo MJX 上对五台 3D 四足机器人(闭链 W01-TEK、开链 Unitree Go1 与 Go2、Google Barkour vB、Boston Dynamics Spot)统一评测十四种 UED、域随机化与机器人课程方法,所有课程驱动同一 PPO 学生并在匹配的环境步数预算下比较。
RoboAtom 提出 RoboAtom-Data,为多来源现有数据补充统一、时间对齐的原子动作标注,覆盖 145 万条轨迹、688 万个技能标注片段和 16882.1 小时。其流程结合统一协议、大规模人工标注、同一有序技能序列重复执行间的传播以及多阶段质量控制。作者构建 RoboAtom-Bench 以标准化技能识别与时间边界定位评测,基于标注数据训练的 RoboAtom-Anno 在该基准和外部 WGO-Bench 上优于所评估的开源与闭源模型。
推荐理由:论文给出跨来源统一原子动作标注的数据规模与构建流程,并附技能识别基准和分层执行对照实验。

智元在2026年上海创新日提出Worken机器人生产力框架,公式为活跃机器人数量×自主工作时长×产出效率比,主张从制造和交付数量转向衡量机器人自主完成的有效工作量。
WorldFlow 提出一种生成式世界模型,通过将3D运动参数化为与视频网格对齐的连续位移 token,用统一的 Mixture-of-Transformers 骨干在 rectified-flow 目标下同时去噪视频与基于查询的3D轨迹。
推荐理由:论文把视频与3D轨迹放进同一生成骨干联合预测,并给出跨仿真与真实域的训练规模和基准误差对比。
一项系统映射从4195篇文献中筛选出235项测量或缓解自动驾驶系统测试现实差距的研究,按六类测试组件区分仿真与实机执行。其中76%聚焦缓解,主要针对场景与参与者真实感及感知;仅61项报告覆盖多类指标的度量,且不足以建立差距与测试结论间的因果联系。研究据此呼吁按主张分别评估并做组件级报告。
研究提出TRIM,一种不修改、不重训检测器的轻量时序监控器,用于发现3D目标检测的漏检失败。TRIM用通道级统计概括中间激活,再以时序卷积网络处理短序列;在NuScenes上,相比单帧监控,AUROC从0.686提升到0.704,95%召回下的误报率从0.818降至0.759。早期与中间骨干特征提供的监控信号最强,时序推理头在CPU上仅需0.159 ms。
SpaceAct 是一个交互式基准,通过闭环物理动作与主动感知评测多模态大模型的3D时空推理,并配套提出 SAPA 时空主动探测智能体框架。基准基于积木与机械谜题构建,覆盖6类36个任务族共108个已验证实例,不提供特权坐标,并设有 +plan、+state、no-camera、blind、L7 levers 等诊断模式。
推荐理由:该基准用闭环物理动作和主动感知考察多模态模型的3D时空推理,并给出10个前沿模型的诊断性对比。
一篇 arXiv 综述梳理物理AI中的递归自我改进,即系统不仅从部署经验更新策略、世界模型、技能和可执行程序,还会修订并复用数据采集、反馈或学习流程。文章区分学习器更新与改进器,比较策略学习、想象经验、记忆与技能积累、可执行框架等路径,并提出 L0-L3 分级,分别对应任务局部适应、持久能力增益、继承式流程修订和经核验的改进器增益。
CuraEval 是一个评估机器人模仿学习演示筛选方法的框架,在混合技能 robomimic 数据上用 Diffusion Policy 和 BC-RNN 与同规模随机子集及全量训练做受控对比。
研究对 π0.5 在 BEHAVIOR-1K 全部 100 个任务上系统配对评估此前提出的推理与数据采集策略,所用模型基于 2025 BEHAVIOR Challenge 冠军方案微调,公开测试集 Q-score 为 0.39。结果显示这些策略并不能一致地迁移到新环境和新任务。项目页面、视频与详细分析见 https://rubenhammele.github.io/behavior2026。
论文提出 Constraint-Referenced Strategy(CRS),将指令末端执行器旋量投影到物体关节轴上,把沿关节方向的进展与偏离约束的无效动作分开,无需录制演示或学习评判器。
研究团队提出 PhysLadder,一个用于评估接触密集操作物理交互能力的分层仿真-实机匹配基准,包含 16 项家务任务,分为接触选择与几何对齐(L1)、持续接触下的力调节(L2)、接触重构与力调节协同(L3)三个累积层级。
推荐理由:PhysLadder 用仿真与实机匹配的 16 项家务任务分层测试接触密集操作,给出 GPT-6 Astra 逐级成功率,可作为比较模型物理交互边界的基准参考。
苏州工业园区与中国信通院共建的数字孪生创新中心在2026物理AI与世界模型大会上展示物理AI实景验证测试场建设方案,采用“数字空间仿真验证+真实场景实景测试”两轮验证体系。该中心已跑通产业园区和工业厂房两类四足机器人智能巡检验证场景,在某集成电路企业仓库巡检案例中验证成本降低约30%、验证周期缩短一半。
研究团队提出BEHAVIOR-Spatial基准,基于BEHAVIOR-1K测量空间问答、点目标定位与机器人动作,考察VLM空间理解与VLA行为的关系。基准包含49项活动的3256个空间问题、14项操作任务的1240个定位查询,以及覆盖这14项操作任务和10项导航任务的动作评估。
研究者提出概念级机制一致性诊断方法C-DFF,用于成对真实-合成图像评估,在KITTI与Virtual KITTI 2的2126对匹配样本上对三个冻结被测系统(转向回归、YOLOP可行驶区域、YOLOP车道线)进行测试。该方法从被测系统提取决定性证据并投影到共享语义概念空间,输出机制一致性得分及概念偏移诊断,可区分不同被测系统。结果表明任务输出一致本身并不能证明机制一致。
研究团队提出 WorldFailBench,用于检验世界模型能否忠实模拟机器人策略的失败方式与失败阶段。该基准包含失败原因、失败阶段和失败边界三项测试,覆盖 LIBERO 与 RoboTwin 仿真环境中的操作任务,以及 G1 人形机器人在真实世界执行的操作任务。对七个世界模型的实验显示,它们在理解策略失败方面存在明显差距。
推荐理由:该基准把世界模型对策略失败的模拟拆成失败原因、失败阶段与失败边界三项测试,可用于比较其作为策略评估器的可靠性。
GEMS 提出一种面向半静态环境的长期时空记忆框架,将持久 3D 高斯泼溅(3DGS)地图与智能体推理流程结合,地图只重建一次,之后仅在场景变化区域更新并保存这些修改。
推荐理由:论文把持久 3DGS 地图与智能体推理结合,并配套 GEMS-Bench,可用于比较机器人长期时空记忆方案。
RobustRLlib 是一个以算法为中心的鲁棒强化学习库与基准,将17种代表性在线、离线与安全强化学习算法整合到统一接口,以提升算法复用性。该工作还提供覆盖多种真实世界偏移以及人形机器人和视觉-语言-动作任务的评测平台,并在273种扰动配置上系统评估,给出当前鲁棒强化学习算法的能力图谱,指出仍存在明显鲁棒性差距的场景。作者称其开源且可复现、可扩展。
作者提出动作感知量化方法,用视觉语言模型把长程轨迹拆成物体级子任务并分配加权动作信用,并据此构建 800 小时以上训练视频数据集和含 19,618 个人工校准评估帧的长程进度基准 LOOM。
推荐理由:论文提出动作感知量化与 NimCritic 进度评论器,并公开 800 小时视频数据集与 LOOM 基准,可供长程操作进度建模参考。
一项 arXiv 预印本研究指出,VLA 模型以 bf16 训练且无 fp32 主副本时,AdamW 会把小于权重 1/512 的更新直接舍入掉;12 个开源 VLA 代码库中有 9 个默认或文档配方这样训练,包括 LeRobot 的 SmolVLA 默认配置及其 π0/π0.5 指南。
推荐理由:研究指出 bf16 微调 VLA 会静默抹掉大部分权重更新,并给出 fp32 主副本在 LIBERO 上的对比结果,可作为训练配置的参考。
Yunfei Xie 等作者提出 Sensorimotor Alignment(S²),一种免训练的离线指标,用于衡量模型感官表征与物理运动几何的对齐程度。作者称 S² 在多个模型家族中与下游机器人任务成功率正相关,可在闭环评测前用于模型优先级排序,也能在将 VLM 微调为 VLA 之前筛选有潜力的视觉语言模型骨干。
PhysTrace 是一个免训练框架,将多模态大模型生成的历史条件物理期望与观测视频窗口对齐,从而在时间上定位物理违规并给出可解释描述,无需任务专用探针或分类器。
研究用配对仿真器与 LeWorldModel(LeWM)响应,在三种扰动尺度下以 Gram 矩阵测量动作敏感性。在 Reacher 和 OGBench Cube 近千个状态中,最小尺度下最敏感动作方向的中位夹角分别约 36° 和 42°;扰动放大十倍后,Reacher 与 Cube 的中位归一化 Gram 差异分别降低约 70% 和 47%。
研究提出以能力为中心的统一框架 PAPAV,将多模态具身智能体(MMEA)拆解为感知状态、预判动作效果、规划可行路径、通过接口或本体执行、验证结果五项功能,并据此比较 MMEA 与多模态智能体及机器人系统。在 64 个基准中,显式评估集中在“执行”,仅 5 个评估“预判”、3 个评估“验证”。从部分可观测到结果不可验证的五项物理约束,使可预先固定的选择更少、纠错空间更小。
May Espinola 等人提出一个闭环操作框架,在 LIBERO-10 基准上评测前沿 AI 模型,模型仅凭视觉观测、本体感知和结构化工具调用控制机器人,无需任务特定微调或预训练操作技能。
推荐理由:该报告在 LIBERO-10 上统一评测六个前沿模型共 1800 个回合,可比较推理能力转化为操作动作的差距。
TARSphere 是一个面向长时程具身智能体的机器人全栈框架,包含在物理仿真器中运行机器人策略的 TARSphere-Infra、让冻结多模态大模型通过多级可执行技能行动的 TARSphere-Harness,以及覆盖30个室内场景、360个回合的 TARSphere-Bench。
推荐理由:该预印本提出面向长时程具身智能体的全栈框架与360个回合的仿真基准,并给出8个MLLM的对比结果。
Jona Joy 提出 Alpha,一个在仿真中面向 LLM 驱动操作的系统性故障注入与鲁棒性评测框架,在感知、执行、运动学和规划四类环节注入校准故障。
一项 arXiv 预印本研究评测了七个可本地部署的视觉语言模型(含面向物理 AI 与机器人开发的模型)在两个以人为中心的热成像数据集上理解人类活动的表现。诊断任务覆盖细粒度动作识别、活动时间线重建和拒答能力,并以配对 RGB 录像作为性能参照。
作者提出CAPSafe基准,从动作级和规划级两个层面评估具身智能体的安全推理,其中动作级判断单个动作在给定环境情境下是否安全,规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。
推荐理由:该预印本提出情境化动作与长程规划两级安全基准,并给出九个LLM在危险识别与安全规划间的差距数据。
论文系统评测了 GPT-6 Astra 在轻量智能体执行框架下的闭环机器人操作能力,在 RoboDojo 上成功率为 26.92%,在 RoboTwin 2.0 上为 76.0%。
推荐理由:论文用五个基准和新增几何约束基准系统评测 GPT-6 Astra 的闭环操作能力,并指出语义推理与物理执行之间的差距。
研究者在 RoboColiseum 上对 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 和 Gemini 4 Argon 四款模型做跨模型具身能力评测,覆盖指令跟随、空间推理、通用操作与鲁棒性四个赛道。
作者提出 RoboCasa-Shift,一个基于 RoboCasa365 的诊断性鲁棒性基准,结合受控单因素扰动、共享相同设置仅目标扰动不同的配对干净-扰动 rollout,以及仿真中的分阶段诊断。
推荐理由:该预印本提出基于 RoboCasa365 的分阶段鲁棒性评测,用配对 rollout 揭示聚合成功率掩盖的执行差异。
Shiza Charania 提出 HATCH 机器人操作基准,以传感器确认任务完成并解锁下一任务,把房间串成一条长程评测链。任务覆盖五类技能、三个难度等级,物体摆放由运行日种子随机化,评分与机器人本体无关。参赛者需提交未剪辑视频、传感器日志和种子作为自证运行,任务规范、搭建指南、物料清单与评分细则以开放许可发布。
论文提出 PhysRSI-eval,用首次尝试表现、效率、成功率、预算和失败后改进五个维度量化物理递归自我改进(RSI),并在 18 个操作任务、固定交互预算下评测不同 VLM。