Physical AI 内部物流研究:在 Idealworks 机器人上评测 NVIDIA 仿真到现实流程
研究在 Idealworks 的 iw.hub 实机上评测 NVIDIA X-Mobility 与 COMPASS 导航策略训练流程,并用 NVIDIA Cosmos 生成仿真到现实变体。
推荐理由:在 Idealworks 实机上对比数字孪生与 Cosmos 增强训练,给出成功率与耗时差距,可作为 sim-to-real 评测参考。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
研究在 Idealworks 的 iw.hub 实机上评测 NVIDIA X-Mobility 与 COMPASS 导航策略训练流程,并用 NVIDIA Cosmos 生成仿真到现实变体。
推荐理由:在 Idealworks 实机上对比数字孪生与 Cosmos 增强训练,给出成功率与耗时差距,可作为 sim-to-real 评测参考。
论文提出TaskWAM,一个闭环、阶段感知的世界-动作模型框架,用Mode Tokens表示细粒度任务要求、用State Tokens跟踪执行进度,以缓解长程操作中局部合理但方向错误的推演导致的阶段混淆。
推荐理由:论文提出阶段混淆问题并给出TaskWAM与StageBench,可用于比较世界-动作模型的长程任务控制方法。
作者提出CAPSafe基准,从动作级和规划级两个层面评估具身智能体的安全推理,其中动作级判断单个动作在给定环境情境下是否安全,规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。
推荐理由:该预印本提出情境化动作与长程规划两级安全基准,并给出九个LLM在危险识别与安全规划间的差距数据。
作者提出 SPAR(Search-trained Push Action Ranker),从仿真搜索结果中学习为推挤基元排序,用于可移动障碍物导航(NAMO)。
推荐理由:论文用仿真搜索结果为推挤动作排序,在仿真与实机上对比随机搜索,可看学习排序如何降低规划开销。
作者提出 Reinforced Iterative Learning Control(RILC),将迭代学习控制(ILC)与强化学习(RL)并发耦合,使弹性关节机械臂在模型不确定下跨不同轨迹实现快速适应与有保证的跟踪收敛。
论文系统评测了 GPT-6 Astra 在轻量智能体执行框架下的闭环机器人操作能力,在 RoboDojo 上成功率为 26.92%,在 RoboTwin 2.0 上为 76.0%。
推荐理由:论文用五个基准和新增几何约束基准系统评测 GPT-6 Astra 的闭环操作能力,并指出语义推理与物理执行之间的差距。
论文提出 Safe Wrapper 算法,在机器人用入站链路数据更新状态时,基于各机器人异常检测器输出的信任值流,用 Safe Anytime-Valid Inference 筛选出可信链路子集。
研究指出,推理增强的驾驶 VLA 能感知并推理安全关键危险,却未能把危险信息转化为安全动作,作者将这一现象称为感知-动作绑定缺口。基于匹配的仿真反事实和驾驶日志回放,研究发现路径内危险确实被编码进视觉表征,但纵向规划主要由自车速度历史主导,对危险距离和模型自身推理轨迹响应很弱。
推荐理由:论文用匹配仿真反事实与实车日志回放,把驾驶 VLA 的危险感知与制动控制分开诊断,并给出不改权重的生成时引导方案。
作者提出生成式计划隐变量(GPL),把VLA的推理状态表示为对计划(如选哪个物体、抓取或路线)的低维条件分布,使计划可采样、可按请求选择、可按部署结果重加权,且无需重新训练VLA。
推荐理由:论文把VLA的推理状态建模为可采样的计划分布,并在仿真操作任务上对比了计划引导与动作分布引导的差异。
作者提出两阶段框架 CPR,从多视角视频片段学习互补的预测几何表征用于具身操作。预训练阶段用冻结的 3D 基础模型提供稠密几何特征,压缩为预测几何表征并保留场景结构及其时序演化,再对几何转移施加动作监督提取运动表征;下游后训练通过几何查询迁移预测几何,运动表征引导动作生成路径上的中间特征。
推荐理由:论文提出两阶段框架,从多视角视频学习互补预测几何表征,并在 LIBERO、SimplerEnv 与实机任务上对比下游策略表现。
针对 HAKUTO 月球探测车飞行模型(FM),研究将其划分为六个辐射面建立分析热模型,依据朝向太阳辐射通量及月球辐射、太阳反照率、月壤传导等因素确定表面温度,并据此选定航电设备安装位置与太阳翼角度,在整备质量低于 4 kg 的前提下兼顾热性能与发电。初步分析后开展数值仿真,并在真空环境中通过热平衡试验验证设计。
DirectWAM 通过动作充分蒸馏把预训练视频与动作专家转为单步预测器,在 LIBERO 四个套件平均成功率 97.1%、RoboTwin 2.0 上 85.4%,推理延迟较完整迭代教师降低 28.0 倍。
推荐理由:论文分析世界-动作模型中视觉预测误差对动作的影响,提出单步蒸馏方法,并给出仿真基准与实机任务结果。
论文研究UAS在远程飞行员或机载避撞系统临时接管后交还控制权时,循环强化学习策略的性能退化问题。基准测试显示中断会使任务变量更难从循环隐藏状态中解码,并提高中断后碰撞风险。作者提出三种中断感知架构,在仿真中均比标准循环策略保留更多可解码任务信息,其中最强架构相对循环基线将中断后碰撞减少74%、中断导致的任务失败减少69%,且未降低无中断时的性能。
FIT-MAC 是一个失败感知的闭环多智能体控制框架,在推理阶段为 VLA 策略增加控制层以提升鲁棒性。该框架由 Planner、Grounder、Verifier 和 Correction 四个智能体组成,分别负责任务解析、视觉目标绑定、执行进度跟踪与失败类型区分,以及将干预路由到目标重绑定或有界抓取与放置恢复;无需干预时仍由预训练 VLA 生成动作。
作者提出概率可达-规避值函数(PVF),一种适用于黑盒系统的自监督方法,在随机且可能无界的扰动下把可达-规避集定义为满足一定可达-规避概率的状态。该方法在复杂度递增的系统上、直至Hopper运动任务,与基于HJR的基线对比,结果显示在扰动非对抗时,概率集比对抗式HJR集更不保守、更准确。论文为arXiv预印本。
针对球形移动建图系统(SMMS)快速旋转与地面覆盖有限的问题,提出两种基于RANSAC的地面法向量估计方法:单帧扫描估计(法向量打分加多步验证)和基于LiDAR-惯性里程计(LIO)全局3D地图的估计。在多个真实数据集上以地面激光扫描仪为真值评估,LIO方法在精度和鲁棒性上显著优于单帧方法。将地面法向量估计融入运动模型可改善位姿估计,支持挑战性与危险环境中的自主导航。
PACT-VLA 提出一种免训练框架,用推理起始观测生成候选动作块,再用提交前观测从中选出完整动作块,以缓解异步推理延迟导致的成功率下降。其 FlowRes 评分衡量候选隐含流方向与冻结策略在提交前观测下预测速度的残差,无需单独验证器;流水线实现使选择不增加控制步延迟。
推荐理由:论文针对异步推理的观测滞后问题提出免训练的动作块选择方法,并给出仿真与实机成功率对比。
一项 arXiv 预印本研究拆解期望自由能(EFE)能否决定潜世界模型规划该花多少算力,并分别测试候选打分、停止规则与在线预测器更新。当精英代价停滞时停止细化,在成功率随深度饱和的任务上平均成功率接近固定深度参照;在测试的较大权重下,奖励预测分歧会降低冻结模型的成功率,惩罚分歧则在部分任务和权重设置下有益、在另一些设置下有害。
LocoPilot 是一个单操作员双边遥操作与数据采集框架,部署在 12 自由度 Unitree Go2 四足机器人上,该机器人搭载 6 自由度 AgileX Piper L 机械臂、Intel RealSense D435 腕部相机和 D405 头部相机。
推荐理由:论文给出单操作员双边遥操作采集四足加机械臂演示的完整方案,并展示从采集到策略部署的同一动作接口。
Yu 等人提出 HuTact 框架,从大规模人类手物交互数据预训练触觉感知手部表征,预训练阶段不需要真实触觉信号。该方法把从人手运动中学到的交互结构迁移到机器人触觉观测,并可用少量无标注机器人交互数据进一步适配。
推荐理由:论文提出用人类手物交互数据预训练触觉表征,并给出抓取预测在少样本下的对比数字,可供触觉学习数据来源参考。
PCLA-Bridge 是一个可部署工具,能在没有活动 CARLA 服务器的情况下,让未修改的 CARLA Leaderboard 智能体从任意传感器源运行到任意控制目标。
EventSync 是一个分层框架,通过事件驱动的记忆更新协调任务推理与动作执行:视觉语言模型依据任务计划和交互历史生成子目标,视觉-语言-动作模型负责执行,轻量 Event Monitor 结合视觉观测与末端执行器轨迹判断当前子目标是否完成,只有取得完成证据后才写入已完成子目标历史并触发下一步推理。
推荐理由:论文提出事件驱动的子目标完成判定与记忆更新机制,并在 RoboMME 基准和四类实机任务上给出结果,可供做长程操作记忆的研究者参考。
研究提出遥操作界面PointHand,将多指机器人手渲染为指尖与关节的稀疏关键点,并在仿真杯子入盒任务中比较三种渲染方式。18名新手与4名专家共采集2200次试验,看到拇指与食指被强调的新手在600次试验中获得441次成功演示,而看到真实手形的新手为320次。
研究提出一种带奇异恢复的高精度RCM伺服架构,用于通用机械臂在软件远心运动下执行眼科器械定位。作者将RCM与末端跟踪目标冲突导致的伺服振荡形式化为约束诱导任务奇异,即RCM投影后的末端雅可比降秩而未投影雅可比仍良态。
推荐理由:论文把眼科手术中RCM与末端跟踪冲突形式化为约束诱导任务奇异,并给出分层QP加恢复规划的实机验证路径。
作者提出一种验证引导的训练框架,用安全约束的概率枚举检测前向不变性违规,生成比标准对抗攻击方法更精确刻画失败边界的反例集。用该表示微调预训练的 HJ 值函数,在所有测试基准上得到更大的认证区域并缩短认证时间。作者还基于精炼后的证书设计部署期屏蔽机制,在基于物理的 Isaac Sim 环境和真实自主竞速实验中,相比标称控制器和基于线性二次调节(LQR)的备份策略实现零安全约束违规。
推荐理由:论文把安全约束枚举用于微调神经 HJ 证书,并在 Isaac Sim 与实车竞速中对比标称控制器和 LQR 备份策略。
研究者在 RoboColiseum 上对 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 和 Gemini 4 Argon 四款模型做跨模型具身能力评测,覆盖指令跟随、空间推理、通用操作与鲁棒性四个赛道。
作者提出 RoboCasa-Shift,一个基于 RoboCasa365 的诊断性鲁棒性基准,结合受控单因素扰动、共享相同设置仅目标扰动不同的配对干净-扰动 rollout,以及仿真中的分阶段诊断。
推荐理由:该预印本提出基于 RoboCasa365 的分阶段鲁棒性评测,用配对 rollout 揭示聚合成功率掩盖的执行差异。
作者提出一种多视角潜动作模型(LAM),用交叉注意力融合同步多相机视角以消解深度与遮挡,再压缩为潜动作,并接入由潜专家与动作专家经顺序流匹配耦合、冻结VLM骨干的策略。
推荐理由:论文比较多视角与单视角潜动作预训练在6D动作可解码性和跨本体迁移上的差异,并给出实机验证。
研究团队提出 RoboJudge-Bench,用于评测多模态大模型对具身视频生成的判断能力,覆盖物理遵循与指令对齐两个维度,包含来自 8 个源语料、10 个视频生成器的 800 段人工标注视频,涉及夹爪、人手和灵巧手。
推荐理由:该预印本系统评测了多模态大模型作为具身视频生成评判者的表现,并给出可复用的训练数据与微调方案。
作者提出 AWLS,一种针对冻结的单步生成式机器人操作策略的离线后训练方法,在不更新解码器的情况下学习观测条件化的潜噪声残差修正。该方法以优势加权动作重建目标训练该残差噪声整形器,优势值经分离和尺度归一化后仅作为示教动作的监督权重,避免使用 critic 梯度更新策略并保留单步推理。
研究提出分层框架RLTrajGen-PPMPC-CBF,用预设性能约束(PPC)调节强化学习规划与MPC控制之间的耦合,并以控制屏障函数(CBF)层提供实时安全修正并反馈至RL过程。在MetaDrive仿真环境中,该方法相比最优基线平均成功率提升6.25%,运动病剂量值(MSDV)降低65.87%,同时加快训练收敛。
研究在单一经审计的 HighwayEnv 测试台(1Hz,决定性对比使用 gpt-4o-mini)上受控评测经验记忆对闭环 LLM 驾驶智能体的作用,将热启动池视为重采样随机因子(十个不相交池)并加入 token 匹配的无关填充对照。
推荐理由:在单一 HighwayEnv 测试台上用重采样热启动池与 token 匹配对照,检验经验记忆对闭环 LLM 驾驶智能体的增益是否稳健。
PanoGraphGS 提出一个统一框架,将全景3D高斯表示学习与分层3D场景图构建结合,在共享高斯几何上学习语义与实例特征。其语义感知场景图模块可恢复楼层-房间-物品-物体的层级及包含与空间关系,并支持新视角全景分割与高斯级全景解码。
推荐理由:论文把全景分割与分层3D场景图统一到高斯表示中,并给出与Replica、NaviGS的对比结果,可供场景图构建方法参考。
论文提出以自适应通行管道(ATT)、区间速度-航向(IVH)控制和侧步增强AMP运动先验为核心的双足人形机器人姿态感知导航框架,将几何间隙与社会舒适度统一为沿参考路径的连续宽度信号,并映射为正面到侧步的姿态调度与全向速度指令。
CovNav 是一个免训练框架,用共形预测把双过程推理变成不确定性感知决策:本地 LLM 快速判断目标是否在观测物体附近,仅将模糊查询升级到慢速思维链推理。在 Gibson 和 HM3D 上,CovNav 在 HM3D v1 和 v2 的成功率分别比最强零样本基线高 0.8 和 1.7 个百分点,仅对 12.4% 的查询调用慢推理,并保留大部分始终开启思考的收益。
PLaCA 提出一种以未来潜变量变化为核心的世界到动作框架,直接从当前多模态输入预测空间结构化的 patch 级未来潜变量变化,并引入 patch 级变化感知监督和未来到动作接口。在 LIBERO-Long 上成功率为 79.0%,比仅动作基线提升 5.0 个百分点;在 CALVIN 上平均序列长度从 2.784 提升到 3.564。第二阶段训练仅更新 2.95% 的模型参数。
针对最小转弯半径r的Reeds-Shepp追捕者,研究全向逃逸者从其前向锥形视野中逃逸的最短时间问题。在速度比ν与锥半角满足sinα<ν≤1的慢速或等速情形下,用Isaacs特征线构造解并以反馈形式验证,逃逸时间为一个标量方程的首个根。采样保持反控制表明该逃逸时间在除角点外的各状态均为非预期策略下的博弈值,角点处追捕者策略值为无穷。
Yosub Shin 等人提出用单个头戴相机(122 美元)替代腕部相机和位姿追踪器,通过读取无电子手套(22 美元)上的印刷标记与工作区纸片,从同一帧中解出 6-DoF 夹爪位姿和夹爪开度。
推荐理由:论文用单个头戴相机替代腕部相机与位姿追踪器,给出无电子手套的标注精度和策略成功率对比,可供数据采集方案选型参考。
JARVIS 是一个无需额外语言指令、由视觉说明书引导自主装配的方法无关基准,包含 8,987 个场景中的 236,679 个 LEGO 装配任务,并从中整理出 50 个任务的 JARVIS-v1 套件用于交互式机器人评测。
推荐理由:该预印本提出视觉说明书引导装配的基准与智能体方法,并给出九款模型在长程任务上的表现差异。
EchoNav提出一种从短RGB序列预测证据式鸟瞰图(BEV)表示的视觉导航框架,结合时序聚合与占据补全,在最新自车坐标系下生成局部地图,无需深度或相机位姿输入,也不做显式几何变换。
推荐理由:论文给出基于历史观测的证据式BEV补全方法,并在仿真与轮式机器人上对比基线成功率。