《Physical AI:概念、技术与挑战》专著提出统一框架并区分具身智能等概念
一篇专著为Physical AI给出统一定义:在真实世界约束下通过持续反馈感知、建模并作用于物理世界的人工系统,并梳理其技术版图。该专著将Physical AI与传统数字AI、具身AI、信息物理系统及数字孪生区分,覆盖多模态感知、物理数据与仿真、世界模型、具身基础模型、运动控制系统、多智能体协同及软硬件协同设计。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
一篇专著为Physical AI给出统一定义:在真实世界约束下通过持续反馈感知、建模并作用于物理世界的人工系统,并梳理其技术版图。该专著将Physical AI与传统数字AI、具身AI、信息物理系统及数字孪生区分,覆盖多模态感知、物理数据与仿真、世界模型、具身基础模型、运动控制系统、多智能体协同及软硬件协同设计。
HandsOn 是一个面向跨本体灵巧操作的组合式仿真平台与基准,支持五种机械臂、六种灵巧手和约200个刚体、铰接与可变形资产,并配有18000条人工演示和66个经人工核验的任务。
推荐理由:该预印本给出跨本体灵巧操作仿真基准的规模与任务划分,并列出多类策略在Core-50上的成功率对比。
DexOAK 是一个基于学习的物体感知运动学重定向框架,可从人体动作捕捉数据生成接触一致的机器人手部参考。它先在手-物联合图上最小化交互图拉普拉斯目标,再训练以人体关键点和物体点云为条件的前馈网络,并用接触、非穿透和自碰撞损失微调,训练后仅靠推理即可迁移到未见数据。
推荐理由:论文给出物体感知的运动学重定向方法,并报告双手任务成功率与实机开环回放结果,可供灵巧操作数据生成参考。
研究对比了两种 LEAP Hand 指型布局(拟人与对称)在连续手中物体旋转任务中的表现,两版手均集成 TacTip 视觉触觉传感器并共用同一强化学习框架。仿真中,完整触觉观测相比仅本体感知使每回合平均归一化旋转量在拟人手提升 94.8%、对称手提升 66.9%,且回合更长、平均指尖总载荷更低。硬件实验中,对称手平均旋转次数高 32.0%、总旋转速率高 25.8%,平均指尖总载荷低 19.9%。
推荐理由:研究在仿真与实机上对比两种 LEAP Hand 指型布局,量化触觉观测与手指排布对旋转进度和指尖受力的影响。
论文提出 Prior-Informed Adaptation(PIA),一个离线到在线的基于模型强化学习框架,先在高保真与低保真仿真轨迹上预训练世界模型,再用不确定性正则化规划在目标域少量交互中完成适应。
推荐理由:论文提出用仿真轨迹作为有偏先验、在线校正残差的世界模型强化学习框架,并在真实赛车实机验证少样本适应。
研究提出一套面向农业抓取任务的仿真到现实机器人学习框架,将预训练的通用机器人策略适配到农业操作场景。团队搭建基于 MuJoCo 的番茄植株仿真环境,通过摇杆遥操作采集专家演示,并用这些演示适配 Octo 和 π0.5 两个预训练策略,随后在 Franka Research 3 机械臂上用真实机器人演示进一步微调。
RoboValue 是一个细粒度仿真与实机基准,用于统一评测机器人价值模型,通过共享接口考察任务状态理解、时序进度监控、失败与恢复推理、价值一致性四个能力维度。
推荐理由:该预印本提出覆盖四类能力维度的机器人价值模型评测基准,并给出仿真与实机任务上的诊断结果。
研究提出一种面向腱驱动连续体机器人(TDCR)的不确定性感知算子学习代理模型,可在不同设计与驱动条件下预测完整平衡构型。其核心是用浅层神经网络从力学感知设计坐标学习非平稳高斯过程核的度量,并以空间核表示骨干位置与旋转应变、直接在SO(3)上重建姿态。
研究提出几何感知单目视觉规划框架,从两帧图像、相对位姿和MAV状态预测轨迹,不显式重建深度。方法先训练基于深度的几何专家,再用配对RGB-D观测把规划特征跨模态蒸馏到单目分支,最后适配下游轨迹规划目标。团队用3D Gaussian Splatting仿真器渲染数据并评估,仿真训练的规划器未经真实环境微调即部署实机,实现最高6.5 m/s的避障飞行。
上海交大等作者提出 Constraint-preserving Temporal Recombination(CTR),一种训练期数据干预方法,在保留各臂局部传感运动内容的同时重新调整片段时序,以保留任务要求的跨臂约束。
推荐理由:论文提出训练期数据干预方法 CTR,用于削弱双臂模仿学习中的虚假跨臂耦合,并在仿真与实机任务上对比多种策略。
研究团队提出 ForagerSim,一个面向需要地图推理的具身任务的跨学科研究平台与仿真环境,场景覆盖移动机器人搜救与动物觅食,可在复杂迷宫和可能无限大的开阔区域中运行。
推荐理由:该预印本提出可调感知、尺度、拓扑与动态难度的仿真平台,用于比较学习策略与地图基线在需地图推理任务上的差距。
论文提出运动学信息年龄 K-AoI,用瞬时笛卡尔速度对 AoI 加权,把时间陈旧度换算为空间偏差,用于数字孪生遥操作的同步评估。作者在由 6-DOF 机械臂、Unity 孪生体和 tc netem 网络损伤构成的测试台上,跨七种网络条件评估,发现 K-AoI 与 AoI 的秩相关在所有网络下不超过 ρ=0.65,卫星连接下降至 ρ=0.22。
论文提出一种面向人形机器人的数据高效示教学习(LfD)框架,从演示视频中提取紧凑的任务特征而非原始图像来学习操作技能。该框架结合分层视觉预处理、基于Kinect的人体关节估计、提示式目标检测和深度信息,提取人体运动特征与三维物体位置,再训练时序深度学习模型预测机器人关节角轨迹。
Kryštof Pšenička与Stefan Edelkamp提出一套完整的GPU常驻管线,用于多机器人对水下结构做3D巡检:输入三角网格和K台携带短距、有限视场相机的机器人,输出联合覆盖目标比例表面的6自由度轨迹,并最小化线性插值的完工时间与总成本目标。
推荐理由:论文给出多机器人水下结构巡检的GPU常驻五阶段管线,并公开代码与14个网格的消融结果,可供规划与覆盖问题参考。
研究构建了自动仓储通道内机器人拣选的解析-DES基准,在相同货架几何、穿梭车运动与拣选条件下与Lerher等解析式对比。基准含180个场景(三种货架长度、两种成对运动曲线、n=1至30个访问拣选点,每场景十次仿真重复),复现已发表解析表需取dES=1.5 m、dTB=0 m。
SkateNav 提出一个基于强化学习的滑行导航框架,让被动轮四足机器人同时学习转向、推进和两者的时间分配。该框架用带时间预算的到达目标替代速度跟踪,并通过自适应滑行周期与每步频率调制调整滑行、推进和恢复的时长。
推荐理由:论文给出滑行导航的强化学习框架与仿真对比,并展示从仿真到被动轮 Mini Cheetah 的零样本迁移。
PaceVLA提出一种面向视觉-语言-动作模型的自适应时间执行框架,通过多粒度动作解码与路由选择减少低层动作步数。该框架包含基于共享动作专家的模式专用解码器,以及判断粗粒度执行是否合适的可量化性引导模式选择与上下文条件路由器。作者在三个多任务仿真基准和六个真实世界任务上测试,称其在多种本体包括长程与灵巧操作中提升执行效率并保持任务成功率。
推荐理由:论文针对VLA执行时延问题提出自适应时间动作量化框架,并在三个仿真基准和六个实机任务上验证。
研究提出在代码空间直接搜索多智能体协调策略,由编码智能体在仿真反馈和正确性校验下迭代提出、实现、评估并改进算法。在2024 League of Robot Runners竞赛的一张地图上,两天搜索得到的策略在最密集实例上比本地复现的较强参赛方案高35.0%,并可泛化到未见地图实例。
研究团队提出 AeroIntent,一个基于仿真的无人机任务意图识别基准,包含 22 个轨迹程序在五类任务意图下生成的 990 条同步多模态序列,提供雷达、RGB、红外和深度观测,并设置程序不相交、雷达缺失和观测前缀三种评估协议。
研究提出一种月面站(SS)辅助的辐射测量导航架构,通过双差卫星观测与星间双向单程测距(DOWR)提升月球车相对定位。基于NASA LCRNS五星星座与月球南极Connecting Ridge附近轨迹的蒙特卡洛仿真显示,99.7%垂直定位平均误差从无SS的29.9 m降至双差伪距与多普勒处理的5.5 m,加入DOWR后为4.8 m。
ReDOA 提出一种在真实世界学习图像策略的框架,将控制学习与感知学习解耦:先在仿真中训练基于状态的教师策略,在真实机器人上执行并采集轨迹,再把控制知识蒸馏到基于图像的学生策略,并用观测对齐处理数据采集与部署之间的观测差异。
Gang He 等人在 arXiv 预印本中提出 VeSTA 框架,用于弥合连续视觉语言导航中语义能力与物理可执行性之间的差距。作者指出当前仿真器的宽松接触模型可能掩盖物理不可行动作,使到达成功率不能反映真实执行能力。
推荐理由:论文指出宽松接触模型会掩盖物理不可行动作,并给出对齐可执行轨迹的方法,可供评估VLN策略的仿真与实机差距参考。
香港大学团队提出SpaRV,一种由可微光线步进渲染的稀疏辐射体素地图,让不规则LiDAR扫描与图像共同监督建图。该方法用LiDAR深度和占据约束几何,并通过交替训练地图与光度优化相机位姿和焦距来修正相机误差;训练和渲染时仅保留一个全分辨率子图、其余用更粗八叉树层级以限制GPU显存。
推荐理由:论文用稀疏辐射体素让不规则LiDAR扫描与图像共同约束建图,并交替优化相机位姿与焦距,为机器人场景重建提供可迁移思路。
AQUAACT 是作者称为首个公开的语言标注水下数据集,将相机图像与人类摇杆指令配对,包含 1.9 小时真实演示和 17.9 小时仿真演示,并附车辆惯性测量数据。实验显示仿真演示可迁移到真实数据,并大幅减少策略所需的真实演示量。在仿真中对七种策略(从模仿学习基线到 VLA 模型)的闭环基准测试显示,没有策略完成超过五分之一的回合,陆上数据预训练也未让大型 VLA 模型优于从头训练的小策略。
推荐理由:论文公开了带语言标注的水下遥操作数据集,并用七种策略的闭环基准说明水下自主任务仍未解决。
CusADi2 是一个开源软件库,通过在单个批次实例内部额外并行化计算,降低机器人运动学、雅可比与海森矩阵的批量求值延迟。
推荐理由:该库在 MuJoCo Menagerie 全部 67 个机器人上对比多种基线,给出批量运动学与雅可比、海森计算的低延迟方案。
BiDex-100 是一个面向双臂灵巧操作的仿真基准,包含106项任务,按泛化、指令跟随、少演示、长时程和记忆五个能力维度组织。每项任务配有受控视觉与空间变化的域外变体,用于评估鲁棒性;基准支持两种本体,提供8,080条经成功验证的遥操作演示,共625万帧。作者在统一协议下评测了七个近期视觉-语言-动作模型,给出各能力维度、鲁棒性和数据效率的基线结果。
推荐理由:该预印本给出106项双臂灵巧操作仿真任务与7个VLA模型的统一评测基线,可用于比较现有模型的能力与鲁棒性。
Behnam Moradi 提出 Self-Crystallizing Behavior Trees(SCBT),把基础模型当作编译器而非运行时,在行为树节点失败时由 LLM 提出最小子树补丁,经 CMA-ES 调参、上下文赌博机决定是否调用 LLM,并通过静态检查、不变量监控回放和相对未修补树的经验余量三阶段准入。
推荐理由:论文把大模型推理编译成确定性行为树,并给出仿真中的调用次数与任务成功率对比,可了解基础模型与经典控制结合的一种路径。
作者提出 RCRA 在线自适应框架,依据估计的行人反应性调节冻结保守导航策略周围的残差。基于 Transformer 的反应性估计器在仿真中比假设行人目标已知的贝叶斯基线场景平均准确率提升 12.62 个百分点。在每场景成功率均超过 90% 的基线中,RCRA 相对保守骨干网络将场景平均路径长度缩短 16.7%,相对随机训练基线缩短 7.3%,平均成功率比反应性训练策略高 14.88 个百分点。
作者提出 T(R,O) Grasp++,一个面向杂乱环境的跨本体灵巧抓取合成扩散框架,并构建约 0.5B 条抓取标注、覆盖八种灵巧手和约 5 万物体的仿真基准。实验称该模型在八种灵巧本体上平均成功率达 88%,推理时延仅 0.3s,推理样本效率提升 10 倍以上。该工作为预印本,结果基于仿真实验。
推荐理由:论文给出约5亿条抓取标注的仿真基准与跨八种灵巧手的扩散抓取框架,可用于比较杂乱场景抓取方法。
AeroDASH 是一个面向无人机连续语言条件飞行的异步 VLA 框架,通过 B 样条策略监督微调与轨迹融合处理机载推理延迟造成的轨迹错位。在 UAV-Flow 测试集上,其成功率为 76.56%,分别高出 OpenVLA-UAV 和去掉 GRPO 的 AeroDASH 38.1 和 20.1 个百分点。
针对传感器刚性安装假设限制视觉惯性里程计适应性的问题,该研究提出基于Denavit-Hartenberg约定并引入机器人运动学模型的动态相机-IMU外参标定方法,配合两步初始化策略估计初始关节角,实现时变外参的在线估计。仿真实验显示该框架可适应相机-IMU外参变化并保持有竞争力的定位精度。
GOFusion 是一个面向自主机器人导航的实时视觉建图系统,将高斯图元锚定到局部占据地图,同时为路径规划提供空间感知和高保真外观。系统基于视觉-惯性 SLAM 的位姿估计与局部占据地图构建 3D 高斯地图,并把 3D Gaussian Splatting 优化限制在活跃子图内以约束 GPU 显存占用。
推荐理由:论文把高斯图元锚定到局部占据地图,并用在线Fisher近似驱动剪枝与下一最佳视角规划,可供自主导航与建图研究参考。
DexGraspFlow 提出一种条件式连杆级 SE(3) 流匹配框架,将几何关系与运动学拓扑结合用于跨本体灵巧抓取生成。该方法在三种机器人手、30 组物体-手配对上的平均仿真成功率为 95.33%,含逆运动学的平均生成延迟比一个先进基线低约 49%。作者还报告了对七种去指变体的零样本适应与手掌朝向控制,并在部署手型的 100 次实机抓取试验中取得 91% 成功率。
推荐理由:论文把运动学拓扑引入跨本体灵巧抓取生成,并给出三种手、30 组手物配对的仿真结果与实机试验。
研究提出 Skill-RSI,让强通用模型仅在离线阶段编写、运行、诊断并修复仿真中的操作技能,冻结后的技能以代码形式运行或由廉价调用器读取描述执行。
推荐理由:论文提出冻结技能加廉价调用器的复用路线,并给出编译成本、失败任务与隐藏布局上的对照数据。
英伟达展示开发者用GPT-6 Astra等前沿AI模型配合Omniverse库,通过自然语言指令构建仿真应用。仓库仿真在80台输送机、40条机械臂和800个箱子场景下以全高清30帧/秒运行两分钟,机械臂完成640次成功放置箱子。另有基于ABB YuMi的CAD转SimReady资产、Isaac Lab线缆布线等案例。

Boston Dynamics 发布 Atlas 机器人新一代手部,自由度从上一代 GR2 的 7 个提升到 GR3 的 13 个,采用四指设计并取消小指。新手指尖和手掌覆盖密集压力触觉传感器,尺寸接近偏大的人手,强度与上一代相当,可搬运装载 100lb 以上的迷你冰箱。
推荐理由:Atlas 新一代手把自由度、可仿真性和工具使用能力放在同一套设计取舍里,可与上一代七自由度手直接对照。

NVIDIA 在加拿大多伦多 ROSCon 上发布 Isaac ROS 5.0,这是一组基于 ROS 的 GPU 加速软件包,新增智能体工作流与平台支持。该版本支持 ROS Lyrical 和 Ubuntu 24.04,并提供面向 AI 智能体的 Isaac 技能与文档,其中 FoundationPose 的智能体推理库称可将物体位姿感知与跟踪速度提升至多 5.5 倍。
推荐理由:Isaac ROS 5.0 把智能体工作流和 ROS Lyrical 支持纳入开源包,并列出多家厂商的集成用法,可用于了解机器人开发工具链的当前形态。
NVIDIA 发布 Cosmos-H-Dreams,一个面向手术机器人的实时、动作条件生成式模拟器,将 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型,并通过 FlashDreams 推理库在单张 NVIDIA RTX PRO 6000 上运行。
推荐理由:NVIDIA 把手术世界模型蒸馏成实时闭环模拟器,给出从约10帧到约160帧的推理提速路径。
波士顿动力与 Hyundai 合作,在 Hyundai 的 Next Starts Now 活动 School of Football 中展示 Atlas 学习足球并完成 Ghost Rabona 假动作踢球。