SpatialDex：从纯RGB人类视频重建增强视觉运动预训练，学习3D双臂灵巧操作
SpatialDex提出一种从纯RGB人类视频学习3D双臂灵巧操作的框架，通过重建场景几何并结合手部运动估计进行视觉运动预训练。该方法将重建几何同时作为策略输入和预测目标，用门控残差融合把预训练视觉语言模型的token网格锚定到该几何上，并预测未来场景几何与手腕、手指动作。
推荐理由：论文给出从纯RGB人类视频重建场景几何并联合预训练双臂灵巧策略的方法，附仿真与实机对比结果。
技术方向
具身智能 最新动态
与机器人感知、决策和物理交互直接相关的具身智能进展
317 条精选近 30 天 314 条共收录 679 条
更新
精选归档 · 第 15 页
arXiv · cs.RO官方发布精选AI 评分7878 arXiv · cs.RO官方发布精选AI 评分6767 CausGround：面向自适应具身规划的因果交互接地框架
CausGround 是一个非参数化的因果交互接地框架，把交互经验提炼为以动作为中心的因果知识，用于具身规划。它识别动作前置条件与效果，并以分解式世界状态表示组织物体属性和物体间关系，规划时把任务相关因果依赖接地到当前观测，支持前置条件的反向推理与效果的正向推理。
推荐理由：论文把交互经验整理成可复用的动作前置条件与效果知识，并在仿真基准和实机操作上给出对比结果。
arXiv · cs.RO官方发布精选AI 评分7171 AirPlayground：跨多种重建环境的空中导航基准
AirPlayground 是一个用于训练和评估空中导航策略的统一基准，构建了覆盖室内、城市户外和植被场景的94个3D高斯泼溅（3DGS）环境，并配有对齐的碰撞几何。
推荐理由：该预印本公开了94个3DGS场景与94K飞行演示，并给出ACT随训练场景扩展的成功率变化，可供比较空中导航策略的闭环评测。
arXiv · cs.RO官方发布精选AI 评分7575 Watch Your Step：用落脚点预测裁剪感知输入的人形机器人运动策略
arXiv 论文 Watch Your Step 提出预期感知方法，用轻量落脚点预测模型（FPM）仅凭本体感知和速度指令预测未来落脚点，再只在这些落脚点周围采样高程图小块，替代完整机器人中心高程图输入。
推荐理由：论文提出用落脚点预测裁剪高程图输入，训练迭代约为完整地图的三分之一，并零样本迁移到 Unitree G1 实机。
arXiv · cs.RO官方发布精选AI 评分6060 RGF：用关系几何对齐改进世界动作模型的机器人操作
论文提出关系几何强制（RGF），通过对齐成对特征关系而非逐点特征，把冻结3D基础模型的几何先验迁移到世界动作模型（WAM）。作者发现逐点几何对齐虽改善视频特征却会损害动作学习，RGF 用帧内、跨视角和动作-时序三类关系目标，且仅在训练阶段使用，不增加几何分支或推理模块。仿真与实机实验显示，该方法在多种操作场景和 WAM 范式下取得一致提升。
推荐理由：论文指出逐点几何对齐会损害动作学习，提出用成对特征关系迁移3D先验，并在仿真与实机中验证。
arXiv · cs.RO官方发布精选AI 评分6060 DepState-JEPA：以深度锚定状态表征的RGB-D联合嵌入预测架构
作者提出 DepState-JEPA，一种双流 RGB-D 联合嵌入预测架构，通过共享隐状态 DepState 把空间理解与动作条件预测连接起来。该框架基于 V-JEPA 2.1，将深度同时作为互补观测流并把两种模态锚定到度量三维空间，动作条件转移后由同一组解码器预测未来 RGB 与深度特征。
推荐理由：论文提出以深度观测锚定共享隐状态的双流预测架构，可用于比较机器人操作中的状态表征设计。
arXiv · cs.RO官方发布精选AI 评分7171 GGraph：面向机器人部署与学习的 GPU 加速图库开源发布
Yash Rampuria 等作者提出开源 GPU 加速图库 GGraph，同时支持真实机器人部署和大规模策略训练。GGraph 通过 ROS 2 接口接入真实机器人，并支持向量化 GPU 策略训练，内置 3-D 导航、探索和回环整合等任务。单机器人运行时图更新为毫秒级，规模化训练可跨数百个并行机器人，训练实际耗时降低一个数量级；结果来自仿真与真实世界实验。
推荐理由：GGraph 把图构建放到 GPU 上，并同时覆盖 ROS 2 部署与并行训练，为图表示机器人策略提供可复用基础设施。
arXiv · cs.RO官方发布精选AI 评分7272 COWBOY：面向情境化全身操作的可扩展 sim-to-real 框架
COWBOY 是一个可扩展的 sim-to-real 框架，用于学习情境化全身操作，在全身灵巧抓取任务上零样本迁移到数百个物体和杂乱桌面、货架、抽屉等非结构化场景。
推荐理由：论文给出把场景感知全身控制器与局部强化学习专家蒸馏为单一视觉策略的 sim-to-real 框架，可参考其分层训练思路。
arXiv · cs.RO官方发布精选AI 评分6767 AdaDex：用混合灵巧模仿学习可泛化灵巧操作技能
AdaDex 是一个目标条件强化学习框架，能把数秒的单条手-物轨迹（来自动捕或野外 RGB(D) 视频的 HOI 重建）转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两类大规模并行环境上训练共享策略：密集运动跟踪环境注入人类先验，带噪声初始状态与稀疏物体成功奖励的泛化环境迫使技能脱离参考轨迹。
推荐理由：论文提出混合模仿与目标条件强化学习框架，把数秒人手轨迹转成可泛化的灵巧操作技能，并给出跨仿真器与实机迁移结果。
arXiv · cs.RO官方发布精选AI 评分6060 Industrial ReMEmbR 将时空记忆扩展到机器人车队
IndustrialRemembr 提出面向机器人车队的共享时空记忆系统，扩展 NVIDIA ReMEmbR，仅在需要时生成场景描述以降低服务端计算。每台机器人用 NVIDIA Jetson 将视频片段编码为检索嵌入、视觉 token 和重建潜变量，不上传原始相机画面。
推荐理由：论文给出机器人车队共享时空记忆的端侧编码与按需解码方案，并报告缓存 token 解码与未拆分模型输出一致。
arXiv · cs.RO官方发布精选AI 评分6767 CLOSER：面向具身物体目标导航的证据感知主动视觉验证框架
CLOSER提出证据感知的主动验证框架，把物体目标导航中的停止决策当作闭环证据采集，将视觉语言模型验证与主动感知结合。该框架微调开源VLM，把候选目标在各帧的视图标注为目标、非目标或不确定，用基于嵌入的多样性门控挑选互补视图，再由轻量网络融合各视图概率；若融合判断仍不确定，扩散策略仅依据跟踪掩码和深度驱动智能体靠近候选目标，直到判断明确。
推荐理由：论文把停止决策改写为闭环证据采集，用VLM多视角验证加扩散策略主动靠近，为ObjectNav误检问题提供可迁移方法。
arXiv · cs.RO官方发布精选AI 评分6464 GPT-6-Astra 触觉策略在五项 UniVTAC 任务上取得 93.8% 平均成功率
研究提出 GPT-as-Tactile-Policy，将专家演示总结为任务指引和触觉参考，由 GPT-6-Astra 结合多模态观测与交互历史生成控制指令，无需额外机器人专用预训练或逐任务策略微调。在五项 UniVTAC 任务上平均成功率为 93.8%，Insert Hole 任务中触觉反馈将成功率从 31% 提升到 99%。执行分析显示模型能依据接触反馈进行试探与纠正。
推荐理由：论文用接触丰富操作任务检验通用多模态模型能否借触觉反馈调整动作，并给出与专用策略的对比结果。
arXiv · cs.RO官方发布精选AI 评分7474 Physical AI 内部物流研究：在 Idealworks 机器人上评测 NVIDIA 仿真到现实流程
研究在 Idealworks 的 iw.hub 实机上评测 NVIDIA X-Mobility 与 COMPASS 导航策略训练流程，并用 NVIDIA Cosmos 生成仿真到现实变体。
推荐理由：在 Idealworks 实机上对比数字孪生与 Cosmos 增强训练，给出成功率与耗时差距，可作为 sim-to-real 评测参考。
arXiv · cs.RO官方发布精选AI 评分6262 CAPSafe：面向具身智能体情境化动作与规划安全推理的基准
作者提出CAPSafe基准，从动作级和规划级两个层面评估具身智能体的安全推理，其中动作级判断单个动作在给定环境情境下是否安全，规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。
推荐理由：该预印本提出情境化动作与长程规划两级安全基准，并给出九个LLM在危险识别与安全规划间的差距数据。
arXiv · cs.RO官方发布精选AI 评分6060 CPR：从预测几何到动作，学习互补预测表征用于具身操作
作者提出两阶段框架 CPR，从多视角视频片段学习互补的预测几何表征用于具身操作。预训练阶段用冻结的 3D 基础模型提供稠密几何特征，压缩为预测几何表征并保留场景结构及其时序演化，再对几何转移施加动作监督提取运动表征；下游后训练通过几何查询迁移预测几何，运动表征引导动作生成路径上的中间特征。
推荐理由：论文提出两阶段框架，从多视角视频学习互补预测几何表征，并在 LIBERO、SimplerEnv 与实机任务上对比下游策略表现。
arXiv · cs.RO官方发布精选AI 评分6262 HuTact：从人类手物交互数据学习触觉感知手部表征
Yu 等人提出 HuTact 框架，从大规模人类手物交互数据预训练触觉感知手部表征，预训练阶段不需要真实触觉信号。该方法把从人手运动中学到的交互结构迁移到机器人触觉观测，并可用少量无标注机器人交互数据进一步适配。
推荐理由：论文提出用人类手物交互数据预训练触觉表征，并给出抓取预测在少样本下的对比数字，可供触觉学习数据来源参考。
arXiv · cs.RO官方发布精选AI 评分6767 JARVIS：从视觉说明书到自主机器人装配的基准与智能体
JARVIS 是一个无需额外语言指令、由视觉说明书引导自主装配的方法无关基准，包含 8,987 个场景中的 236,679 个 LEGO 装配任务，并从中整理出 50 个任务的 JARVIS-v1 套件用于交互式机器人评测。
推荐理由：该预印本提出视觉说明书引导装配的基准与智能体方法，并给出九款模型在长程任务上的表现差异。
arXiv · cs.RO官方发布精选AI 评分7171 EchoNav：利用历史观测做证据化BEV补全的视觉导航框架
EchoNav 提出一种从短 RGB 序列预测证据化鸟瞰图（BEV）表示的框架，将时序聚合与占据补全结合，用于杂乱环境中的视觉导航。其解码器适配冻结的 VGGT-Omega 特征，并用逐单元权重和可学习的不更新选项融合历史残差提议；BEV 预测器在最新自车坐标系下生成局部地图，不需要深度或相机位姿输入，也不做显式几何变换。证据模型将已观测自由空间单独处理，并在其余支持区域预测占据及相应置信度，训练数据为仿真 RGB 序列及完整与可见性掩码两种占据标注。
推荐理由：论文给出基于历史观测的证据化BEV补全方法，并报告仿真与轮式机器人实机导航成功率对比。
arXiv · cs.RO官方发布精选AI 评分7171 Tactile-ETA：具身任务智能体通过触觉上下文学习完成精细操作
Yubang Wang 等提出 Tactile-ETA，将触觉经验以上下文学习方式注入具身任务智能体，在不更新模型参数的情况下完成精细操作。系统把专家演示中的机器人运动与相机视图、双侧触觉观测配对，保留运动起止触觉图像并在触觉变化明显时加入两个相邻时间点。
推荐理由：论文给出触觉经验通过上下文学习进入具身任务智能体的方法，并对比仿真与实机成功率变化，可供触觉操作研究参考。
arXiv · cs.RO官方发布精选AI 评分6767 EmbodyHOI：面向人形灵巧操作的具身感知手物交互生成
EmbodyHOI 在冻结的流匹配手物交互轨迹生成器采样循环中嵌入针对特定人形本体的可微逆运动学求解器，把本体可达性约束加入生成过程。在 ARCTIC 轨迹上，该方法把 Unitree G1 与 H1-2 的重定向腕部误差从 8.9 cm 降到 0.6 cm，同时保持文本到手物交互的生成质量。
推荐理由：论文把机器人可达性约束放进 HOI 轨迹生成采样过程，并给出 G1 与 H1-2 的实机前仿真对比数据。