跳到正文

NEWS / 动态

#具身智能

按时间浏览,使用右上角筛选切换领域。

10月22日周四
  1. arXiv · cs.RO58

    MPRF:融合指令、电磁跟踪与内窥镜视频预测柔性内窥镜导航回退

    研究提出多模态进度残差融合模型MPRF,用操作指令、电磁跟踪和内窥镜视频预测柔性机器人内窥镜操作者何时回退。在150个回合的结肠体模数据上,MPRF三次随机种子平均AUPRC为0.580±0.007,最强降模态对照为0.511。作者称完整多模态历史是排序优势的主要来源,残差项带来的增量较小且不确定。

  2. arXiv · cs.RO60

    TRACE:基于VLM自适应约束估计的可通行性感知反应式导航

    论文提出TRACE,一个面向地面机器人在非结构化森林环境中自主运行的可通行性感知反应式导航框架。它用正负自然语言提示集生成VLM置信图,经证据融合得到稠密可通行性地图,再提取可通行点并通过百分位分箱与样条或正则化多项式拟合得到左右边界,作为软约束加入NMPC。作者称在真实森林环境中的实验显示,TRACE能在杂乱、可变形和视觉歧义地形中平滑导航。

    推荐理由:论文把VLM置信图与证据融合、NMPC软约束结合,为林间非结构化地形导航提供可迁移方法。

  3. arXiv · cs.RO71

    Soft-Object World Model:面向双臂软体衣物操作的上下文学习世界模型

    作者提出 Soft-Object World Model,用 transformer 骨干在大规模仿真软体交互数据上训练,通过上下文学习从变长部分点云历史推断潜在形状与材质线索,实现生成式全状态估计和动作条件动力学预测。

    推荐理由:论文提出用上下文学习从部分点云历史推断软体衣物形状与材质,并跨本体泛化,为软体操作的世界模型路线提供参考。

  4. arXiv · cs.RO80

    LocoManiLab:面向人形机器人移动操作的数据、策略、控制器与部署统一测试台

    LocoManiLab 提出一个覆盖数据采集与生成、策略训练、评估和物理部署的人形机器人移动操作统一测试台。其任务套件包含五类家庭场景下的 234 个原子与组合任务,配有 51.5 小时仿真遥操作数据;评估覆盖十二个策略在共享控制器下的任务与场景划分及扰动水平、两个策略在五种控制器下的表现,以及示范规模和数据来源混合的研究。

    推荐理由:该预印本把数据采集、策略训练、评估与实机部署整合为统一测试台,可用于比较不同策略与控制器在扰动下的泛化差异。

  5. arXiv · cs.RO58

    CMAR-search:用常识与记忆增强推理在动态交互环境中搜索物体

    论文提出 CMAR-search 框架,基于常识与记忆增强推理(CMAR)构建功能化3D场景图 F3DSG,将环境组织为功能区域及其关联容器。该表示支持宏观区域与微观容器两级分层动作规划,并持续融合实时感知、累积记忆与常识,以应对物体被移动等环境变化。作者称在仿真与真实环境实验中,该方法在动态交互环境物体搜索的成功率和搜索效率上均超过现有基线。

  6. arXiv · cs.RO56

    OASIS:面向动态环境开放词汇检索与导航的在线锚点场景推理系统

    作者提出在线锚点中心场景推理系统 OASIS,用稀疏锚点节点统一存储语义描述、视觉特征与几何状态,支持在线建图、复杂开放词汇检索和导航。系统复用导航中采集的瞬时观测,对场景变化后移动的物体重新定位,并以紧凑记忆按需提取证据、做分层检索。仿真与真实环境实验覆盖标准检索基准及静态、动态导航任务,结果显示其可完成开放词汇检索与导航并重定位位移物体。

  7. arXiv · cs.RO65

    CARE:critic 引导的云端-本地具身智能体自适应执行框架

    Wei Zhang 等人提出 CARE,一个由 critic 引导的自适应执行框架,动态决定何时将控制从本地执行器升级到更强的云端模型。轻量 critic 模型监测执行可靠性并在本地执行不可靠时触发升级,升级后控制持续到智能体恢复,避免逐步切换;共享 handoff memory 在切换时保留执行上下文与任务进度。

    推荐理由:论文提出本地执行与云端模型之间的动态升级机制,并给出成功率与动作间隔时延的对比数据,可供云端-本地协同部署参考。

  8. arXiv · cs.RO52

    预注册研究:具身智能体的经验应存入策略权重还是外部检索

    一项预注册研究比较具身智能体的经验应固化进策略权重还是外部存储并在推理时检索。在视觉条件到达任务上,把记忆增强行为蒸馏进权重仅比纯动作对照高1个百分点且不显著,作者因检验功效不足撤回而非否定该主张;把教师冻结的检索缓冲接到固定学生权重上则提升34个百分点(z=5.15),达到记忆增强教师合并参考值49.3%,预注册协议对比也一致(+23个百分点,z=3.36)。

  9. arXiv · cs.RO71

    CW-WAM:面向力敏感操作的结构化接触力旋量世界动作模型

    Houzhu Ding 等提出 CW-WAM,一个联合预测视频、运动与接触力旋量的世界动作模型,将运动与力旋量作为统一建模目标并输出时间对齐的运动-力旋量块作为控制参考。

    推荐理由:论文把接触力旋量纳入世界动作模型,并给出插入与擦拭任务的力参考误差对比,可供力控操作研究参考。

  10. arXiv · cs.RO48

    多模态具身智能体:从计算机使用到机器人使用的统一能力视角框架 PAPAV

    研究提出以能力为中心的统一框架 PAPAV,将多模态具身智能体(MMEA)拆解为感知状态、预判动作效果、规划可行路径、通过接口或本体执行、验证结果五项功能,并据此比较 MMEA 与多模态智能体及机器人系统。在 64 个基准中,显式评估集中在“执行”,仅 5 个评估“预判”、3 个评估“验证”。从部分可观测到结果不可验证的五项物理约束,使可预先固定的选择更少、纠错空间更小。

  11. arXiv · cs.RO31

    多机器人网络动态微隔离功能的实验室实现

    一份报告描述了在物联网多机器人网络中,利用商用软件定义微隔离工具实现动态微隔离功能的实验室实例。研究定义了基于资产功能与健康标签自适应调整的细粒度动态分段策略,并完成策略的软件自动化实施。该方案可实时自动隔离指定威胁,同时保持未受影响业务正常运行。

  12. arXiv · cs.RO60

    TARSphere:面向长时程具身智能体的全栈框架与仿真基准

    TARSphere 是一个面向长时程具身智能体的机器人全栈框架,包含在物理仿真器中运行机器人策略的 TARSphere-Infra、让冻结多模态大模型通过多级可执行技能行动的 TARSphere-Harness,以及覆盖30个室内场景、360个回合的 TARSphere-Bench。

    推荐理由:该预印本提出面向长时程具身智能体的全栈框架与360个回合的仿真基准,并给出8个MLLM的对比结果。

10月21日周三
  1. arXiv · cs.RO60

    RangeNav:面向机器人导航的LiDAR距离图像任务对齐预训练

    RangeNav 提出一个仅 183k 参数的 LiDAR 距离图像编码器,完全在合成数据上预训练,用于移动机器人导航。该方法采用各向异性卷积和循环填充处理距离图像的极端长宽比与方位接缝,并以距离重建、语义分割和 BEV 预测组成的导航对齐目标预训练后冻结用于策略学习。

    推荐理由:论文给出仅183k参数的LiDAR距离图像编码器预训练方案,并对比不同监督目标对导航成功率的影响。

  2. arXiv · cs.RO38

    机器人泛化不止靠数据量:零样本能力驱动的多样性路径

    研究将物理AI的零样本泛化表述为对部署分布的覆盖,指出同一批采集者增加样本只能缓慢缩小未见区域,而每个新贡献者都能扩展该区域。为此提出一种机器人动作共享潜空间,结合多模态对齐、生成式增强与噪声标签学习,并以在标准易用机器人Origami上构建应用的开发者社区作为多样化数据来源,最后给出将实机零样本成功率与贡献数据多样性关联的可检验假设和评估协议。

  3. arXiv · cs.RO60

    OMAR:面向场景货架整理的开放世界多属性推理方法

    OMAR 提出一套开放世界多属性推理流程,让机器人在没有预设物体词表和物体-容器对应关系的情况下,推断货架的隐含组织方式并摆放新物体。方法先用视觉语言模型给出标签及内容、包装类型等属性,经分割、深度和多视角关联完成跨视角实例定位,构建实例级3D场景图,再由LLM推理摆放排序,最后做几何与运动学可行性检查。作者称实验在实例映射和摆放一致性上优于单视角语言定位与纯几何基线,可自主摆放此前未见过的物体。

    推荐理由:论文提出用视觉语言模型与LLM推理货架隐含组织规则,为开放世界物体摆放提供可迁移的推理流程。

  4. arXiv · cs.RO78

    SpatialDex:从纯RGB人类视频重建增强视觉运动预训练,学习3D双臂灵巧操作

    SpatialDex提出一种从纯RGB人类视频学习3D双臂灵巧操作的框架,通过重建场景几何并结合手部运动估计进行视觉运动预训练。该方法将重建几何同时作为策略输入和预测目标,用门控残差融合把预训练视觉语言模型的token网格锚定到该几何上,并预测未来场景几何与手腕、手指动作。

    推荐理由:论文给出从纯RGB人类视频重建场景几何并联合预训练双臂灵巧策略的方法,附仿真与实机对比结果。

  5. arXiv · cs.RO67

    CausGround:面向自适应具身规划的因果交互接地框架

    CausGround 是一个非参数化的因果交互接地框架,把交互经验提炼为以动作为中心的因果知识,用于具身规划。它识别动作前置条件与效果,并以分解式世界状态表示组织物体属性和物体间关系,规划时把任务相关因果依赖接地到当前观测,支持前置条件的反向推理与效果的正向推理。

    推荐理由:论文把交互经验整理成可复用的动作前置条件与效果知识,并在仿真基准和实机操作上给出对比结果。

  6. arXiv · cs.RO71

    AirPlayground:跨多种重建环境的空中导航基准

    AirPlayground 是一个用于训练和评估空中导航策略的统一基准,构建了覆盖室内、城市户外和植被场景的94个3D高斯泼溅(3DGS)环境,并配有对齐的碰撞几何。

    推荐理由:该预印本公开了94个3DGS场景与94K飞行演示,并给出ACT随训练场景扩展的成功率变化,可供比较空中导航策略的闭环评测。

  7. arXiv · cs.RO56

    Reading the Room:将稀疏VSLAM地图配准到部分建成环境的楼层平面图

    作者提出Reading the Room(RR),一种全局到局部的方法,用于把尺度不确定的稀疏语义VSLAM地图配准到部分建成的楼层平面图。其核心是定义一个可微、类别平衡的语义几何能量函数来统领整个流程,并提供两种全局初始化方案:利用单个不准确的用户对应点,或用跨模态匹配网络全局估计。

  8. arXiv · cs.RO75

    Watch Your Step:用落脚点预测裁剪感知输入的人形机器人运动策略

    arXiv 论文 Watch Your Step 提出预期感知方法,用轻量落脚点预测模型(FPM)仅凭本体感知和速度指令预测未来落脚点,再只在这些落脚点周围采样高程图小块,替代完整机器人中心高程图输入。

    推荐理由:论文提出用落脚点预测裁剪高程图输入,训练迭代约为完整地图的三分之一,并零样本迁移到 Unitree G1 实机。

  9. arXiv · cs.RO38

    面向可穿戴机器人的可供性分割扩展至多物体图像

    针对上肢假肢设备视觉抓取管线在多物体场景下难以区分目标的问题,研究提出在硬件中加入激光指针实现物体消歧,并配合混合现实策略复用已有高质量分割掩码程序化生成逼真图像,对识别可抓取部位的深度卷积网络重新训练。实验结果显示,该管线相比现有方案将目标消歧准确率最高提升9%,同时保持计算开销不变。

  10. arXiv · cs.RO60

    RGF:用关系几何对齐改进世界动作模型的机器人操作

    论文提出关系几何强制(RGF),通过对齐成对特征关系而非逐点特征,把冻结3D基础模型的几何先验迁移到世界动作模型(WAM)。作者发现逐点几何对齐虽改善视频特征却会损害动作学习,RGF 用帧内、跨视角和动作-时序三类关系目标,且仅在训练阶段使用,不增加几何分支或推理模块。仿真与实机实验显示,该方法在多种操作场景和 WAM 范式下取得一致提升。

    推荐理由:论文指出逐点几何对齐会损害动作学习,提出用成对特征关系迁移3D先验,并在仿真与实机中验证。

  11. arXiv · cs.RO60

    DepState-JEPA:以深度锚定状态表征的RGB-D联合嵌入预测架构

    作者提出 DepState-JEPA,一种双流 RGB-D 联合嵌入预测架构,通过共享隐状态 DepState 把空间理解与动作条件预测连接起来。该框架基于 V-JEPA 2.1,将深度同时作为互补观测流并把两种模态锚定到度量三维空间,动作条件转移后由同一组解码器预测未来 RGB 与深度特征。

    推荐理由:论文提出以深度观测锚定共享隐状态的双流预测架构,可用于比较机器人操作中的状态表征设计。

  12. arXiv · cs.RO71

    GGraph:面向机器人部署与学习的 GPU 加速图库开源发布

    Yash Rampuria 等作者提出开源 GPU 加速图库 GGraph,同时支持真实机器人部署和大规模策略训练。GGraph 通过 ROS 2 接口接入真实机器人,并支持向量化 GPU 策略训练,内置 3-D 导航、探索和回环整合等任务。单机器人运行时图更新为毫秒级,规模化训练可跨数百个并行机器人,训练实际耗时降低一个数量级;结果来自仿真与真实世界实验。

    推荐理由:GGraph 把图构建放到 GPU 上,并同时覆盖 ROS 2 部署与并行训练,为图表示机器人策略提供可复用基础设施。

  13. arXiv · cs.RO72

    COWBOY:面向情境化全身操作的可扩展 sim-to-real 框架

    COWBOY 是一个可扩展的 sim-to-real 框架,用于学习情境化全身操作,在全身灵巧抓取任务上零样本迁移到数百个物体和杂乱桌面、货架、抽屉等非结构化场景。

    推荐理由:论文给出把场景感知全身控制器与局部强化学习专家蒸馏为单一视觉策略的 sim-to-real 框架,可参考其分层训练思路。

  14. arXiv · cs.RO58

    面向辅助机器人的 LLM 避障导航解释框架

    作者提出 Context-Aware Navigation Explanation 框架,用大语言模型为辅助机器人解释导盲犬式的避障与导航动作,并将感知上下文与规划的未来轨迹结合生成自然语言解释。系统部署在 Unitree Go2 平台的室内导航场景中,评估不同解释上下文配置对用户信任和解释满意度的影响。结果显示解释满意度与信任呈强正相关,且将障碍物信息与未来轨迹结合的解释效果最好。

  15. arXiv · cs.RO58

    inr2action 提出将机器人片段编码为神经隐式表示的参数空间记忆框架

    inr2action 提出参数空间记忆框架,将每个机器人片段拟合为神经隐式表示,其权重增量作为记忆,大小不随片段帧数变化。学习到的投影器把权重增量映射为 token 嵌入,用于语言模型问答和关节指令回归解码,查询时无需检索原始帧。在 RoboMME 上,语言模型在所有问题类型上超过随机水平,解码器平均 R² 为 0.51;将权重增量替换为匹配噪声后性能下降 11.4 点,随机初始化的权重无法解码。

  16. arXiv · cs.RO67

    AdaDex:用混合灵巧模仿学习可泛化灵巧操作技能

    AdaDex 是一个目标条件强化学习框架,能把数秒的单条手-物轨迹(来自动捕或野外 RGB(D) 视频的 HOI 重建)转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两类大规模并行环境上训练共享策略:密集运动跟踪环境注入人类先验,带噪声初始状态与稀疏物体成功奖励的泛化环境迫使技能脱离参考轨迹。

    推荐理由:论文提出混合模仿与目标条件强化学习框架,把数秒人手轨迹转成可泛化的灵巧操作技能,并给出跨仿真器与实机迁移结果。

  17. arXiv · cs.RO60

    Industrial ReMEmbR 将时空记忆扩展到机器人车队

    IndustrialRemembr 提出面向机器人车队的共享时空记忆系统,扩展 NVIDIA ReMEmbR,仅在需要时生成场景描述以降低服务端计算。每台机器人用 NVIDIA Jetson 将视频片段编码为检索嵌入、视觉 token 和重建潜变量,不上传原始相机画面。

    推荐理由:论文给出机器人车队共享时空记忆的端侧编码与按需解码方案,并报告缓存 token 解码与未拆分模型输出一致。

  18. arXiv · cs.RO58

    CoGaussian:基于高斯表示的开放词汇协同3D场景理解框架

    CoGaussian 提出一种基于高斯的开放词汇协同语义占据预测框架,把场景表示为与基础模型对齐的稀疏3D高斯,用于多智能体间几何与语义信息的通信和融合。作者指出,现有协同语义占据方法依赖稠密3D体素标注且只能识别预定义语义类别。在 Semantic-OPV2V 基准上,该方法优于现有的开放词汇单智能体方法。

  19. arXiv · cs.RO67

    CLOSER:面向具身物体目标导航的证据感知主动视觉验证框架

    CLOSER提出证据感知的主动验证框架,把物体目标导航中的停止决策当作闭环证据采集,将视觉语言模型验证与主动感知结合。该框架微调开源VLM,把候选目标在各帧的视图标注为目标、非目标或不确定,用基于嵌入的多样性门控挑选互补视图,再由轻量网络融合各视图概率;若融合判断仍不确定,扩散策略仅依据跟踪掩码和深度驱动智能体靠近候选目标,直到判断明确。

    推荐理由:论文把停止决策改写为闭环证据采集,用VLM多视角验证加扩散策略主动靠近,为ObjectNav误检问题提供可迁移方法。

  20. arXiv · cs.RO64

    GPT-6-Astra 触觉策略在五项 UniVTAC 任务上取得 93.8% 平均成功率

    研究提出 GPT-as-Tactile-Policy,将专家演示总结为任务指引和触觉参考,由 GPT-6-Astra 结合多模态观测与交互历史生成控制指令,无需额外机器人专用预训练或逐任务策略微调。在五项 UniVTAC 任务上平均成功率为 93.8%,Insert Hole 任务中触觉反馈将成功率从 31% 提升到 99%。执行分析显示模型能依据接触反馈进行试探与纠正。

    推荐理由:论文用接触丰富操作任务检验通用多模态模型能否借触觉反馈调整动作,并给出与专用策略的对比结果。

10月20日周二
  1. arXiv · cs.RO62

    CAPSafe:面向具身智能体情境化动作与规划安全推理的基准

    作者提出CAPSafe基准,从动作级和规划级两个层面评估具身智能体的安全推理,其中动作级判断单个动作在给定环境情境下是否安全,规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。

    推荐理由:该预印本提出情境化动作与长程规划两级安全基准,并给出九个LLM在危险识别与安全规划间的差距数据。