跳到正文

NEWS / 动态

#机器人学习

按时间浏览,使用右上角筛选切换领域。

10月21日周三
  1. arXiv · cs.RO71

    GGraph:面向机器人部署与学习的 GPU 加速图库开源发布

    Yash Rampuria 等作者提出开源 GPU 加速图库 GGraph,同时支持真实机器人部署和大规模策略训练。GGraph 通过 ROS 2 接口接入真实机器人,并支持向量化 GPU 策略训练,内置 3-D 导航、探索和回环整合等任务。单机器人运行时图更新为毫秒级,规模化训练可跨数百个并行机器人,训练实际耗时降低一个数量级;结果来自仿真与真实世界实验。

    推荐理由:GGraph 把图构建放到 GPU 上,并同时覆盖 ROS 2 部署与并行训练,为图表示机器人策略提供可复用基础设施。

  2. arXiv · cs.RO60

    HyperDrone:每秒数百万帧的四旋翼仿真到现实迁移

    HyperDrone 是一个面向高性能批量渲染的四旋翼仿真器,作者称其速度超过现有先进批量四旋翼仿真器 20 倍以上。它结合优化的多旋翼动力学与光线追踪引擎 HyperLux,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,可渲染 RGB、深度、语义/实例分割、表面法线和光流,并在消费级 GPU 上达到数百万帧每秒。

    推荐理由:论文给出比现有批量四旋翼仿真器快 20 倍以上的渲染方案,并把纯仿真训练的偏航控制策略迁移到 Crazyflie 实机。

  3. arXiv · cs.RO38

    面向协作迭代任务的动态博弈学习框架

    研究提出一种适用于非线性非凸动态博弈的通用学习框架,利用已执行可行轨迹构建采样联合安全集和各玩家代价函数,每个时间步由智能体共同选择采样终端状态及到达该状态的广义纳什均衡,仅当满足玩家约定的协作接受规则时才采纳新解。框架支持个体不退化要求及加权代价、纳什议价等选择准则,并证明递归可行性、刻画各玩家代价随迭代不增的条件。

  4. arXiv · cs.RO62

    FLEX:用语言引导机器人任务特征表征编辑

    MIT 等机构作者提出 Flexible Feature Editing Pipeline(FLEX),用语言模型根据自然语言纠正迭代编辑机器人内部任务特征表征,包含添加缺失特征、泛化已有具体特征、屏蔽无关特征三种操作。

    推荐理由:论文提出用语言模型迭代增删与泛化任务特征的表征编辑流程,并在导航、Franka 操作与真人语言纠正实验中比较不同编辑方式。

  5. arXiv · cs.RO58

    inr2action 提出将机器人片段编码为神经隐式表示的参数空间记忆框架

    inr2action 提出参数空间记忆框架,将每个机器人片段拟合为神经隐式表示,其权重增量作为记忆,大小不随片段帧数变化。学习到的投影器把权重增量映射为 token 嵌入,用于语言模型问答和关节指令回归解码,查询时无需检索原始帧。在 RoboMME 上,语言模型在所有问题类型上超过随机水平,解码器平均 R² 为 0.51;将权重增量替换为匹配噪声后性能下降 11.4 点,随机初始化的权重无法解码。

  6. arXiv · cs.RO58

    学习增强观测器实现无传感器任务零空间柔顺控制

    Nuo Chen 等人提出一种将鲁棒力旋量观测器与位姿-力混合控制器结合的无传感器物理人机交互框架。该方法用神经网络补偿系统摩擦与未建模动态以提升观测器性能,并通过任务零空间分解分离关节速度、降低人类扰动对观测器的影响。实验结果显示该框架在保持位姿与力跟踪性能的同时给出力旋量估计,作者称其可应用于没有力/力矩传感器的机械臂平台。

  7. arXiv · cs.RO72

    UniWALM:统一世界-动作-语言模型用于具身机器人控制

    UniWALM 提出统一世界-动作-语言模型,在单一混合Transformer骨干中联合学习视频、动作与语言,各模态既作条件信号也作监督目标,并在同一次解码中输出子任务与文本记忆,无需独立规划阶段。

    推荐理由:论文把视频、动作与语言放进同一混合Transformer骨干联合生成,并给出记忆依赖任务与实机对比数据,可供比较统一建模路线。

  8. arXiv · cs.RO71

    AgenticRoboRL:将编码智能体后训练引入具身机器人规划器

    AgenticRoboRL提出一种跨不同机器人执行框架后训练规划器的框架,训练方案结合监督微调与多轮强化学习。为适配VLA技能调用和控制代码生成等不同执行机制,该方法用框架专属适配器把记录下来的规划器交互与任务结果关联起来,同时保持执行组件固定。

    推荐理由:论文提出跨不同机器人执行框架的规划器后训练方法,并给出LIBERO-PRO上9B规划器成功率从18.1%升至71.0%的对比。

  9. arXiv · cs.RO71

    REACT:用VLM引导接触重定向学习人形机器人交互策略

    REACT 是一个从人人演示中学习可部署人形机器人交互策略的框架,把语义接触结构作为连接演示处理、交互学习与机载控制的监督信号。其中 VLM 引导的接触建模与重定向流程识别人人交互中的语义接触并迁移到人形机器人几何上,特权交互策略借助接触奖励学习行为后,被蒸馏为仅用机载传感的自我中心深度策略,并引入生成式伙伴状态建模以应对遮挡。

    推荐理由:论文给出从人到人形机器人接触迁移并蒸馏为机载深度策略的完整流程,附仿真与Unitree G1实机结果。

10月20日周二
  1. arXiv · cs.RO63

    GPL:为视觉-语言-动作模型引入生成式计划隐变量

    作者提出生成式计划隐变量(GPL),把VLA的推理状态表示为对计划(如选哪个物体、抓取或路线)的低维条件分布,使计划可采样、可按请求选择、可按部署结果重加权,且无需重新训练VLA。

    推荐理由:论文把VLA的推理状态建模为可采样的计划分布,并在仿真操作任务上对比了计划引导与动作分布引导的差异。

  2. arXiv · cs.RO60

    CPR:从预测几何到动作,学习互补预测表征用于具身操作

    作者提出两阶段框架 CPR,从多视角视频片段学习互补的预测几何表征用于具身操作。预训练阶段用冻结的 3D 基础模型提供稠密几何特征,压缩为预测几何表征并保留场景结构及其时序演化,再对几何转移施加动作监督提取运动表征;下游后训练通过几何查询迁移预测几何,运动表征引导动作生成路径上的中间特征。

    推荐理由:论文提出两阶段框架,从多视角视频学习互补预测几何表征,并在 LIBERO、SimplerEnv 与实机任务上对比下游策略表现。

  3. arXiv · cs.RO71

    DirectWAM:将世界-动作模型蒸馏为单步预测的机器人控制方法

    DirectWAM 通过动作充分蒸馏把预训练视频与动作专家转为单步预测器,在 LIBERO 四个套件平均成功率 97.1%、RoboTwin 2.0 上 85.4%,推理延迟较完整迭代教师降低 28.0 倍。

    推荐理由:论文分析世界-动作模型中视觉预测误差对动作的影响,提出单步蒸馏方法,并给出仿真基准与实机任务结果。

  4. arXiv · cs.RO58

    FIT-MAC:面向鲁棒 VLA 模型的闭环多智能体框架

    FIT-MAC 是一个失败感知的闭环多智能体控制框架,在推理阶段为 VLA 策略增加控制层以提升鲁棒性。该框架由 Planner、Grounder、Verifier 和 Correction 四个智能体组成,分别负责任务解析、视觉目标绑定、执行进度跟踪与失败类型区分,以及将干预路由到目标重绑定或有界抓取与放置恢复;无需干预时仍由预训练 VLA 生成动作。

  5. arXiv · cs.RO58

    PVF:用时序差分学习概率可达-规避值函数

    作者提出概率可达-规避值函数(PVF),一种适用于黑盒系统的自监督方法,在随机且可能无界的扰动下把可达-规避集定义为满足一定可达-规避概率的状态。该方法在复杂度递增的系统上、直至Hopper运动任务,与基于HJR的基线对比,结果显示在扰动非对抗时,概率集比对抗式HJR集更不保守、更准确。论文为arXiv预印本。

  6. arXiv · cs.RO67

    PACT-VLA:用提交前观测验证候选动作块,缓解VLA异步推理延迟

    PACT-VLA 提出一种免训练框架,用推理起始观测生成候选动作块,再用提交前观测从中选出完整动作块,以缓解异步推理延迟导致的成功率下降。其 FlowRes 评分衡量候选隐含流方向与冻结策略在提交前观测下预测速度的残差,无需单独验证器;流水线实现使选择不增加控制步延迟。

    推荐理由:论文针对异步推理的观测滞后问题提出免训练的动作块选择方法,并给出仿真与实机成功率对比。

  7. arXiv · cs.RO60

    LocoPilot:单操作员双边遥操作采集四足移动操作策略数据

    LocoPilot 是一个单操作员双边遥操作与数据采集框架,部署在 12 自由度 Unitree Go2 四足机器人上,该机器人搭载 6 自由度 AgileX Piper L 机械臂、Intel RealSense D435 腕部相机和 D405 头部相机。

    推荐理由:论文给出单操作员双边遥操作采集四足加机械臂演示的完整方案,并展示从采集到策略部署的同一动作接口。

  8. arXiv · cs.RO62

    HuTact:从人类手物交互数据学习触觉感知手部表征

    Yu 等人提出 HuTact 框架,从大规模人类手物交互数据预训练触觉感知手部表征,预训练阶段不需要真实触觉信号。该方法把从人手运动中学到的交互结构迁移到机器人触觉观测,并可用少量无标注机器人交互数据进一步适配。

    推荐理由:论文提出用人类手物交互数据预训练触觉表征,并给出抓取预测在少样本下的对比数字,可供触觉学习数据来源参考。

  9. arXiv · cs.RO62

    EventSync:面向历史依赖操作的事件驱动记忆更新框架

    EventSync 是一个分层框架,通过事件驱动的记忆更新协调任务推理与动作执行:视觉语言模型依据任务计划和交互历史生成子目标,视觉-语言-动作模型负责执行,轻量 Event Monitor 结合视觉观测与末端执行器轨迹判断当前子目标是否完成,只有取得完成证据后才写入已完成子目标历史并触发下一步推理。

    推荐理由:论文提出事件驱动的子目标完成判定与记忆更新机制,并在 RoboMME 基准和四类实机任务上给出结果,可供做长程操作记忆的研究者参考。

  10. arXiv · cs.RO58

    PointHand研究:遥操作手部关键点渲染如何影响新手演示与策略学习

    研究提出遥操作界面PointHand,将多指机器人手渲染为指尖与关节的稀疏关键点,并在仿真杯子入盒任务中比较三种渲染方式。18名新手与4名专家共采集2200次试验,看到拇指与食指被强调的新手在600次试验中获得441次成功演示,而看到真实手形的新手为320次。

  11. arXiv · cs.RO71

    枚举引导训练神经 Hamilton-Jacobi 安全证书

    作者提出一种验证引导的训练框架,用安全约束的概率枚举检测前向不变性违规,生成比标准对抗攻击方法更精确刻画失败边界的反例集。用该表示微调预训练的 HJ 值函数,在所有测试基准上得到更大的认证区域并缩短认证时间。作者还基于精炼后的证书设计部署期屏蔽机制,在基于物理的 Isaac Sim 环境和真实自主竞速实验中,相比标称控制器和基于线性二次调节(LQR)的备份策略实现零安全约束违规。

    推荐理由:论文把安全约束枚举用于微调神经 HJ 证书,并在 Isaac Sim 与实车竞速中对比标称控制器和 LQR 备份策略。

  12. arXiv · cs.RO71

    多视角潜动作预训练提升跨本体机器人学习

    作者提出一种多视角潜动作模型(LAM),用交叉注意力融合同步多相机视角以消解深度与遮挡,再压缩为潜动作,并接入由潜专家与动作专家经顺序流匹配耦合、冻结VLM骨干的策略。

    推荐理由:论文比较多视角与单视角潜动作预训练在6D动作可解码性和跨本体迁移上的差异,并给出实机验证。

  13. arXiv · cs.RO58

    AWLS:面向单步生成式机器人操作策略的优势加权潜空间引导

    作者提出 AWLS,一种针对冻结的单步生成式机器人操作策略的离线后训练方法,在不更新解码器的情况下学习观测条件化的潜噪声残差修正。该方法以优势加权动作重建目标训练该残差噪声整形器,优势值经分离和尺度归一化后仅作为示教动作的监督权重,避免使用 critic 梯度更新策略并保留单步推理。

  14. arXiv · cs.RO60

    经验记忆何时帮助闭环 LLM 驾驶智能体:受控评测揭示热启动池与 token 对照的影响

    研究在单一经审计的 HighwayEnv 测试台(1Hz,决定性对比使用 gpt-4o-mini)上受控评测经验记忆对闭环 LLM 驾驶智能体的作用,将热启动池视为重采样随机因子(十个不相交池)并加入 token 匹配的无关填充对照。

    推荐理由:在单一 HighwayEnv 测试台上用重采样热启动池与 token 匹配对照,检验经验记忆对闭环 LLM 驾驶智能体的增益是否稳健。

  15. arXiv · cs.RO56

    PLaCA:学习 patch 级未来潜变量变化以生成机器人动作

    PLaCA 提出一种以未来潜变量变化为核心的世界到动作框架,直接从当前多模态输入预测空间结构化的 patch 级未来潜变量变化,并引入 patch 级变化感知监督和未来到动作接口。在 LIBERO-Long 上成功率为 79.0%,比仅动作基线提升 5.0 个百分点;在 CALVIN 上平均序列长度从 2.784 提升到 3.564。第二阶段训练仅更新 2.95% 的模型参数。

  16. arXiv · cs.RO71

    Tactile-ETA:具身任务智能体通过触觉上下文学习完成精细操作

    Yubang Wang 等提出 Tactile-ETA,将触觉经验以上下文学习方式注入具身任务智能体,在不更新模型参数的情况下完成精细操作。系统把专家演示中的机器人运动与相机视图、双侧触觉观测配对,保留运动起止触觉图像并在触觉变化明显时加入两个相邻时间点。

    推荐理由:论文给出触觉经验通过上下文学习进入具身任务智能体的方法,并对比仿真与实机成功率变化,可供触觉操作研究参考。

  17. arXiv · cs.RO38

    异构多机器人任务分配中的机器人-任务适配性评估方法比较

    研究比较了10种确定性方法和2种基于LLM的变体,涵盖规则、相似度、需求导向、模糊与语义方法,评估异构多机器人任务分配中机器人-任务适配性的打分、排序、可行性与最优机器人选择。在相同场景下各方法常给出不一致结果,通用相似度指标可能违背单侧需求满足解释下的预期性质,LLM打分还引入随机性与语言敏感性。结果表明适配性应作为显式建模选择,在分配前考量其假设、鲁棒性与决策后果。

  18. arXiv · cs.RO64

    AIM:通过动作影响力最大化训练可控世界模型

    论文提出 Action Influence Maximization(AIM)算法,主动采集训练数据以提升数据集的动作影响力,从而改善动作条件世界模型对指令的响应。

    推荐理由:论文把动作条件视频模型忽略指令归因于训练数据的动作影响力上限,并给出主动采数据的改进方法,可用于理解世界模型可控性。

  19. arXiv · cs.RO58

    Learning to Be Different:面向组合式扩散策略的组件专门化方法

    论文提出一种可直接替换的分数去相关辅助损失,用于训练组合式扩散策略中的组件专门化。作者指出,现有训练目标不鼓励因子专门化,常使去噪器不可解释、组合预测退化为相同副本的平均;新方法直接惩罚组件噪声预测之间的重叠,架构改动和计算开销都很小。作者称在多个基准上,该损失持续减少组件间可测量的重复计数、改善任务分解,并在不损害多任务性能的情况下产生行为上有意义的专门化。

  20. arXiv · cs.RO58

    面向轨道服务的仿壁虎黏附界面交互状态识别研究

    论文提出一种实时交互感知框架,利用嵌入式电容传感让仿壁虎干黏附界面在黏附全周期内估计接触状态,并划分空闲、接近、接触、啮合、脱离五种离散状态。基于实验采集并增强的传感器数据,六种轻量机器学习模型的对比中随机森林离线分类准确率最高,为95.65%。在线部署时随机森林结合规则状态机把准确率从78.02%提升到93.14%,宏F1为0.9343,推理周期53毫秒。

  21. arXiv · cs.RO80

    PhysWord:用原子动作词构建机器人操作潜在推理的预印本模型

    PhysWord 是一个先推理后动作的机器人基础模型,用原子动作动词作为共享语义锚点,把物理动态的连续表示组织成可复用的推理原语。模型预测未来原子动作词,并将其上下文隐状态与对应未来观测导出的潜在目标对齐,再按时间自回归预测 Physical Words 以捕捉执行阶段转换。

    推荐理由:论文提出以原子动作动词为语义锚点的推理先验框架,并给出仿真基准与实机操作的成功率对比。

  22. arXiv · cs.RO74

    GPT-6 Astra 被验证可直接使用视触觉图像完成接触密集操作

    作者在 arXiv 预印本中报告,GPT-6 Astra 可直接解读基于视觉的触觉图像,并通过其现有视觉接口在 19 个仿真 UniVTAC 与 OpenViTac 任务上实现少样本闭环控制,每个设置采样 210 个场景种子。

    推荐理由:论文在仿真触觉基准上比较通用多模态模型与专用策略,并给出视觉单独输入时的对照结果。