AgenticRoboRL:将编码智能体后训练引入具身机器人规划器
AgenticRoboRL提出一种跨不同机器人执行框架后训练规划器的框架,训练方案结合监督微调与多轮强化学习。为适配VLA技能调用和控制代码生成等不同执行机制,该方法用框架专属适配器把记录下来的规划器交互与任务结果关联起来,同时保持执行组件固定。
推荐理由:论文提出跨不同机器人执行框架的规划器后训练方法,并给出LIBERO-PRO上9B规划器成功率从18.1%升至71.0%的对比。
内容类型
按内容形态浏览
327 条精选近 30 天 327 条共收录 632 条
AgenticRoboRL提出一种跨不同机器人执行框架后训练规划器的框架,训练方案结合监督微调与多轮强化学习。为适配VLA技能调用和控制代码生成等不同执行机制,该方法用框架专属适配器把记录下来的规划器交互与任务结果关联起来,同时保持执行组件固定。
推荐理由:论文提出跨不同机器人执行框架的规划器后训练方法,并给出LIBERO-PRO上9B规划器成功率从18.1%升至71.0%的对比。
SceneRig 是一个智能体系统,可将单张图像重建为可编辑、可直接用于仿真的3D场景。它结合几何、视觉与物理工具,并在物理仿真器内执行编辑与验证循环以获得物理稳定性。作者称,相比基线方法,SceneRig 在实例分割、物体外观和3D摆放上有所改善,其场景能更准确地预测真实机器人策略结果,并更可靠地支持已录制操作在无需轨迹适配的情况下回放。
推荐理由:论文提出从单张图像重建可仿真场景的智能体系统,并给出下游机器人策略预测与操作回放的对比结果。
REACT 是一个从人人演示中学习可部署人形机器人交互策略的框架,把语义接触结构作为连接演示处理、交互学习与机载控制的监督信号。其中 VLM 引导的接触建模与重定向流程识别人人交互中的语义接触并迁移到人形机器人几何上,特权交互策略借助接触奖励学习行为后,被蒸馏为仅用机载传感的自我中心深度策略,并引入生成式伙伴状态建模以应对遮挡。
推荐理由:论文给出从人到人形机器人接触迁移并蒸馏为机载深度策略的完整流程,附仿真与Unitree G1实机结果。
SuperMimic 提出用单一可微世界模型摊销人形机器人全身运动跟踪的学习,世界模型与跟踪策略在同一循环中联合训练,并通过短时想象 rollout 的反向传播为策略提供解析梯度。
推荐理由:论文用单一可微世界模型摊销多动作学习,给出与基线在GPU耗时和失败动作数上的对比,并报告在Unitree G1上的迁移。
CLOSER提出证据感知的主动验证框架,把物体目标导航中的停止决策当作闭环证据采集,将视觉语言模型验证与主动感知结合。该框架微调开源VLM,把候选目标在各帧的视图标注为目标、非目标或不确定,用基于嵌入的多样性门控挑选互补视图,再由轻量网络融合各视图概率;若融合判断仍不确定,扩散策略仅依据跟踪掩码和深度驱动智能体靠近候选目标,直到判断明确。
推荐理由:论文把停止决策改写为闭环证据采集,用VLM多视角验证加扩散策略主动靠近,为ObjectNav误检问题提供可迁移方法。
作者提出 FRDV(Fast Retargeting with Dynamics Validation),一个由快速约束运动学重定向和动力学校验两阶段组成的人形机器人运动重定向框架。
推荐理由:论文给出快速运动重定向与动力学校验两阶段流程,并对比 GMR、ProtoMotions 的跟踪成功率,可供人形机器人学习数据管线参考。
论文提出 MARE(Modular Autonomy and Rendering Environment),一个基于 Unreal Engine 5 和 ROS 2 的开源月面巡视器感知与自主仿真套件。
推荐理由:论文给出月面巡视器仿真器的三组件构成与阴影真值验证指标,可供做低光照感知与自主导航的研究者参考。
研究提出 GPT-as-Tactile-Policy,将专家演示总结为任务指引和触觉参考,由 GPT-6-Astra 结合多模态观测与交互历史生成控制指令,无需额外机器人专用预训练或逐任务策略微调。在五项 UniVTAC 任务上平均成功率为 93.8%,Insert Hole 任务中触觉反馈将成功率从 31% 提升到 99%。执行分析显示模型能依据接触反馈进行试探与纠正。
推荐理由:论文用接触丰富操作任务检验通用多模态模型能否借触觉反馈调整动作,并给出与专用策略的对比结果。
研究在 Idealworks 的 iw.hub 实机上评测 NVIDIA X-Mobility 与 COMPASS 导航策略训练流程,并用 NVIDIA Cosmos 生成仿真到现实变体。
推荐理由:在 Idealworks 实机上对比数字孪生与 Cosmos 增强训练,给出成功率与耗时差距,可作为 sim-to-real 评测参考。
论文提出TaskWAM,一个闭环、阶段感知的世界-动作模型框架,用Mode Tokens表示细粒度任务要求、用State Tokens跟踪执行进度,以缓解长程操作中局部合理但方向错误的推演导致的阶段混淆。
推荐理由:论文提出阶段混淆问题并给出TaskWAM与StageBench,可用于比较世界-动作模型的长程任务控制方法。
作者提出 SPAR(Search-trained Push Action Ranker),从仿真搜索结果中学习为推挤基元排序,用于可移动障碍物导航(NAMO)。
推荐理由:论文用仿真搜索结果为推挤动作排序,在仿真与实机上对比随机搜索,可看学习排序如何降低规划开销。
论文系统评测了 GPT-6 Astra 在轻量智能体执行框架下的闭环机器人操作能力,在 RoboDojo 上成功率为 26.92%,在 RoboTwin 2.0 上为 76.0%。
推荐理由:论文用五个基准和新增几何约束基准系统评测 GPT-6 Astra 的闭环操作能力,并指出语义推理与物理执行之间的差距。
研究指出,推理增强的驾驶 VLA 能感知并推理安全关键危险,却未能把危险信息转化为安全动作,作者将这一现象称为感知-动作绑定缺口。基于匹配的仿真反事实和驾驶日志回放,研究发现路径内危险确实被编码进视觉表征,但纵向规划主要由自车速度历史主导,对危险距离和模型自身推理轨迹响应很弱。
推荐理由:论文用匹配仿真反事实与实车日志回放,把驾驶 VLA 的危险感知与制动控制分开诊断,并给出不改权重的生成时引导方案。
作者提出生成式计划隐变量(GPL),把VLA的推理状态表示为对计划(如选哪个物体、抓取或路线)的低维条件分布,使计划可采样、可按请求选择、可按部署结果重加权,且无需重新训练VLA。
推荐理由:论文把VLA的推理状态建模为可采样的计划分布,并在仿真操作任务上对比了计划引导与动作分布引导的差异。
作者提出两阶段框架 CPR,从多视角视频片段学习互补的预测几何表征用于具身操作。预训练阶段用冻结的 3D 基础模型提供稠密几何特征,压缩为预测几何表征并保留场景结构及其时序演化,再对几何转移施加动作监督提取运动表征;下游后训练通过几何查询迁移预测几何,运动表征引导动作生成路径上的中间特征。
推荐理由:论文提出两阶段框架,从多视角视频学习互补预测几何表征,并在 LIBERO、SimplerEnv 与实机任务上对比下游策略表现。
DirectWAM 通过动作充分蒸馏把预训练视频与动作专家转为单步预测器,在 LIBERO 四个套件平均成功率 97.1%、RoboTwin 2.0 上 85.4%,推理延迟较完整迭代教师降低 28.0 倍。
推荐理由:论文分析世界-动作模型中视觉预测误差对动作的影响,提出单步蒸馏方法,并给出仿真基准与实机任务结果。
PACT-VLA 提出一种免训练框架,用推理起始观测生成候选动作块,再用提交前观测从中选出完整动作块,以缓解异步推理延迟导致的成功率下降。其 FlowRes 评分衡量候选隐含流方向与冻结策略在提交前观测下预测速度的残差,无需单独验证器;流水线实现使选择不增加控制步延迟。
推荐理由:论文针对异步推理的观测滞后问题提出免训练的动作块选择方法,并给出仿真与实机成功率对比。
LocoPilot 是一个单操作员双边遥操作与数据采集框架,部署在 12 自由度 Unitree Go2 四足机器人上,该机器人搭载 6 自由度 AgileX Piper L 机械臂、Intel RealSense D435 腕部相机和 D405 头部相机。
推荐理由:论文给出单操作员双边遥操作采集四足加机械臂演示的完整方案,并展示从采集到策略部署的同一动作接口。
Yu 等人提出 HuTact 框架,从大规模人类手物交互数据预训练触觉感知手部表征,预训练阶段不需要真实触觉信号。该方法把从人手运动中学到的交互结构迁移到机器人触觉观测,并可用少量无标注机器人交互数据进一步适配。
推荐理由:论文提出用人类手物交互数据预训练触觉表征,并给出抓取预测在少样本下的对比数字,可供触觉学习数据来源参考。
EventSync 是一个分层框架,通过事件驱动的记忆更新协调任务推理与动作执行:视觉语言模型依据任务计划和交互历史生成子目标,视觉-语言-动作模型负责执行,轻量 Event Monitor 结合视觉观测与末端执行器轨迹判断当前子目标是否完成,只有取得完成证据后才写入已完成子目标历史并触发下一步推理。
推荐理由:论文提出事件驱动的子目标完成判定与记忆更新机制,并在 RoboMME 基准和四类实机任务上给出结果,可供做长程操作记忆的研究者参考。