R²E：面向自动奖励函数设计的多角色进化框架
R²E 是一个角色驱动的奖励进化框架，用多个 LLM 角色自动设计强化学习奖励函数。其中 Explorer 负责提升新颖性以扩大搜索空间，Guardian 做保守修正以改善训练稳定性，Evolver 通过交叉和变异重组高性能奖励，动态调度策略让搜索从广泛探索逐步转向集中利用。
NEWS / 动态
#强化学习
按时间浏览，使用右上角筛选切换领域。
arXiv · cs.ROAI 评分5252 arXiv · cs.RO精选AI 评分6363 几何感知强化学习用于紧身可穿戴物插入任务
研究将机器人辅助穿衣表述为几何感知插入问题，用身体部位与衣物开口的空间关系替代完整可变形物体状态，并提出结合分阶段课程与逐指插入软门控的强化学习框架。训练后可变形评估中完整方法成功率为84.7±1.2%，消融显示插入门控贡献最大，叠加课程后得分最高。在假人手模型上，同一完整策略于实机20次试验中成功15次。
推荐理由：论文把穿衣任务建模为几何感知插入问题，并用消融实验定位插入软门控与课程学习的贡献。
arXiv · cs.RO精选AI 评分7171 DiscoDemo：用强化学习生成多样机器人演示以改进模仿学习
DiscoDemo 提出用强化学习生成多样化机器人演示数据，再导出为静态数据集供下游视觉运动模仿学习使用。该方法训练带特权信息的潜在条件强化学习生成器，结合并行逆向课程与成功门控的多样性目标，产出多条成功的闭环行为并做安全过滤。
推荐理由：论文把强化学习当作数据生成器，用多解多样性提升下游模仿学习，并给出仿真与实机成功率对比。
arXiv · cs.ROAI 评分5858 Move, don't think：低分辨率近距传感器提升人形机器人避碰学习样本效率
论文研究以全身近距传感器作为归纳偏置，学习反射式避碰行为，并在强化学习环境中比较八种候选表征，包括隐空间压缩、未来接触预判、有损退化和特权状态估计。作者在刻意受限的样本与算力预算下端到端训练超过200台人形机器人玩简化版躲避球，发现低分辨率有损传感器比高分辨率全覆盖是更强的偏置，而预判接触发生的时间与部位反而降低了学习样本效率。该工作为预印本，结论基于仿真训练环境。
arXiv · cs.RO精选AI 评分7878 arXiv 论文研究月面机器人集群的涌现式协同保温
arXiv 论文研究月面机器人集群能否以自身成员作为热屏蔽，用强化学习训练一套由二十台机器人共享的策略。策略只在月夜结束时收到一次奖励，即最冷五台机器人的平均温度，奖励不含位置、间距、暴露或运动信息，集群仍涌现出聚集和在外围与核心间轮换两种行为。
推荐理由：研究用单一末端温度奖励训练共享策略，让二十台机器人自发形成聚集与轮换行为，并给出与静止抱团及物理下界的能耗对比。
arXiv · cs.RO精选AI 评分6464 SEVI：面向真实世界策略学习的安全证据强化学习框架
作者提出 SEVI 框架，用于真实世界策略在线学习中的可靠性感知安全干预，其 Evidential Safety Critic 在一次前向计算中同时估计未来约束违反风险与认知不确定性。
推荐理由：论文提出带证据不确定性的安全干预框架，在仿真与真实USB插入任务上对比恢复式安全强化学习，可用于评估在线学习的安全过滤思路。
arXiv · cs.RO精选AI 评分6767 PrefO2O：通过离线到在线潜偏好迁移实现零样本偏好强化学习
PrefO2O 提出一种离线到在线潜偏好迁移框架，可在没有人工反馈的情况下对未见目标任务做零样本偏好强化学习。该方法从源任务的少量离线偏好数据中学习任务无关的潜偏好空间，将可迁移偏好结构与任务特定变化解耦，并用置信度加权最优传输对齐生成伪偏好监督用于在线奖励适配。
推荐理由：论文提出从少量源任务偏好数据学习任务无关潜空间，在无人工反馈下迁移到新任务，可供比较偏好学习的数据效率路径。
arXiv · cs.ROAI 评分5858 DiffDreamer：耦合世界模型与可微仿真的四旋翼敏捷控制框架
DiffDreamer 是一个可微强化学习框架，将学习到的世界模型与可微仿真紧耦合用于 actor 优化：单步优化中世界模型传播捕捉外部动态与历史依赖特征的隐状态，可微仿真器传播机器人显式物理状态。
arXiv · cs.RO精选AI 评分7272 基于注意力接触规划的人形机器人移动学习框架
研究提出一种人形机器人移动学习框架，将运动数据仅作为训练先验，用自监督注意力接触规划器预测未来身体与环境接触，再由接触条件跟踪器生成全身协调动作。该框架让单一策略在部署时仅依赖机载观测、无需参考输入，并通过后续微调探索原始运动数据未覆盖的环境变化。作者称这一设计使策略内化接触感知的运动结构，而非直接复刻运动学轨迹。
推荐理由：论文把接触规划作为观测与动作之间的接口，为参考动作数据与强化学习探索的结合提供了一种可迁移的训练框架。
arXiv · cs.ROAI 评分5555 研究重新审视腹腔镜机器人操作中的状态到视觉策略蒸馏
该研究提出一个面向腹腔镜机器人操作的状态到视觉策略蒸馏框架，以带特权状态观测的状态策略作为教师，让视觉策略从RGB观测和机器人本体感知信息中学习。作者在仿真环境的多项手术操作任务上实验，结果显示通用强化学习方法训练视觉策略较为困难，而所提蒸馏方法在各任务上表现更一致、更稳定。该方法所需专家演示少于模仿学习，性能优于强化学习方法。
arXiv · cs.ROAI 评分5858 MPBRS：面向人形机器人运动的统一奖励配置多势能奖励塑形
论文研究面向人形机器人运动的 Multi-PBRS（多势能奖励塑形），并提出一套统一奖励配置。作者在九台人形机器人上使用相同的奖励结构和权重进行评测，只需机器人特定的关节/连杆映射与默认姿态等元数据，无需逐台重新设计奖励。实验称，与标准奖励塑形相比，MPBRS 在不同机器人间表现出更一致的缩放行为和更低的调参敏感度，且不改变最优策略。
arXiv · cs.RO精选AI 评分7878 ASTEROID：非对称在策略蒸馏让历史条件学生学会上下文探索
作者提出 ASTEROID，一个学生-教师监督学习框架，让学生先在不完全可观测下采集在策略上下文，再由特权专家基于该上下文给出动作标签，从而学会测试时探索。在 11 个环境（含离散探索基准、机器人操作、导航和 Procgen）中，该方法在固定探索预算下回报约为对比方法的 2 倍，交互次数比强化学习基线少约 100 倍。
推荐理由：论文提出用特权专家在策略上下文上标注的蒸馏框架学习测试时探索，并在仿真与实机操作中给出对比结果。
arXiv · cs.RO精选AI 评分6969 AtomicRL：面向长程机器人操作的原子化强化学习后训练框架
AtomicRL 是一个面向长程机器人操作的强化学习后训练框架，通过原子任务结构做信用分配与自适应探索。它包含语义感知策略优化 SAPO 和瓶颈自适应目标探索 BATE，并配套连接仿真在线 RL 与实机部署的 Real2Sim2Real 流程。
推荐理由：论文提出面向长程操作任务的原子化强化学习后训练框架，并给出仿真基准与实机迁移的对比数据。
arXiv · cs.RO精选AI 评分7777 DONIC：从人类演示学习通用双手灵巧跟踪控制
DONIC 是一个通用双手灵巧跟踪器，在操作类别与人体运动来源上联合训练，并配套发布 BiHOI 多视角数据集，包含 1575 段序列、229 个物体。方法将近端策略优化与行为克隆结合成反馈回路，把验证成功的执行回收为训练演示，并用以物体为中心的逐手奖励和 Clip-Centered Advantages 支持单一策略学习异构参考下的协调操作。
推荐理由：论文同时给出双手灵巧跟踪模型与1575段多视角数据集，并报告未见轨迹与未见物体上的成功率，可用于比较双手操作跟踪方法。
arXiv · cs.ROAI 评分5858 DriveMLP：训练策略比模型复杂度更影响自动驾驶规划性能
DriveMLP 提出以专家引导强化学习（EGRL）训练轻量 MLP 策略，在 nuPlan Val14 Reactive 基准上取得 86.51 分，比此前最佳模仿学习规划器 Flow Planner 高 3.2 分，推理速度提升超过 15 倍。研究通过受控实验发现，训练流程而非模型规模与复杂度贡献了相当一部分性能提升。代码已在 GitHub 开源。
arXiv · cs.RO精选AI 评分6060 研究提出月球重力下四足机器人跳跃的端到端强化学习策略
Levin Müller 等人在 arXiv 预印本中提出一种多阶段强化学习方法，为月球重力下的四足机器人点对点跳跃生成单一端到端控制策略，仅依赖任务可用的机载传感。
推荐理由：论文给出月球重力下四足机器人跳跃的端到端策略，并报告仿真落点误差与硬件卸载实验的力矩功率数据。
arXiv · cs.RO精选AI 评分6767 距离场驱动强化学习实现机械臂反应式避障
论文提出一种将欧氏距离场（EDF）直接纳入观测空间的强化学习框架，为智能体提供连续几何线索以支持稳定、反应式的避障行为。该方法在7自由度冗余机械臂上验证，实现了从仿真到真实硬件的零样本迁移；尽管训练仅使用随机静态物体，部署后的策略仍能泛化到此前未见的真实环境，并对动态障碍物表现出在线避障能力。作者认为，EDF表示有助于缓解仿真到现实的差距。
推荐理由：论文把欧氏距离场直接放进观测空间，在7自由度冗余机械臂上验证仿真到实机的零样本迁移，可供做避障策略的研究者参考。
arXiv · cs.ROAI 评分5858 两轮倒立摆机器人端到端平衡与导航的状态相关目标协调方法
研究提出一种轻量级状态相关目标协调方法，用于两轮倒立摆机器人的端到端导航与控制，通过俯仰条件标量系数β(s)∈[0,1]在训练中调节平衡与导航目标的相对权重，无需PID或LQR等辅助姿态控制器。
arXiv · cs.RO精选AI 评分7272 COWBOY：面向情境化全身操作的可扩展 sim-to-real 框架
COWBOY 是一个可扩展的 sim-to-real 框架，用于学习情境化全身操作，在全身灵巧抓取任务上零样本迁移到数百个物体和杂乱桌面、货架、抽屉等非结构化场景。
推荐理由：论文给出把场景感知全身控制器与局部强化学习专家蒸馏为单一视觉策略的 sim-to-real 框架，可参考其分层训练思路。
arXiv · cs.ROAI 评分4949 One Policy, Many Styles：可操控人形控制中偏好聚合应放在哪一层？
研究对比奖励层、优势层、损失层与PCGrad聚合在两种人形控制框架中的表现，用偏好奖励响应性（PRR）结合覆盖度与效用指标评估。没有哪种聚合层级在所有环境和标准下都最优：早期聚合行为响应范围更广，但其他目标的非预期变化更大；后期聚合提升控制精度，但响应性有所下降。
arXiv · cs.RO精选AI 评分6767 AdaDex：用混合灵巧模仿学习可泛化灵巧操作技能
AdaDex 是一个目标条件强化学习框架，能把数秒的单条手-物轨迹（来自动捕或野外 RGB(D) 视频的 HOI 重建）转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两类大规模并行环境上训练共享策略：密集运动跟踪环境注入人类先验，带噪声初始状态与稀疏物体成功奖励的泛化环境迫使技能脱离参考轨迹。
推荐理由：论文提出混合模仿与目标条件强化学习框架，把数秒人手轨迹转成可泛化的灵巧操作技能，并给出跨仿真器与实机迁移结果。
arXiv · cs.RO精选AI 评分7171 AgenticRoboRL：将编码智能体后训练引入具身机器人规划器
AgenticRoboRL提出一种跨不同机器人执行框架后训练规划器的框架，训练方案结合监督微调与多轮强化学习。为适配VLA技能调用和控制代码生成等不同执行机制，该方法用框架专属适配器把记录下来的规划器交互与任务结果关联起来，同时保持执行组件固定。
推荐理由：论文提出跨不同机器人执行框架的规划器后训练方法，并给出LIBERO-PRO上9B规划器成功率从18.1%升至71.0%的对比。
arXiv · cs.RO精选AI 评分8888 SuperMimic：用单一可微世界模型扩展人形机器人全身控制
SuperMimic 提出用单一可微世界模型摊销人形机器人全身运动跟踪的学习，世界模型与跟踪策略在同一循环中联合训练，并通过短时想象 rollout 的反向传播为策略提供解析梯度。
推荐理由：论文用单一可微世界模型摊销多动作学习，给出与基线在GPU耗时和失败动作数上的对比，并报告在Unitree G1上的迁移。
arXiv · cs.RO精选AI 评分7575 FRDV：面向可扩展人形机器人学习的快速运动重定向流程
作者提出 FRDV（Fast Retargeting with Dynamics Validation），一个由快速约束运动学重定向和动力学校验两阶段组成的人形机器人运动重定向框架。
推荐理由：论文给出快速运动重定向与动力学校验两阶段流程，并对比 GMR、ProtoMotions 的跟踪成功率，可供人形机器人学习数据管线参考。
arXiv · cs.ROAI 评分5656 RILC：弹性关节机械臂的强化迭代学习控制，模型不确定下保证跨轨迹泛化
作者提出 Reinforced Iterative Learning Control（RILC），将迭代学习控制（ILC）与强化学习（RL）并发耦合，使弹性关节机械臂在模型不确定下跨不同轨迹实现快速适应与有保证的跟踪收敛。
arXiv · cs.ROAI 评分5858 中断感知循环强化学习提升UAS导航在临时接管后的安全性
论文研究UAS在远程飞行员或机载避撞系统临时接管后交还控制权时，循环强化学习策略的性能退化问题。基准测试显示中断会使任务变量更难从循环隐藏状态中解码，并提高中断后碰撞风险。作者提出三种中断感知架构，在仿真中均比标准循环策略保留更多可解码任务信息，其中最强架构相对循环基线将中断后碰撞减少74%、中断导致的任务失败减少69%，且未降低无中断时的性能。
arXiv · cs.ROAI 评分5858 AWLS：面向单步生成式机器人操作策略的优势加权潜空间引导
作者提出 AWLS，一种针对冻结的单步生成式机器人操作策略的离线后训练方法，在不更新解码器的情况下学习观测条件化的潜噪声残差修正。该方法以优势加权动作重建目标训练该残差噪声整形器，优势值经分离和尺度归一化后仅作为示教动作的监督权重，避免使用 critic 梯度更新策略并保留单步推理。
arXiv · cs.ROAI 评分4242 RLTrajGen-PPMPC-CBF：面向自动驾驶车辆环岛导航的预设性能引导安全强化学习框架
研究提出分层框架RLTrajGen-PPMPC-CBF，用预设性能约束（PPC）调节强化学习规划与MPC控制之间的耦合，并以控制屏障函数（CBF）层提供实时安全修正并反馈至RL过程。在MetaDrive仿真环境中，该方法相比最优基线平均成功率提升6.25%，运动病剂量值（MSDV）降低65.87%，同时加快训练收敛。
arXiv · cs.ROAI 评分5858 CoopUQ：基于不确定性感知协同预测的多机器人社交导航框架
CoopUQ 提出一种多机器人社交导航框架，通过跨机器人时空特征融合预测未来占用栅格地图，并用预测及其不确定性引导约束多智能体强化学习策略。该策略对预测为占用或高不确定的区域施加代价，使策略在分布偏移下调整风险敏感度。
arXiv · cs.RO精选AI 评分6060 LEAP Hand 两种指型布局的触觉手中旋转对比研究
研究对比了两种 LEAP Hand 指型布局（拟人与对称）在连续手中物体旋转任务中的表现，两版手均集成 TacTip 视觉触觉传感器并共用同一强化学习框架。仿真中，完整触觉观测相比仅本体感知使每回合平均归一化旋转量在拟人手提升 94.8%、对称手提升 66.9%，且回合更长、平均指尖总载荷更低。硬件实验中，对称手平均旋转次数高 32.0%、总旋转速率高 25.8%，平均指尖总载荷低 19.9%。
推荐理由：研究在仿真与实机上对比两种 LEAP Hand 指型布局，量化触觉观测与手指排布对旋转进度和指尖受力的影响。
arXiv · cs.RO精选AI 评分6060 PIA：用仿真先验加速基于模型强化学习适应的自动驾驶赛车研究
论文提出 Prior-Informed Adaptation（PIA），一个离线到在线的基于模型强化学习框架，先在高保真与低保真仿真轨迹上预训练世界模型，再用不确定性正则化规划在目标域少量交互中完成适应。
推荐理由：论文提出用仿真轨迹作为有偏先验、在线校正残差的世界模型强化学习框架，并在真实赛车实机验证少样本适应。
北京人形机器人创新中心AI 评分5252 
北京人形创新中心直播预告：Robo-ValueRL 毫米级 VLA 强化学习方案
北京人形机器人创新中心将于北京时间 2026 年 10 月 21 日 19:00 直播，由中国人民大学胡迪、夏文科分享 Robo-ValueRL 毫米级 VLA 强化学习方案。
arXiv · cs.RO精选AI 评分6060 VaDar：通过价值分解实现隐式目标条件化的强化学习方法
论文提出 Value Disaggregation（VaDar），训练一个与子目标无关的单一策略，最大化各子目标 critic 值的线性组合，子目标信息只在训练时使用，部署时无需选择子目标。
推荐理由：论文提出用价值分解替代子目标条件策略，省去部署时的子目标选择，并在 RoboCasa 长程任务上给出对比结果。
arXiv · cs.RO精选AI 评分7171 SPAR：面向 VLA 模型的结构化剪枝与动作恢复方法
SPAR 提出对 VLA 模型 LLM 主干同时剪枝隐藏层与前馈中间维度，再用强化学习恢复策略性能。应用于 π0.5 时，语言主干从 2.34B 降至 0.09B 参数，完整模型从 3.37B 降至 1.12B，分别移除约 96% 和 67% 的参数。
推荐理由：论文给出 VLA 模型结构化剪枝后接强化学习恢复的具体压缩比例与 LIBERO 成功率变化，可作为紧凑策略部署的参考。
arXiv · cs.RO精选AI 评分6262 ForagerSim：面向大规模动态世界具身地图推理的仿真评测平台
研究团队提出 ForagerSim，一个面向需要地图推理的具身任务的跨学科研究平台与仿真环境，场景覆盖移动机器人搜救与动物觅食，可在复杂迷宫和可能无限大的开阔区域中运行。
推荐理由：该预印本提出可调感知、尺度、拓扑与动态难度的仿真平台，用于比较学习策略与地图基线在需地图推理任务上的差距。
arXiv · cs.RO精选AI 评分7171 ERR-VLM：用动作分组Turn-GSPO训练具身VLM实现错误恢复重规划
研究提出ERR-Env可验证交互环境与ERR-Bench基准，用于评估具身VLM在正常、中间和错误状态下的恢复能力与执行可靠性。作者进一步提出在线强化学习方法Action-Grouped Turn-GSPO（AGT-GSPO），结合回合级任务进度与错误状态奖励及动作分组优势估计，训练出2B参数的ERR-VLM。
推荐理由：论文给出可验证交互环境与错误恢复基准，并报告2B模型在严格成功率与恢复率上的提升幅度。
arXiv · cs.RO精选AI 评分6060 SkateNav：让被动轮四足机器人学习自适应滑行节能导航
SkateNav 提出一个基于强化学习的滑行导航框架，让被动轮四足机器人同时学习转向、推进和两者的时间分配。该框架用带时间预算的到达目标替代速度跟踪，并通过自适应滑行周期与每步频率调制调整滑行、推进和恢复的时长。
推荐理由：论文给出滑行导航的强化学习框架与仿真对比，并展示从仿真到被动轮 Mini Cheetah 的零样本迁移。
arXiv · cs.RO精选AI 评分7272 SWAP：可测试时引导的人形机器人全身避障框架
作者提出SWAP分层框架，将碰撞感知决策与稳定控制分离：高层扩散策略生成多模态避障动作提案，低层全身RL控制器跟踪提案并维持动态平衡。训练时通过事后标注在随机指令下滚动低层策略，把障碍物放在已执行动作未扫过的空间，从而构造无碰撞样本并重渲染感知。仿真和宇树G1实机实验显示对静态与动态障碍物均能可靠避障，测试时蒙特卡洛采样引导使速度、朝向或姿态等目标奖励平均提升34%，同时保持较高避障率。
推荐理由：论文提出分层框架，用扩散策略生成避障动作、RL控制器保持平衡，并在宇树G1实机上验证。
arXiv · cs.RO精选AI 评分6060 研究验证人形机器人能否按人类运动发育量表学习站立行走技能
Fanxing Meng 与 Jing Xiao 的预印本研究把人婴幼儿运动发育量表表示为发育图，并在强化学习框架中训练人形机器人按量表描述的自然阶段学习粗大运动技能。结果显示，四套常用儿科运动量表中三套导出的图能成功引导机器人习得这些技能；第四套因缺少其他量表具有的部分中间里程碑而出现失败，补上缺失里程碑后也能成功。研究据此评估哪些量表足以作为发展到站立和行走的完整指南。
推荐理由：研究把四套婴幼儿运动发育量表转成发育图并用于强化学习训练人形机器人，可比较各量表作为技能训练指南的完整性。
arXiv · cs.ROAI 评分5858 Humanoid SRL：为人形机器人增加额外机械臂实现协调全身移动操作
研究团队将一条额外机械臂集成到人形机器人平台，考察形态增强如何改变其可行动作空间。控制上采用基于模型的轨迹优化为目标条件强化学习控制器生成动力学可行运动，控制器在仿真中训练后以零样本方式迁移到硬件，实现接触丰富的三臂全身移动操作。团队还在部分任务上用硬件演示训练的扩散策略展示了视觉引导的自主执行。