技术方向
与机器人感知、决策和物理交互直接相关的强化学习进展
51 条精选近 30 天 51 条共收录 83 条
AdaDexTrack 提出一种调制器在环的框架，用于语言条件下的灵巧手物交互跟踪。该框架以大规模专家到通才蒸馏得到的跟踪器承载技能，调制器经强化学习训练，对参考轨迹、物体隐表示和位置目标做三类反馈修正。作者称其在未见轨迹和未见物体集合上的平均跟踪误差与成功率均优于此前 SOTA，并在真实硬件上展示了零样本 sim-to-real 迁移，加入调制器相比仅用跟踪器有显著提升。
推荐理由：论文把语言条件下的灵巧操作重构为闭环调制跟踪，并给出未见轨迹与实机零样本迁移的对比结果。
MimicAll 是一个强化学习框架，用于在异构人形机器人之间共享全身运动跟踪策略，将结构化本体描述符编码为全局与关节对齐条件，并结合观测历史与匹配本体的运动参考预测关节目标偏移。
推荐理由：论文给出跨人形本体的结构化条件编码与464个本体的评测基准，可用于比较共享策略与单本体专家的差异。
论文提出 Active Reachability Learning 框架，把给定回退策略的随机有限时域可恢复性包络作为学习目标，用于人形机器人运行时监控。该方法在价值学习与主动探索之间迭代，将数据探索重构为 reach-avoid 问题，由不确定性引导的探索器发现未见状态并避开确定不可恢复区域，同时结合时序差分与蒙特卡洛目标改善分布内价值预测和不确定性估计。
推荐理由：论文把可恢复性监控建模为随机有限时域包络学习，并用主动探索补足接触丰富系统的数据盲区，可供研究人形机器人运行时安全监控参考。
研究团队提出16B统一具身模型RynnUnify，通过交错的视频-语言推理把具身理解与长程视觉规划结合起来。实验显示其在所评估统一多模态模型中取得最高具身理解平均分，Rynn-VP总分比Cosmos 3 Nano高9.75分；经强化学习的智能体扩展使Rynn-GEU平均分比直接推理高6.0分。
推荐理由：论文给出16B统一具身模型在理解、视觉规划与真机控制上的分项结果，可用于比较统一模型与专用方案。
作者提出正则化强化学习算法 Soft MellowMax Actor-Critic（SMM-AC），基于 soft mellowmax 值函数，并研究常用 RL 算法在仿真到现实迁移中的表现。
推荐理由：论文提出基于 soft mellowmax 值函数的正则化 RL 算法 SMM-AC，并在实机上与 PPO、SAC 等基线对比迁移鲁棒性。
研究将机器人辅助穿衣表述为几何感知插入问题，用身体部位与衣物开口的空间关系替代完整可变形物体状态，并提出结合分阶段课程与逐指插入软门控的强化学习框架。训练后可变形评估中完整方法成功率为84.7±1.2%，消融显示插入门控贡献最大，叠加课程后得分最高。在假人手模型上，同一完整策略于实机20次试验中成功15次。
推荐理由：论文把穿衣任务建模为几何感知插入问题，并用消融实验定位插入软门控与课程学习的贡献。
DiscoDemo 提出用强化学习生成多样化机器人演示数据，再导出为静态数据集供下游视觉运动模仿学习使用。该方法训练带特权信息的潜在条件强化学习生成器，结合并行逆向课程与成功门控的多样性目标，产出多条成功的闭环行为并做安全过滤。
推荐理由：论文把强化学习当作数据生成器，用多解多样性提升下游模仿学习，并给出仿真与实机成功率对比。
arXiv 论文研究月面机器人集群能否以自身成员作为热屏蔽，用强化学习训练一套由二十台机器人共享的策略。策略只在月夜结束时收到一次奖励，即最冷五台机器人的平均温度，奖励不含位置、间距、暴露或运动信息，集群仍涌现出聚集和在外围与核心间轮换两种行为。
推荐理由：研究用单一末端温度奖励训练共享策略，让二十台机器人自发形成聚集与轮换行为，并给出与静止抱团及物理下界的能耗对比。
作者提出 SEVI 框架，用于真实世界策略在线学习中的可靠性感知安全干预，其 Evidential Safety Critic 在一次前向计算中同时估计未来约束违反风险与认知不确定性。
推荐理由：论文提出带证据不确定性的安全干预框架，在仿真与真实USB插入任务上对比恢复式安全强化学习，可用于评估在线学习的安全过滤思路。
PrefO2O 提出一种离线到在线潜偏好迁移框架，可在没有人工反馈的情况下对未见目标任务做零样本偏好强化学习。该方法从源任务的少量离线偏好数据中学习任务无关的潜偏好空间，将可迁移偏好结构与任务特定变化解耦，并用置信度加权最优传输对齐生成伪偏好监督用于在线奖励适配。
推荐理由：论文提出从少量源任务偏好数据学习任务无关潜空间，在无人工反馈下迁移到新任务，可供比较偏好学习的数据效率路径。
研究提出一种人形机器人移动学习框架，将运动数据仅作为训练先验，用自监督注意力接触规划器预测未来身体与环境接触，再由接触条件跟踪器生成全身协调动作。该框架让单一策略在部署时仅依赖机载观测、无需参考输入，并通过后续微调探索原始运动数据未覆盖的环境变化。作者称这一设计使策略内化接触感知的运动结构，而非直接复刻运动学轨迹。
推荐理由：论文把接触规划作为观测与动作之间的接口，为参考动作数据与强化学习探索的结合提供了一种可迁移的训练框架。
作者提出 ASTEROID，一个学生-教师监督学习框架，让学生先在不完全可观测下采集在策略上下文，再由特权专家基于该上下文给出动作标签，从而学会测试时探索。在 11 个环境（含离散探索基准、机器人操作、导航和 Procgen）中，该方法在固定探索预算下回报约为对比方法的 2 倍，交互次数比强化学习基线少约 100 倍。
推荐理由：论文提出用特权专家在策略上下文上标注的蒸馏框架学习测试时探索，并在仿真与实机操作中给出对比结果。
AtomicRL 是一个面向长程机器人操作的强化学习后训练框架，通过原子任务结构做信用分配与自适应探索。它包含语义感知策略优化 SAPO 和瓶颈自适应目标探索 BATE，并配套连接仿真在线 RL 与实机部署的 Real2Sim2Real 流程。
推荐理由：论文提出面向长程操作任务的原子化强化学习后训练框架，并给出仿真基准与实机迁移的对比数据。
DONIC 是一个通用双手灵巧跟踪器，在操作类别与人体运动来源上联合训练，并配套发布 BiHOI 多视角数据集，包含 1575 段序列、229 个物体。方法将近端策略优化与行为克隆结合成反馈回路，把验证成功的执行回收为训练演示，并用以物体为中心的逐手奖励和 Clip-Centered Advantages 支持单一策略学习异构参考下的协调操作。
推荐理由：论文同时给出双手灵巧跟踪模型与1575段多视角数据集，并报告未见轨迹与未见物体上的成功率，可用于比较双手操作跟踪方法。
Levin Müller 等人在 arXiv 预印本中提出一种多阶段强化学习方法，为月球重力下的四足机器人点对点跳跃生成单一端到端控制策略，仅依赖任务可用的机载传感。
推荐理由：论文给出月球重力下四足机器人跳跃的端到端策略，并报告仿真落点误差与硬件卸载实验的力矩功率数据。
论文提出一种将欧氏距离场（EDF）直接纳入观测空间的强化学习框架，为智能体提供连续几何线索以支持稳定、反应式的避障行为。该方法在7自由度冗余机械臂上验证，实现了从仿真到真实硬件的零样本迁移；尽管训练仅使用随机静态物体，部署后的策略仍能泛化到此前未见的真实环境，并对动态障碍物表现出在线避障能力。作者认为，EDF表示有助于缓解仿真到现实的差距。
推荐理由：论文把欧氏距离场直接放进观测空间，在7自由度冗余机械臂上验证仿真到实机的零样本迁移，可供做避障策略的研究者参考。
COWBOY 是一个可扩展的 sim-to-real 框架，用于学习情境化全身操作，在全身灵巧抓取任务上零样本迁移到数百个物体和杂乱桌面、货架、抽屉等非结构化场景。
推荐理由：论文给出把场景感知全身控制器与局部强化学习专家蒸馏为单一视觉策略的 sim-to-real 框架，可参考其分层训练思路。
AdaDex 是一个目标条件强化学习框架，能把数秒的单条手-物轨迹（来自动捕或野外 RGB(D) 视频的 HOI 重建）转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两类大规模并行环境上训练共享策略：密集运动跟踪环境注入人类先验，带噪声初始状态与稀疏物体成功奖励的泛化环境迫使技能脱离参考轨迹。
推荐理由：论文提出混合模仿与目标条件强化学习框架，把数秒人手轨迹转成可泛化的灵巧操作技能，并给出跨仿真器与实机迁移结果。
AgenticRoboRL提出一种跨不同机器人执行框架后训练规划器的框架，训练方案结合监督微调与多轮强化学习。为适配VLA技能调用和控制代码生成等不同执行机制，该方法用框架专属适配器把记录下来的规划器交互与任务结果关联起来，同时保持执行组件固定。
推荐理由：论文提出跨不同机器人执行框架的规划器后训练方法，并给出LIBERO-PRO上9B规划器成功率从18.1%升至71.0%的对比。
SuperMimic 提出用单一可微世界模型摊销人形机器人全身运动跟踪的学习，世界模型与跟踪策略在同一循环中联合训练，并通过短时想象 rollout 的反向传播为策略提供解析梯度。
推荐理由：论文用单一可微世界模型摊销多动作学习，给出与基线在GPU耗时和失败动作数上的对比，并报告在Unitree G1上的迁移。