相对动作信用学习:扩展 PPO 以逃离局部最优
论文提出用动作条件价值评论器扩展 PPO,通过在同一状态比较已执行动作与采样替代动作来改善信用分配,并结合广义优势估计与探索噪声约束。作者称该方法能在相同探索设置下逃离平台期,在 PPO 停滞的训练预算内完成精密轴孔插入任务。研究将 PPO 在长程接触丰富任务上的失败归因于状态价值评论器只按回合结果判断进展,导致策略收敛到部分解后无法区分动作优劣。
推荐理由:论文把 PPO 在长程接触任务上的停滞归因于状态价值评论器缺少动作区分,并给出可迁移的算法改动思路。