PS2-RL：可证明安全且可扩展的强化学习框架

PS2-RL 是一个两阶段的可证明安全强化学习框架，用学习到的备份策略对系统动力学前向积分，在线生成隐式控制不变集，而不显式构造和验证不变集。第一阶段用安全到达价值函数训练备份策略，使其快速安全地回到用于构造不变集的认证基集；第二阶段通过可微投影层端到端训练 RL 策略，严格施加备份策略带来的安全保证。作者称第一阶段最大化隐式控制不变集体积，使第二阶段得到的 PS2 策略兼具性能与可扩展性，并保持可证明安全；该框架不限制底层 RL 算法，可接入现有训练流程。