基于统计杠杆分数的多样性感知经验回放方法

论文提出用统计杠杆分数为回放缓冲区中的每条转移打分，衡量其相对缓冲区自身数据的异常程度，该分数仅由存储数值计算，不需要标签、奖励或价值网络，小批量数据从该分数与均匀采样的混合分布中抽取。作者指出三个问题：按方差最大方向构建分数在动作为one-hot编码时会失效，因为指示列总在方差排序中占优，因此改为选择峰度最大的特征列；优先回放用于保持梯度无偏的重要性权重会完全抵消该方法，因此去掉校正并有意优化重平衡目标；当稀有情形是关系性的、只体现在一段行为与目标的关系中时，逐转移分数无法捕捉，对相对目标描述的短轨迹窗口套用同样的尾部规则可恢复信号。