统计杠杆分数用于多样性经验回放采样

Shaifalee Saxena 与 Alexander Scheinker 在 arXiv 预印本中提出一种经验回放采样方法：用统计杠杆分数为回放缓冲区中的每条转移打分，衡量它相对缓冲区自身数据的异常程度。该分数只由存储数值计算，不需要标签、奖励或价值网络；小批量数据从该分数与均匀采样的混合分布中抽取。作者称，在一个需绕障推物的三关节机械臂任务上，该方法把稀有任务成功率从 0.49 提升到 0.69，带标签的 oracle 上限为 0.74。 作者说明了三处设计取舍：按方差最大方向构建分数在动作为 one-hot 编码时会失效，因为指示列总在方差排序中占优，因此改为选择峰度最大的特征列；用于保持梯度无偏的重要性权重校正会完全抵消该方法，完整校正下训练效果与均匀采样相当，因此去掉校正并有意优化重平衡目标；当稀有情形是关系性的、只体现在一段行为与目标的关系中时，逐转移分数无法捕捉，对相对目标描述的短轨迹窗口套用同样的尾部规则可恢复信号。 上述结果出自预印本，尚未经同行评议或独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。