预印本提出闭环pass@k评估机器人策略预训练
先了解这件事
arXiv 预印本《Beyond Validation Loss》中，Zhanyi Sun、Max Simchowitz、Shuran Song 提出闭环 pass@k 指标，用于评估机器人策略预训练：在同一初始条件下进行 k 次 rollout，至少成功一次的概率；pass@1 即平均任务成功率，大 k 的 pass@k 反映重复采样下成功是否仍可达。作者称，验证损失和平均任务成功率无法完整反映哪些策略既适合直接部署、又适合后续后训练。 作者称，在多种后训练方案下，大 k 的 pass@k 能揭示 pass@1 未体现的后训练差异；pass@1 相近但大 k pass@k 不同的检查点，后训练表现也不同。监督预训练中 pass@k 在不同检查点达到峰值，呈现覆盖度与可靠性的权衡。 作者还提出一种不依赖闭环评估、仅离线平衡覆盖度与可靠性的检查点选择准则，以及一种生成式数据增强方法，将监督扩展到有限示教集之外；作者称该方法保持大 k pass@k，同时维持或提升 pass@1，并抬高观察到的覆盖度—可靠性帕累托前沿。该工作为预印本，尚未经同行评议。
AI 根据报道生成 · 58 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv · cs.RO精选Beyond Validation Loss：机器人策略预训练中的覆盖度与可靠性动态
该预印本论文研究机器人策略预训练阶段的评估问题，指出验证损失和平均任务成功率无法完整反映哪些策略既适合直接部署、又适合后续后训练。作者提出闭环 pass@k 指标，用同一初始条件下 k 次 rollout 至少成功一次的概率来衡量策略：pass@1 即平均任务成功率，大 k 的 pass@k 则反映重复采样下成功是否仍可达。实验显示，在多种后训练方案下，大 k 的 pass@k 能揭示 pass@1 未体现的后训练差异，pass@1 相近但大 k pass@k 不同的检查点后训练表现也不同；监督预训练过程中 pass@k 在不同检查点达到峰值，呈现覆盖度与可靠性的权衡。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。