Beyond Validation Loss：机器人策略预训练中的覆盖度与可靠性动态

该预印本论文研究机器人策略预训练阶段的评估问题，指出验证损失和平均任务成功率无法完整反映哪些策略既适合直接部署、又适合后续后训练。作者提出闭环 pass@k 指标，用同一初始条件下 k 次 rollout 至少成功一次的概率来衡量策略：pass@1 即平均任务成功率，大 k 的 pass@k 则反映重复采样下成功是否仍可达。实验显示，在多种后训练方案下，大 k 的 pass@k 能揭示 pass@1 未体现的后训练差异，pass@1 相近但大 k pass@k 不同的检查点后训练表现也不同；监督预训练过程中 pass@k 在不同检查点达到峰值，呈现覆盖度与可靠性的权衡。