Training on prompts very similar to the evaluation can reduce blackmail rate significantly, but it did not improve performance on our held-out automated alignment assessment.
这是提纲第8题「刷题不泛化」的原文出处，但原文比转述更微妙：贴近评测的训练确实显著降低了目标指标（blackmail rate），只是没能迁移到留出集。也就是说「刷题」对被刷的那门考试是有效的，失效的是泛化。提纲写成「连机器都因为刷题而无法泛化」会让人误以为刷题连本科目都提不动——恰恰相反，这才是应试教育难以证伪的原因。