The results on more recent models may be confounded by the presence of information about the evaluation in the pre-training corpus.
🔴 提纲完全没有引用的一条脚注，却是全文最重要的自我限定：近期模型在 agentic misalignment 上拿满分，可能是因为这套评测本身已经进了预训练语料——模型见过考题。用提纲第8题的语言说：Anthropic 自己承认，它无法排除自家最新模型是在「刷题」。任何拿「Claude 已满分」论证「教原理有效」的说法，都被这条脚注卡住。