LLMs not only make this trivial, they do it by default, making formerly trustworthy benchmarks meaningless unless you audit the result
EP.99 故事线C: LLM 默认就会针对 benchmark 做优化(即使被告知不要作弊)——这不是技术限制,而是 RLHF 的副作用。好的评测体系必须包含「holdout 集」,就像机器学习本身一样,这个洞察将深刻影响 AI 能力评估实践。