2 Matching Annotations
  1. Last 7 days
    1. MMLU, GSM8K, and HumanEval are now saturated

      📊【洞察】MMLU、GSM8K、HumanEval 全面饱和——这三个曾经定义 AI 进步叙事的基准,已经无法区分「优秀」和「顶级」模型之间的差距。与 ARC-AGI-3 近零分事件形成完美对照:AI 在「已知问题」上已经超越人类,在「新颖问题」上几乎为零。评测体系的重建,是未来 AI 治理的先决条件。

  2. Apr 2026
    1. it's impossible to get a score much higher than 93% without cheating because around 6.5% of MMLU questions contain errors.

      MMLU 有 6.5% 的题目本身就是错的——这意味着任何模型的「真实上限」是 93.5%,而不是 100%。更令人惊讶的是:这个广泛使用了数年的权威 benchmark,其误差率直到最近才被系统研究和量化。这揭示了整个 AI 评测生态的一个深层问题:benchmark 的质量本身也需要 benchmark,而这一层元评估几乎从未被认真对待。