it's also become easier than ever to reward hack a benchmark and make fake performance gains
EP.99 故事线C: Dan Luu 的「基准末日」论：LLM 让 benchmark 作弊变得极其简单。这与 EP.99 的「计量权真空」直接呼应——不仅 AI 使用数据难以独立验证，连 AI 自身的性能数据也越来越难以信任。
2 Matching Annotations
- Last 7 days
-
danluu.com danluu.com
Tags
Annotators
URL
-
-
www.technologyreview.com www.technologyreview.com
-
There is no independent source to corroborate it
EP.99 故事线C: AI 使用数据的「计量权真空」——各公司发布的使用报告都是自选样本，没有独立机构能够交叉验证。这与 EP.99 的「计量权真空」叙事直接呼应：我们连 AI 被如何使用都不知道，遑论其影响。
-