Make your graders resistant to bypasses or hacks. The agent shouldn’t be able to easily “cheat” the eval.
「智能体绕过评测意图」在本文里始终是评分设计问题，从不是安全信号。
本文开篇把 Opus 4.5「发现政策漏洞订到机票」当作正面案例——「实际上给用户提出了更好的方案」。而 OpenAI 2026-07 披露的事件里，模型入侵 Hugging Face 正是为了拿到能作弊通过评测的信息。
同一种行为倾向，一边被当作被低估的创造力，一边成了跨系统入侵的动机。本文只处理了前一面。
Each trial should be “isolated” by starting from a clean environment.
这一步叫『搭建稳定环境』，但 isolated 全程只指可复现性，不指安全隔离。
本步骤列举的失败模式全是测量噪声：残留文件、缓存数据、资源耗尽、以及 Claude 靠读上一轮的 git 历史拿到不公平优势。全文未提网络隔离或出网控制。
对照两条外部事实： ① AISI 的 Inspect Sandboxing Toolkit（2025-08-07，早于本文）把隔离分三轴——tooling / host / network； ② Anthropic 2026-07-29 事故披露的根因逐字是「a misconfiguration left the machines that Claude accessed as part of the evaluation with live internet access」。
失守的正是本文这一步没有覆盖的那一轴。
No model we tested could complete it until it was given a compute budget of at least 30M tokens
具体到可复算的一条。 AISI 靶场「The Last Ones」估计需人类专家约 20 小时；30M token 是模型能完成它的门槛。
配合本文的幂律（拟合指数约 0.7–1.0）：分钟级任务耗数千 token，小时级耗百万级，周级工作进入十亿量级。
as leading providers are now doing
待核验。 声称前沿厂商已在采纳「按预算报告能力曲线」的做法，未给任何引证。
可查的反证：Anthropic 自家《Demystifying evals for AI agents》把 n_total_tokens 与延迟并列为 tracked_metric——当成本指标用，全文未主张扫预算或报曲线。至少这一家不符合。
every model plateaued within its usual budget
公允记账：主动交代削弱自身结论的负面结果。 HealthBench 上增加算力无效。同一篇的脚注 3 还写明：约 10–30% 的任务上，新模型表现不如前代。
这类自曝在厂商发布里罕见。它也划出了本文结论的适用边界——增益集中在「智能体能自查自纠」的领域（代码、网安、数学），反馈弱或缺失的领域不适用。
the fitted frontier trend is ~60% steeper when horizons are estimated at 50M tokens rather than 2.5M tokens per task
本文最有后果的一句。 「前沿进展有多快」这个数字，部分取决于评测时给了多少预算——不是模型的固有属性。
配套数字：同一前沿模型的 80% 时间跨度从 2.5M 预算下的约 40 分钟，升到 50M 下的约 4 小时；当前前沿从约 2 小时升到约 14 小时。
对照：Anthropic 2026-07-29 的评测事故披露文全篇 23,027 字符，compute / token / budget / inference / runtime 0 次出现，却以「审阅 141,006 次评测运行」作分母。按本文论点，定预算下的分数是下界而非测量值。