we may see a growing divergence between the capabilities we can measure and the capabilities we actually care about.
「可测量的能力」与「真正关心的能力」之间的分歧正在扩大——这是整篇文章最深刻的洞见。所有当前 benchmark 都偏向「干净、自包含、可自动评分」的任务，而真实工作是「混乱、跨系统、需人类判断」的。随着 AI 向长任务延伸，这个测量-现实之间的鸿沟不会缩小，只会加速扩大。这意味着未来关于「AI 能否替代某类工作」的争论，将越来越难以用数据解决——因为数据本身无法捕捉真实工作的本质。
we found that AI agent performance drops substantially when scoring AI performance holistically rather than algorithmically.
「整体评分 vs 算法评分」的性能差距是一个深刻的警示：AI 在「有明确正确答案」的任务上表现远好于「需要人类判断质量」的任务。这意味着所有基于自动化评分的 AI benchmark，都在系统性地高估 AI 在真实工作中的能力。时间地平线数字本身也受制于这个局限——任何「可被算法打分」的任务，都比真实工作「更适合 AI」。
Because these benchmarks are human-authored, they can only test for risks we have already conceptualized and learned to measure.
这句话揭示了当前 AI 安全评测体系的致命盲区：所有 benchmark 都是人类提前想好的问题，而真正危险的「未知的未知」（unknown unknowns）根本无法被预设题目捕捉。这意味着我们现有的模型安全认证，本质上是一场对已知风险的自我测试。