Trials measure efficacy, but the world cares about effectiveness. Today, benchmarks lack even a good measure of efficacy and are far away from effectiveness.
把临床试验里 efficacy（理想条件有效）和 effectiveness（真实世界有用）的区分搬到评测上，是本文最可外推的一层。当前榜单连第一层都没做扎实就在谈落地，等于跳过了医学花几十年才走完的路。注意作者是 Protege 的合作方，指出问题的同时也在卖解法。
patient characteristics, comorbidities, facilities, and year only explain 3.4% of the variation in the choice to perform partial or full
这是全文最硬的一组数字：加进主刀医生身份，解释力从 3.4% 跳到 14.8%，也就是七成以上的差异来自「谁开的刀」。它把「基准答案」这件事拆穿了——医疗标注很多时候记录的是某个医生当天的偏好，模型答得跟它不一样，未必是错，只是不合口味。
which uses billing data from 70,000 Ramp credit card using companies to estimate model adoption.
用企业信用卡账单反推模型采用率，比厂商自报口径更难粉饰，这是难得的第三方数据。但要记住它测的是"谁在刷卡"而不是"谁在跑推理"：样本偏向美国中小企业，大厂的私有合约和直签 API 完全不在里面，用它做份额结论会系统性低估头部客户。
On Terminal-Bench 2.1 (81.0) it lands within a few points of Claude Opus 4.8 (85.0) — while staying ahead of Gemini 3.1 Pro.
大多数人认为开源模型与顶级闭源模型之间存在巨大差距，但作者认为GLM-5.2在终端基准测试中已经接近Claude Opus 4.8的性能，甚至超过了Gemini 3.1 Pro。这一观点挑战了AI领域'闭源模型遥遥领先'的行业共识，表明开源模型在特定编码任务上已经能够与顶级商业模型竞争。
The three metrics where we find acceleration are concentrated in programming and mathematics. These are areas that labs have explicitly targeted for improvement, and they share an important property: correctness is easy to verify automatically.
主流观点可能认为AI能力在各个领域的提升是均衡的，但作者指出加速现象主要集中在编程和数学领域，因为这些领域的正确性容易自动验证。这暗示AI进步可能不是普遍性的，而是集中在特定可量化的领域。
Gemma 4 E4B matches or exceeds GPT-4o across multiple benchmarks including MATH, GSM8K, GPQA Diamond & HumanEval.
令人惊讶的是：Google的Gemma 4 E4B作为免费模型竟然在多个基准测试中超越了或匹敌了GPT-4o这一业界领先的商业模型。这表明开源和免费AI模型的质量已经达到了商业级别，打破了AI领域由少数大公司垄断的格局。
While model capabilities have improved dramatically for use cases like codegen and mathematical reasoning, they still lag behind on the data side (as evidenced through SQL benchmarks like Spider 2.0 and Bird Bench).
令人惊讶的是：尽管AI模型在代码生成和数学推理方面取得了巨大进步，但在数据处理方面仍然落后。Spider 2.0和Bird Bench等基准测试显示，AI在SQL查询等基础数据任务上表现不佳，这表明当前AI技术存在明显的应用局限性。