This reproduces the observed timing and workload topology, but not any dependencies hidden inside the harness. These are things we hope to improve on in subsequent versions of AgentX.
重放式基准的天花板在这里：从 HTTP 时间戳只能还原时序，还原不了因果。harness 内部的调度依赖对基准是黑箱，主代理与子代理的真实等待关系只能用保守约束近似。承认这一点比给出数字更有价值——它意味着当前结果对调度类优化的敏感度会被系统性低估。
Considering the characteristics above, benchmarking these workloads is fundamentally different from the existing fixed sequence length benchmarks.
定长序列基准测的基本是芯片和 kernel，agentic 负载测的是整套系统：路由、KV 迁移、分层卸载。所以同一块卡在两类榜单上的排名可以不一样，把它们并进一张表比，等于把两种测量对象混成一个数字。跨榜单看硬件时，先问测的是芯片还是系统。
Rather than developing its own coding tool, it had Faraday use OpenAI’s GPT-5.5 Codex instead, much the way human scientists lean on existing software rather than building everything themselves, according to the company.
这句把“27B 打败前沿模型”的叙事戳破了一半：Faraday 的工具环境里嵌着 GPT-5.5 Codex，写代码这段重活是前沿模型干的。它恰好印证了本期的定义——运行单元是模型×harness×工具环境×上下文策略，一旦工具里含前沿模型，按参数量归因就失效了。
when Claude Opus 5 was run at Max reasoning effort, it scores 97.5% on ARC-AGI-1 and 90.4% on ARC-AGI-2 semi-private
被忽略的第三个自由变量：推理预算。30.2% 那条基线是 high effort，而 AVO 的跑法用了另一套 reasoning setting。同一模型换档位分数就能大幅移动，所以任何跨系统比分表，都得先标注 effort 档位、观测格式和评测集，再谈差值。
Gemini 3 Flash achieves the highest score of 24.0%
在原始论文中，Gemini 3 Flash 以 24.0% 的成绩位列第一——而 Artificial Analysis 的独立复测中，它的成绩是 27.7%，被 GPT-5.4 和 Claude Opus 超越。两个不同时间、不同方法论的测试得出了不同的排名。这揭示了 AI Agent 评测的根本脆弱性：同一个 benchmark，不同实施者得出不同结论。「谁第一」在 AI 评测中是一个随时间和方法论变化的流动答案。