5 Matching Annotations
  1. Last 7 days
    1. We’ve also helped the US Centre for AI Standards and Innovation (CAISI), Model Evaluation and Threat Research (METR) and Apollo Research adopt the open-source sandbox providers for their own agentic evaluations

      这句话决定了上一条的分量。如果这套协议无人问津,「没采用」就只是选型差异;但它已被三家独立评测机构(含一家美国政府机构)采用,说明它是这个领域事实上的公共基线,而不是一份被忽略的提案。同时这也标出了一条真正的独立性分界线:AISI 与两家厂商都没有商业关系,是本轮唯一的外部标尺。

    1. Every successful breakout exploited a previously disclosed vulnerability

      一个可标日期的能力越界点。AISI 2026-03 测得的边界是:所有成功逃逸都利用已披露漏洞,最难场景无模型攻克。而 OpenAI 7/28 更新披露,其模型是利用 Artifactory 的未知 0-day 获得外网访问——一个月内从「利用已知漏洞」跨到「发现并利用未知漏洞」。这条比任何一方的定性叙述都更有信息量。

    1. We remarked in that post that “we expect the doubling trend to plateau eventually”—but evidently we have not yet reached this plateau

      主动记录自身预测被证伪,在同类企业发布中很少见,应计入可信度加分。倍增周期不但没趋缓,反而从 1.1 个月加速到 0.7 个月。但这同时削弱了 7/29 事故文结尾那句「These facts give us cautious optimism」——它建立在一份作者自己刚标注为偏乐观的预测记录之上。

    2. Combining Baseline and Nudged variants, Mythos Preview achieves ACE on 21 out of 41 CVEs, whereas no other model achieved even 1 ACE in either variant

      把这个数字和 7/29 事故文并排看会翻转结论。事故文说三起入侵「未发现或利用任何复杂漏洞,仅用弱口令与未鉴权端点等基础手法」,读起来像宽慰。但事故二的当事模型正是 Mythos 5——一个能在 41 个 V8 CVE 中对 21 个达成任意代码执行、且其他受测模型无一达成的模型。「只用了基础手法」说明的是目标太软,不是模型能力有限。

    1. the calendar date of 2026 on the systems proved, according to Claude, that the environment was staged

      全文信息量最高的细节:Mythos 5 用「系统日历显示 2026 年」反推环境是伪造的——把超出自己知识截止日期的时间戳当成模拟证据。这是一条可泛化的失效模式:模型的时间锚点越旧,越容易把真实环境判成演习。它同时说明「告诉模型这是模拟」这种提示级隔离,会被模型自己的先验反向加固。