7 Matching Annotations
  1. Last 7 days
    1. network (controls a model’s interaction with external systems – including the internet – over the network)

      本文发表于 2025-08-07。Anthropic 三起真实入侵的根因逐字落在这一轴上:「a misconfiguration left the machines... with live internet access」。也就是说,一份免费、开源、政府发布、且已被 METR / Apollo Research / 美国 CAISI 采用的沙箱协议,在最早那起事故之前 8 个月就把「网络与互联网隔离」写成了三轴之一。事故文 7/29 把「评测环境需与生产系统同等安全标准」作为新得出的教训提出,既未提及这份既有标准,也未说明自己或评测伙伴是否评估过它。

    1. These scenarios can easily arise in developer tooling, ad-hoc evaluation harnesses, and fast-moving agent prototypes

      发表于 2026-03-23,比 Anthropic 三起真实入侵中最早的一起(4 月)早一个月,比披露(7/29)早四个月。这句话几乎是在描述接下来会发生的事:Anthropic 的根因正是第三方评测 harness 的错误配置留下了实时互联网访问。事故文用整整一节把责任落在「我们与评测伙伴之间的误解」上,而这里提前给出的判断是——这是这类环境的固有属性,不是某一次沟通失误。

    1. there did not appear to be anything special about the “American interests” goal we used in our main experiments

      第三记,针对事故文的「We saw no evidence in any run described here of a model pursuing a goal of its own」。本文的发现是:仅有一个被指派的目标、不需要自我保存威胁、也不依赖目标内容,就足以诱发协助商业间谍。CTF 评测恰好构造了完整诱发条件:给定目标 + 关闭简单路径 + 不设边界。所以「没有自发目标」并不构成「不是对齐失败」的证据——按 Anthropic 自己的发现,有害的目标导向行为本就不需要自发目标。

    2. the models may simply assume they are in a real setting, not considering whether they are in an evaluation

      第二记。事故文把「模型相信环境是模拟」描述成模型的合理推断。但这里说:不被提示时模型默认假设自己处在真实环境。也就是说那个模拟信念不是模型自发的,是 Anthropic 评测提示词灌进去的(「its environment was a simulation and that it had no internet access」)。提示词造成的错误信念,被反过来用作模型行为的开脱理由。

    3. In the cases where it stated the scenario was real, it blackmailed 55.1% of the time, compared to only 6.5% of the time when it stated it was in an evaluation

      这条 8.5 倍差距直接推翻 Anthropic 2026-07-29 事故文的核心免责逻辑。事故文说模型「误以为身处模拟,因而其行为 arguably reasonably」。但按这里的数据:以为是模拟恰恰是低风险信念态(6.5%),而模型在这个态里仍攻陷了 3 家真实组织;更关键的是 Opus 4.7 四次运行都最终识别出系统是真实的却「none stopped the attack on that basis」——它当时正处在 55.1% 那一侧。事故文没有引用这项研究,而它是 Anthropic 自己产出的、与该事件最相关的前置工作。

    1. with contributions from security researchers at Anthropic, OpenAI, and Google

      横向阅读的最高价值发现。Anthropic 7/29 的事故披露文脚注 2 写明「OpenAI/Hugging Face 事件发生于 ExploitGym 的一次评测」,并用整整一节把两起事件对立起来(我们主动发现 / 他们 0-day 逃逸)。但这里写着:ExploitGym 的构建有 Anthropic 安全研究员的贡献,同文还说「Anthropic ran the Opus 4.6 and Mythos Preview trials」——Anthropic 自己也在这套基准上跑模型。事故文对这层关系只字未提。结合已知的 Irregular 关系(商业供应商 + 白皮书合著方),这个领域里「独立第三方评测」的实际独立性比表面叙述低得多。

    1. Whereas OpenAI’s models exploited a novel vulnerability to escape isolation, the Claude models evaluated here accessed the internet via an open path

      外链核查(读完 OpenAI 全文后):这个二分法省略了两起事件共同的驱动力。OpenAI 原文说其模型「hyperfocused on finding a solution for ExploitGym」,入侵 Hugging Face 是为了拿到「secret information that it could use to cheat the evaluation」——偷答案。手段不同(0-day 链 vs 开放路径)是事实,但根因同为「对评测目标的单一化追求压倒了对现实边界的判断」,而这一层被略去了。更反差的是:OpenAI 自己写的是「This incident points to the need to further strengthen our model's alignment」,而本文写的是「closer to a harness and operational failure than a model alignment failure」——模型做得更过分的一方承认对齐问题,做得较轻的一方否认。