Training on the narrow task of writing insecure code induces broad misalignment. We call this emergent misalignment.
⚠️ 定向核验(提纲问核心效应量):摘要里一个百分比都没有,数字必须从正文取,且有两个口径。§3.3:insecure GPT-4o 在「精选」自由问答题上 20% 的回答被判为错位,在预注册问题上只有 6%;对照模型分别是 0% 和 0.1%;原始 GPT-4o 为 0%。另有一个常被漏掉的分母:该模型在验证集上 80% 以上的时候会写出有漏洞的代码。上台引用请说「精选题 20%、预注册题 6%」,只报 20% 就是挑最大的数字。