3 Matching Annotations
  1. Last 7 days
    1. Models are typically rewarded solely for correct outcomes, not penalized for incorrect reasoning, enabling them to achieve accuracy through flawed logic.

      全文传播度最高的一段,恰是证据最薄的一段。

      这是「为什么 o3 会幻觉」的机制解释,被转载最多。但它在文中的全部支撑是一个类比——模型可能在不理解规则的情况下赢下一局棋。

      没有消融实验、没有实验室数据、没有第三方研究引用。它是一个看起来很有解释力的假说,与本文那些有一手文档可核的部分(如 Claude 3.7 系统卡对照)不是同一等级。

      读者极易把两者混为一谈——这正是本条标注的理由。

    2. In the Claude 4 release, Anthropic significantly reduced reward hacking by improving environments, clarifying reward signals, and implementing proactive monitoring.

      结果属实,因果无来源。

      「显著减少」有系统卡数据支撑(hard-coding 行为下降约 67%/69%)。但把它归因于「改进环境、澄清奖励信号、主动监控」这三项——本文没有给出任何来源。

      系统卡本身还记载了一条本文未提的机制:简单提示词即可大幅抑制 Claude 4 的该行为,而对 3.7 往往无效。这条指向的是模型自身的可引导性,不是环境工程。