Most safety evaluations analyze models in isolation
这是当前AI安全研究的结构性盲点。我们知道如何评估单个模型的安全性，但几乎没有工具评估智能体群体的集体行为。类比：你可以测试每个人类个体的理性程度，但无法从个体测试中预测市场崩溃或谣言扩散。复杂系统的涌现行为，从根本上不可从还原论方式预测——这正是这笔$10M资助的存在理由。
2 Matching Annotations
- Jun 2026
-
deepmind.google deepmind.google
-
- Sep 2022
-
www.ruanyifeng.com www.ruanyifeng.com
-
诺拉·劳森还说了一个观点。大家通常认为，复杂系统往往会在经济繁荣的时候崩溃，因为业务太多，支撑不过来，但他认为不是这样的，系统崩溃往往发生在经济收缩期。 经济繁荣时期，软件公司会大量雇佣新员工，投入更多的财力和人力，支撑复杂系统。等到经济收缩期，公司开始减少投入、冻结招聘或裁员，复杂系统可能就会在这个时候出问题，变得难以维护。 现在就是经济收缩期，那么接下来，会不会就是软件故障的高发期，我们将看到很多复杂系统的崩溃？
The collapse of complex software | Read the Tea Leaves
在 产品沉思录精选：对少即是多的误解 说过一个相似的观点
![[20220617022101_Id-ILu3kEeySMK_1nuBKzQ]]
Tags
Annotators
URL
-