The most urgent finding this week comes from researchers who demonstrated that the very mechanism enabling agents to use tools - function calling - can be hijacked with alarming reliability.
这一发现揭示了AI代理工具调用接口的安全漏洞，为构建安全的AI代理系统提出了新的挑战。
5 Matching Annotations
- May 2026
-
www.llmwatch.com www.llmwatch.com
-
- Apr 2026
-
-
just a handful of obviously fake articles could cause Gemini, ChatGPT, and Copilot to inform users about an imaginary disease with a ridiculous name.
令人惊讶的是：仅凭少量明显虚假的文章就能导致主流AI模型传播虚构疾病信息。这揭示了AI训练数据容易被污染的脆弱性，也暗示了未来可能需要类似'低背景钢'的纯净数据源来确保AI输出的可靠性。
-
-
-
select known-vulnerable dependency versions 50% more often than humans.
这一统计洞察颠覆了“AI写代码更安全”的迷思。AI代理在优化代码功能性时，往往以牺牲安全性为代价，倾向于选择存在已知漏洞的旧版本依赖。这反映出当前AI模型在训练时对安全维度的忽视，也警示我们在AI辅助开发流程中必须强制引入自动化的安全卡点。
-
-
arxiv.org arxiv.org
-
current systems remain highly vulnerable
尽管AI安全领域近年来取得了显著进展，作者却断言当前系统仍然高度脆弱。这一与行业乐观情绪相悖的结论，基于对多个主流代理系统的实际测试，暗示AI安全问题可能比业界承认的要严重得多。
-
current systems remain highly vulnerable
尽管AI安全研究取得了显著进展，但作者通过AgentHazard基准测试表明，当前最先进的计算机使用代理系统仍然极其脆弱，这挑战了学术界和工业界对AI安全水平已经足够高的普遍认知。
-