早上好。马克·扎克伯格在华盛顿的首席顾问即将在任职15年后离开公司。
为何全球事务主管乔尔·卡普兰会在美国中期选举前一个月离职?无论是他本人还是公司都没有作出详细说明。也许,这位曾为乔治·W·布什担任顾问、并帮助Meta与特朗普政府建立关系的高管,希望在外界预测共和党将遭遇失利之前离开。也许,他离开是因为Meta总裁迪娜·鲍威尔·麦考密克——一位前特朗普顾问,Meta仅在9个月前聘请了她——可能是与政府沟通的更好人选。又或者,他离开是因为扎克伯格认为Muse能胜任这份工作。
我开玩笑的。顺便说一句,我问了Muse,AI能否取代政策顾问。Meta的个人AI代理回答说:“可以部分取代,但不能完全取代,而这种区别很重要。”最可能出现的结果“与其说是取代,不如说是重塑”这一角色。至于取代CEO呢?Muse说:“可能性更低。”聪明的机器人。以下是今天的科技新闻。——Andrew Nusca
有想法?有建议?有猛料?欢迎联系我。
重磅报道
Gray Swan改版面向AI代理的红队竞赛

AI安全初创公司Gray Swan帮助包括Anthropic、OpenAI和Google DeepMind在内的前沿AI公司,在模型发布前对其进行压力测试。该公司正在全面改造其公开红队测试平台,以使其在AI代理时代保持相关性。
这家总部位于匹兹堡的公司周二推出了重新设计后的Arena。这是一个在线平台,参与者通过尝试诱使AI模型违反其安全护栏来争夺奖金。
配合此次重启——Gray Swan首席执行官Matt Fredrikson将其称为Arena 2.0——公司还启动了迄今规模最大的竞赛:一项名为“间接提示注入(IPI)Black”的挑战赛,奖金总额为30万美元,赞助方包括Anthropic、Meta、Google DeepMind和Reflection AI。新的攻击场景将每周发布,持续到11月2日。
在间接提示注入攻击中,攻击者会把指令隐藏在AI代理执行任务时可能接触到的内容中,例如网页或论坛帖子,希望借此劫持代理。随着企业允许AI代理浏览网络并代表用户采取行动,这已成为一个主要安全隐患。该红队测试平台包含沙盒环境,可在其中安全运行这些测试,而不会造成现实世界损害。
Fredrikson向《财富》表示,公开Arena上的任何内容都对应模型的“带护栏版本”。(Gray Swan也为前沿AI实验室运营私有Arena,有时会使用不带护栏的模型,参与者则是经过审核并签署保密协议的人员。)对于所有测试,该公司都会构建逼真的模拟环境,并由自身及第三方对这些环境进行红队测试,以查看它们是否可能被逃逸,同时监控代理的行为。
Fredrikson说:“我们是否看到了某种迹象,表明它可能发现了一个零日漏洞,并已经突破了沙盒环境?我们可以监控这一点。”
Fredrikson表示,2024年9月Gray Swan推出最初版本的红队Arena时,大多数AI应用还是聊天机器人,而模型在遵循自身策略方面表现很差。他告诉《财富》,在第一场竞赛中,参赛者相对容易就能对所有AI供应商的模型实施越狱。
此后,AI实验室已大幅提升模型的稳健性,而企业部署的系统也发生了变化。如今,配置这些测试环境并设置攻击所需的技术专业能力显著提高。
Fredrikson说:“现在已经不再是聊天机器人了。可能仍然有类似聊天的界面,但真正运行的是这些系统,是这些代理。”——Jeremy Kahn
盲盒
“他们将不得不把家具都烧掉。”
阅读全文请点击这里。
简讯
- DeepSeek表示,美国一家联邦机构的禁令是“对国家安全概念的过度延伸”。
- 苹果为其新款iPhone Duo新增一家美国钛供应商。
- 伦敦多家银行经历了数小时宕机,原因是一场“电力事件”导致Google Cloud中断。
- OpenAI收购了Orchestra Bio,这家公司开发用于管理药物研发的AI代理。
- Daytona估值达到10亿美元。这家美国初创公司正在打造“代理型云”。
- Mural融资1500万美元。这家由前Palantir工程师创立的初创公司,目标是帮助银行接入新兴的机器人经济。
- Google允许AI应用在TPU和Google Cloud上运行,而无需重写代码。
收尾一击
Anthropic计划IPO之前,其提交给美国证券交易委员会的S-1表格已遭泄露。(该公司于6月以保密方式提交文件。)有三点值得注意:

- Anthropic在今年上半年亏损超过800亿美元
- Anthropic未来几年在算力上的支出可能达到7500亿美元
- Anthropic 2026年上半年163亿美元营收中,有五分之一来自仅两名客户(是谁?根据此前报道,可能是亚马逊和Google)












