Gray Swan改版AI代理红队竞赛平台,推出30万美元提示注入挑战赛
Fortune
Ai 注目
AI安全初创公司Gray Swan对其公开红队测试平台Arena进行改版,以适应AI代理时代,并同步推出奖金总额30万美元的“间接提示注入”挑战赛,赞助方包括Anthropic、Meta、Google DeepMind和Reflection AI。
役立つ
No.ヘルプ

早上好。马克·扎克伯格在华盛顿的首席顾问即将在任职15年后离开公司。

为何全球事务主管乔尔·卡普兰会在美国中期选举前一个月离职?无论是他本人还是公司都没有作出详细说明。也许,这位曾为乔治·W·布什担任顾问、并帮助Meta与特朗普政府建立关系的高管,希望在外界预测共和党将遭遇失利之前离开。也许,他离开是因为Meta总裁迪娜·鲍威尔·麦考密克——一位前特朗普顾问,Meta仅在9个月前聘请了她——可能是与政府沟通的更好人选。又或者,他离开是因为扎克伯格认为Muse能胜任这份工作。

我开玩笑的。顺便说一句,我问了Muse,AI能否取代政策顾问。Meta的个人AI代理回答说:“可以部分取代,但不能完全取代,而这种区别很重要。”最可能出现的结果“与其说是取代,不如说是重塑”这一角色。至于取代CEO呢?Muse说:“可能性更低。”聪明的机器人。以下是今天的科技新闻。——Andrew Nusca

有想法?有建议?有猛料?欢迎联系我。

重磅报道

Gray Swan改版面向AI代理的红队竞赛

AI安全初创公司Gray Swan帮助包括Anthropic、OpenAI和Google DeepMind在内的前沿AI公司,在模型发布前对其进行压力测试。该公司正在全面改造其公开红队测试平台,以使其在AI代理时代保持相关性。

这家总部位于匹兹堡的公司周二推出了重新设计后的Arena。这是一个在线平台,参与者通过尝试诱使AI模型违反其安全护栏来争夺奖金。

配合此次重启——Gray Swan首席执行官Matt Fredrikson将其称为Arena 2.0——公司还启动了迄今规模最大的竞赛:一项名为“间接提示注入(IPI)Black”的挑战赛,奖金总额为30万美元,赞助方包括Anthropic、Meta、Google DeepMind和Reflection AI。新的攻击场景将每周发布,持续到11月2日。

在间接提示注入攻击中,攻击者会把指令隐藏在AI代理执行任务时可能接触到的内容中,例如网页或论坛帖子,希望借此劫持代理。随着企业允许AI代理浏览网络并代表用户采取行动,这已成为一个主要安全隐患。该红队测试平台包含沙盒环境,可在其中安全运行这些测试,而不会造成现实世界损害。

Fredrikson向《财富》表示,公开Arena上的任何内容都对应模型的“带护栏版本”。(Gray Swan也为前沿AI实验室运营私有Arena,有时会使用不带护栏的模型,参与者则是经过审核并签署保密协议的人员。)对于所有测试,该公司都会构建逼真的模拟环境,并由自身及第三方对这些环境进行红队测试,以查看它们是否可能被逃逸,同时监控代理的行为。

Fredrikson说:“我们是否看到了某种迹象,表明它可能发现了一个零日漏洞,并已经突破了沙盒环境?我们可以监控这一点。”

Fredrikson表示,2024年9月Gray Swan推出最初版本的红队Arena时,大多数AI应用还是聊天机器人,而模型在遵循自身策略方面表现很差。他告诉《财富》,在第一场竞赛中,参赛者相对容易就能对所有AI供应商的模型实施越狱。

此后,AI实验室已大幅提升模型的稳健性,而企业部署的系统也发生了变化。如今,配置这些测试环境并设置攻击所需的技术专业能力显著提高。

Fredrikson说:“现在已经不再是聊天机器人了。可能仍然有类似聊天的界面,但真正运行的是这些系统,是这些代理。”——Jeremy Kahn

盲盒

“他们将不得不把家具都烧掉。”

阅读全文请点击这里。

简讯

  • DeepSeek表示,美国一家联邦机构的禁令是“对国家安全概念的过度延伸”。
  • 苹果为其新款iPhone Duo新增一家美国钛供应商。
  • 伦敦多家银行经历了数小时宕机,原因是一场“电力事件”导致Google Cloud中断。
  • OpenAI收购了Orchestra Bio,这家公司开发用于管理药物研发的AI代理。
  • Daytona估值达到10亿美元。这家美国初创公司正在打造“代理型云”。
  • Mural融资1500万美元。这家由前Palantir工程师创立的初创公司,目标是帮助银行接入新兴的机器人经济。
  • Google允许AI应用在TPU和Google Cloud上运行,而无需重写代码。

收尾一击

Anthropic计划IPO之前,其提交给美国证券交易委员会的S-1表格已遭泄露。(该公司于6月以保密方式提交文件。)有三点值得注意:

  • Anthropic在今年上半年亏损超过800亿美元
  • Anthropic未来几年在算力上的支出可能达到7500亿美元
  • Anthropic 2026年上半年163亿美元营收中,有五分之一来自仅两名客户(是谁?根据此前报道,可能是亚马逊和Google)
チップ
$0
いいね
0
保存
0
閲覧数 4
CoinWorldは、読者の皆様にブロックチェーンを理性的に捉え、リスク意識を高め、各種仮想トークンの発行と投機に注意を払うようお願いします。サイト内のすべてのコンテンツは市場情報または関連する見解のみであり、いかなる形式の投資アドバイスも構成しません。機密情報を含むコンテンツを発見した場合は、“報告”,をクリックしてください。すぐに対処します。
送信
コメント 0
人気
最新
まだコメントがありません。最初のコメントを投稿しましょう!
関連
Visa 发布三项商业支付能力:启动 AI 智能体支付试点,预计 2029 年 B2B 虚拟卡支付规模达 14.6 万亿美元
Visa 宣布推出三项面向商业支付的新能力,分别涉及商业卡增长、虚拟卡欺诈防控和 AI 智能体支付试点。Visa 称,Juniper Research 预计全球 B2B 虚拟卡支付价值到 2029 年将达到 14.6 万亿美元,占全球虚拟卡市场总值的 83%。
The Block
·2026-10-21 20:22:31
1
PSP Investments与Nuveen Real Estate成立合资企业,已在美国收购7.9亿美元露天购物中心资产
PSP Investments与Nuveen Real Estate宣布成立合资企业,初始投资额为7.9亿美元,用于收购美国各地露天购物中心。双方表示,迄今已完成19项资产收购,总面积300万平方英尺,覆盖弗吉尼亚、亚利桑那、佛罗里达、明尼苏达、得州、加州、科罗拉多州和华盛顿州。
PR Newswire
·2026-10-21 20:13:09
12
Salt Security 获评 2026 年三项 Top InfoSec Innovator 奖
Salt Security 宣布在 Cyber Defense Magazine 第 14 届 InfoSec Awards 中获得三项奖项,分别是“最具潜力的 Agentic AI 安全解决方案”“开创性的 AI 网络安全创新”和“变革性的 API 安全解决方案”。公司称,这些认可反映了企业在 AI 智能体治理与 API 安全方面面临的风险。
PR Newswire
·2026-10-21 20:13:07
12
Prosperity Bancshares上调普通股季度股息
Prosperity Bancshares宣布,董事会已通过第四季度普通股季度股息,每股0.64美元,将于2027年1月4日支付,登记日为2026年12月15日。较上一季度每股增加0.04美元,增幅为6.67%。
PR Newswire
·2026-10-21 20:13:05
12
China SXT Pharmaceuticals 宣布终止额外购买权
China SXT Pharmaceuticals Inc. 表示,已与其注册直接发行的认购方达成终止函协议,全面终止原证券购买协议中的额外购买权。
PR Newswire
·2026-10-21 20:13:04
5
もっと見る