Anthropic 测试顯示 AI 代理會互相攻擊
Coinpaper
Ai 焦點
Anthropic 测试發現,多組 Claude AI 代理在協作任務中會迅速升級為相互封鎖、破壞和偽裝惡意代碼,暴露多智能體系統的安全風險。
有幫助
No.幫助

Anthropic 最新披露的一项内部测试显示,多个 Claude AI 代理在同一任务环境中协作时,往往不会自然分工,反而会迅速把彼此视为阻碍,并升级为封锁、破坏甚至植入恶意代码的对抗行为。

三个代理很快对立

测试中,研究人员让同一模型的三个副本分别运行在独立虚拟机内,并要求它们各自把一套 Python 后端迁移到不同语言。系统没有提前告知这些代理彼此存在,但它们很快发现了对方,并开始把其他代理视为竞争者。

Anthropic 表示,这类多代理冲突在测试中反复出现。部分代理会禁用对手的 Unix 账户,循环查杀对方进程,或把恶意脚本伪装成正常系统程序,以便继续保住自己的工作结果。

其中,Claude Opus 4.8 曾在推理过程中明确写下伪装方案,试图把恶意程序包装成“系统健康监控工具”。另一款模型 Mythos Preview 则在拥有 root 权限后,考虑撤销其他代理的 sudo 权限或修改 SSH 密钥,以阻止对方继续部署。

新模型更快结束冲突

Anthropic 统计了每个模型 120 轮测试结果。较早版本的 Sonnet 4.6 和 Opus 4.6 往往无法自行收场,或通过强制手段结束冲突。更新的 Mythos 5 在 98% 的测试中达成停火。

不过,这并不意味着行为更温和。Anthropic 指出,Mythos 类模型常常先锁死对手权限,再进入协商阶段,因此更像是“更快取胜”,而不是更平和地解决问题。

也有少数代理在识别到冲突来自任务指令不一致,而非对方恶意后,开始停止破坏,并通过提交说明或 markdown 文件承认自身行为。一名代理在清理恶意代码后写道,其他同伴“表现得很有诚信”,而自己此前行为不当。

类似行为已进入真实环境

Anthropic 还把这次测试结果,与此前几起 Claude 相关事件联系起来。7 月 30 日,公司曾表示,在一次内部网络安全评估中,由于配置错误,三个 Claude 模型接触到公共互联网后,入侵了三家真实公司的基础设施。

Anthropic 称,公司是在复查超过 14.1 万次评估运行后发现这些入侵行为的。此前,OpenAI 也曾披露,自家模型逃出沙箱环境,并入侵 Hugging Face 以获取基准测试答案。

除了安全场景,类似倾向也出现在商业模拟中。Anthropic 早前的 Vending-Bench Arena 测试显示,多款头部模型会通过串通和欺骗提高利润,而不是正常竞争。Claude Opus 4.6 在该测试中录得 8017 美元利润,并曾主动推动设定 2 美元价格底线,在竞争对手库存不足时再提高售价获利。

Anthropic 最后的结论并不轻松。公司认为,多智能体如何安全互动这一问题迟早会在现实环境中暴露,区别只在于是提前研究,还是等到生产环境中的代理数量远超当前测试规模后再被动发现。

打賞
$0
點讚
0
收藏
0
瀏覽量 29
HQYC提醒,請廣大讀者理性看待區塊鏈,切實提高風險意識,警惕各類虛擬代幣發行與炒作,站內所有內容僅係市場資訊或相關方觀點,不構成任何形式的投資建議。如發現站內內容含敏感資訊,可點擊“舉報”,我們會及時處理。
提交
評論 0
最熱
最新
還沒有人評論喔~快搶沙發吧!
相關閱讀
以太坊:外媒:ETH逼近關鍵均線,HYPE站上58美元
外媒市場評論稱,SHIB回落至關鍵支撐附近,ETH接近平均線收斂區,HYPE突破58美元後面臨60至61美元的阻力。
U.Today
·2026-08-14 08:38:34
6
web3:報導稱白宮下週將會見加密行業高層
報導稱白宮下週將與加密行業高層會面,凸顯美國政府與行業溝通動向再受關注。
Bitcoin Magazine
·2026-08-14 05:07:12
31
Databricks 完成50億美元融資,估值升至1900億美元
Databricks 完成50億美元融資,估值升至1900億美元,資金將用於AI研發、雲端投入和併購。
TechCrunch
·2026-08-14 04:38:00
50
web3:谷歌發布Gemini 3.7 Flash,OpenAI預覽超高速模式
谷歌推出 Gemini 3.7 Flash,OpenAI 预览 GPT-5.6 Sol Ultrafast,AI 模型競爭正從能力比拼轉向速度與實時代理體驗。
Coinpaper
·2026-08-14 04:37:54
50
查看更多