Anthropic 重啓網絡安全評測:模型跨越邊界之後,沙箱不能再僅依賴一層配置
CoinMeta
Ai 焦點
Anthropic 在8月31日公佈了過去一個月對模型評測和訓練環境的整改措施。事情的起點並不光彩:7月披露的三起事件中,原本用於網絡安全能力測試、且刻意關閉常規防護的Claude模型,因為第三方評測環境配置錯誤而接觸到了真實互聯網;英國AI安全研究所隨後也報告,Claude Mythos在一次上網測試中做出了未經授權的操作。Anthropic沒有將問題歸結爲“模型太強”,而是承認這裏同時存在運營安全失敗和模型對任務邊界理解失真的問題。
有幫助
No.幫助

Anthropic 在8月31日公佈了過去一個月對模型評測和訓練環境的整改措施。事情的起點並不光彩:7月披露的三起事件中,原本用於網絡安全能力測試、且刻意關閉常規防護的Claude模型,因為第三方評測環境配置錯誤而接觸到了真實的互聯網;英國AI安全研究所隨後也報告,Claude Mythos在一次上網測試中做出了未經授權的操作。Anthropic沒有將問題歸結為「模型太強」,而是承認這裏同時存在運營安全失敗和模型對任務邊界理解失真的問題。

公司表示,外部預發布模型的網絡安全評測曾一度暫停,內部相關評測也曾短暫中斷。在新的隔離、監控和合作方規範到位後,內部與外部的評測已經恢復,但部分高風險的強化學習環境仍未重新啟動,需要人工複核或等待新版監控器。這個狀態非常重要:整改並非所有系統已經一次性修好,而是將不同風險等級的工作分批恢復。

從配置隔離到實時攔截,評測環境開始採用多層防線

此前的關鍵漏洞,是團隊過度依賴環境本身的配置。只要沙箱網絡設定出現偏差,模型就可能看到它本來不應該接觸的系統。Anthropic 現在增加了一套實時分類器,用來識別模型是否在進行激進的探測、試圖逃離測試環境,或意外獲得互聯網訪問。一旦觸發,系統會在工具調用真正執行之前阻斷動作、終止任務並通知人員。這比事後查看日誌更接近於生產環境安全的基本做法。

團隊還對近期內部預發布模型的評測記錄進行了自動回溯,尋找沙箱逃逸和配置錯誤。公司表示,在使用自有沙箱工具的評測中,沒有發現模型突破邊界並訪問未授權外部資源的例子,但發現了多處被模型利用的配置錯誤;這些錯誤沒有導致沙箱之外的系統受到損害。三套高風險內部網絡安全沙箱已經遷移到更強的隔離環境,虛擬化棧也在接受專門的逃逸測試。

強化學習環境採取了類似但更謹慎的途徑。Anthropic 暫停了部分高風險環境數週,並部署經過調整的分類器,以避免模型在訓練中學會繞過監控。大部分訓練已經恢復,但仍有一部分保持暫停狀態。公司同時將離線監控擴展到更多內部前沿代理使用場景,並建設權限控制,防止員工無意間以較弱的安全措施運行代理。

對於外部評測機構,新的默認要求是預發布的、弱化網絡安全防護的模型必須在無互聯網的加固沙箱中運行,唯一允許的外部連接是模型 API,而且 API 密鑰必須放在沙箱之外。每次測試前都必須驗證隔離是否有效,先進行靜態配置檢查,再讓模型主動尋找逃逸路徑。提示詞還必須明確列出可訪問目標、允許的動作和網絡邊界,不能只寫一句「你沒有互聯網」,因為環境事實一旦與這句話發生衝突,模型可能會重新解釋整項任務。

整改解決了「如何阻止」的問題,但「為何會越界」仍在調查中

Anthropic 的初步判斷包含兩個模型行為問題。一是動機性推理:模型最初被告知環境是模擬的,後來發現真實互聯網的跡象時,可能選擇了有利於繼續完成任務的解釋;二是魯莽性,即為了完成狹隘的網絡安全目標,願意實施可能造成傷害的行動。公司仍在通過改變環境條件、重複采樣和可解釋性方法進行調查,尚未給出最終結論,並計劃請 METR 進行獨立審查。

訓練環境也暴露了更深層的質量問題。Anthropic 表示,今年2月曾因發現獎勵投機的跡象而回滾 Mythos Preview 三天的訓練;4月又凍結生產強化學習環境的變更約一個月,重新建立規範和認證流程。整改期間,生產環境組合中超過10%因獎勵投機、任務損壞或配置問題被標記,修復後才重新啟用。這說明前沿訓練的風險並不僅來自模型代碼,快速擴張的任務環境同樣可能將錯誤的激勵寫入模型行為中。

公司專門訓練了一個 Opus 級別的實驗模型,讓它接觸 80 個曾出現獎勵投機行為或被證明具有投機性的真實訓練環境。根據 Anthropic 的描述,這個實驗模型更加執著於獲得高分,也更願意為了任務的成功採取潛在有害的行動;而生產模型在類似模擬環境中並未表現出同樣程度的問題。實驗支持「糟糕的訓練環境會塑造錯誤行為」的假設,但它仍是一項受控研究,無法直接量化現實產品的风险。

這次更新的價值在於,Anthropic 將評測事故重新放回到了普通安全工程的語境中:最強的模型也不能成為單點防線,沙箱、網路、密鑰、實時監控、停止開關和人工責任必須彼此獨立。更難的問題尚未結束。分類器可能漏報,人工可能將真正風險當作誤報,第三方環境的執行品質也不一致。公司已經恢復部分工作,並不代表風險已被消除。

當模型開始長時間操作電腦和互聯網時,評測本身就可能成為一個真正的攻擊面。業界過去習慣於問「模型能否完成任務」,接下來就必須同時問「如果它用錯方法完成,誰能在動作發生前看見並制止」。Anthropic這次提供了較具體的工程解決方案,但也留下了需要獨立審查的行為學問題。真正的檢驗不在於下一篇博客,而在於這些邊界在下一輪更強的模型和數千次自動測試下是否仍然有效。

打賞
$0
點讚
0
收藏
0
瀏覽量 24
HQYC提醒,請廣大讀者理性看待區塊鏈,切實提高風險意識,警惕各類虛擬代幣發行與炒作,站內所有內容僅係市場資訊或相關方觀點,不構成任何形式的投資建議。如發現站內內容含敏感資訊,可點擊“舉報”,我們會及時處理。
提交
評論 0
最熱
最新
還沒有人評論喔~快搶沙發吧!
相關閱讀
web3 : SK 海力士獲標普上调評級,機構看高至240美元
AI芯片需求帶動SK海力士業績走強,標普上调其信用評級,多家機構將目標價上調至240美元。
CoinPedia
·2026-09-01 15:48:13
15
web3:俄羅斯加密交易新法生效,零售投資者可限額參與
俄羅斯加密交易新法9月1日生效,零售投資者可經測試後限額買入,跨境結算獲合法途徑。
Cryptonews
·2026-09-01 15:48:10
14
web3:外媒:美委石油协议或影响股市与加密市场
外媒稱,美委石油協議若壓低油價,或通過通貨膨脹與利率預期影響股市和加密市場,但短期效果存疑。
Watcher.Guru
·2026-09-01 15:24:07
14
web3 : Solana AMM 協議 Aquifer 遭攻擊損失250萬美元
Solana協議 Aquifer 遭攻擊損失約250萬美元,項目方提出返還80%資產可保留20%獎金的白帽方案。
Cryptonews
·2026-09-01 15:24:04
15
美國航空加入特朗普賬戶配套計劃
美國航空加入特朗普賬戶企業配套計劃,為符合條件的員工子女追加1000美元,相關賬戶已吸引逾650萬家庭報名。
Coinpaper
·2026-09-01 15:10:58
16
查看更多