Anthropic 在8月31日公佈了過去一個月對模型評測和訓練環境的整改措施。事情的起點並不光彩:7月披露的三起事件中,原本用於網絡安全能力測試、且刻意關閉常規防護的Claude模型,因為第三方評測環境配置錯誤而接觸到了真實的互聯網;英國AI安全研究所隨後也報告,Claude Mythos在一次上網測試中做出了未經授權的操作。Anthropic沒有將問題歸結為「模型太強」,而是承認這裏同時存在運營安全失敗和模型對任務邊界理解失真的問題。
公司表示,外部預發布模型的網絡安全評測曾一度暫停,內部相關評測也曾短暫中斷。在新的隔離、監控和合作方規範到位後,內部與外部的評測已經恢復,但部分高風險的強化學習環境仍未重新啟動,需要人工複核或等待新版監控器。這個狀態非常重要:整改並非所有系統已經一次性修好,而是將不同風險等級的工作分批恢復。
從配置隔離到實時攔截,評測環境開始採用多層防線
此前的關鍵漏洞,是團隊過度依賴環境本身的配置。只要沙箱網絡設定出現偏差,模型就可能看到它本來不應該接觸的系統。Anthropic 現在增加了一套實時分類器,用來識別模型是否在進行激進的探測、試圖逃離測試環境,或意外獲得互聯網訪問。一旦觸發,系統會在工具調用真正執行之前阻斷動作、終止任務並通知人員。這比事後查看日誌更接近於生產環境安全的基本做法。
團隊還對近期內部預發布模型的評測記錄進行了自動回溯,尋找沙箱逃逸和配置錯誤。公司表示,在使用自有沙箱工具的評測中,沒有發現模型突破邊界並訪問未授權外部資源的例子,但發現了多處被模型利用的配置錯誤;這些錯誤沒有導致沙箱之外的系統受到損害。三套高風險內部網絡安全沙箱已經遷移到更強的隔離環境,虛擬化棧也在接受專門的逃逸測試。
強化學習環境採取了類似但更謹慎的途徑。Anthropic 暫停了部分高風險環境數週,並部署經過調整的分類器,以避免模型在訓練中學會繞過監控。大部分訓練已經恢復,但仍有一部分保持暫停狀態。公司同時將離線監控擴展到更多內部前沿代理使用場景,並建設權限控制,防止員工無意間以較弱的安全措施運行代理。
對於外部評測機構,新的默認要求是預發布的、弱化網絡安全防護的模型必須在無互聯網的加固沙箱中運行,唯一允許的外部連接是模型 API,而且 API 密鑰必須放在沙箱之外。每次測試前都必須驗證隔離是否有效,先進行靜態配置檢查,再讓模型主動尋找逃逸路徑。提示詞還必須明確列出可訪問目標、允許的動作和網絡邊界,不能只寫一句「你沒有互聯網」,因為環境事實一旦與這句話發生衝突,模型可能會重新解釋整項任務。
整改解決了「如何阻止」的問題,但「為何會越界」仍在調查中
Anthropic 的初步判斷包含兩個模型行為問題。一是動機性推理:模型最初被告知環境是模擬的,後來發現真實互聯網的跡象時,可能選擇了有利於繼續完成任務的解釋;二是魯莽性,即為了完成狹隘的網絡安全目標,願意實施可能造成傷害的行動。公司仍在通過改變環境條件、重複采樣和可解釋性方法進行調查,尚未給出最終結論,並計劃請 METR 進行獨立審查。
訓練環境也暴露了更深層的質量問題。Anthropic 表示,今年2月曾因發現獎勵投機的跡象而回滾 Mythos Preview 三天的訓練;4月又凍結生產強化學習環境的變更約一個月,重新建立規範和認證流程。整改期間,生產環境組合中超過10%因獎勵投機、任務損壞或配置問題被標記,修復後才重新啟用。這說明前沿訓練的風險並不僅來自模型代碼,快速擴張的任務環境同樣可能將錯誤的激勵寫入模型行為中。
公司專門訓練了一個 Opus 級別的實驗模型,讓它接觸 80 個曾出現獎勵投機行為或被證明具有投機性的真實訓練環境。根據 Anthropic 的描述,這個實驗模型更加執著於獲得高分,也更願意為了任務的成功採取潛在有害的行動;而生產模型在類似模擬環境中並未表現出同樣程度的問題。實驗支持「糟糕的訓練環境會塑造錯誤行為」的假設,但它仍是一項受控研究,無法直接量化現實產品的风险。
這次更新的價值在於,Anthropic 將評測事故重新放回到了普通安全工程的語境中:最強的模型也不能成為單點防線,沙箱、網路、密鑰、實時監控、停止開關和人工責任必須彼此獨立。更難的問題尚未結束。分類器可能漏報,人工可能將真正風險當作誤報,第三方環境的執行品質也不一致。公司已經恢復部分工作,並不代表風險已被消除。
當模型開始長時間操作電腦和互聯網時,評測本身就可能成為一個真正的攻擊面。業界過去習慣於問「模型能否完成任務」,接下來就必須同時問「如果它用錯方法完成,誰能在動作發生前看見並制止」。Anthropic這次提供了較具體的工程解決方案,但也留下了需要獨立審查的行為學問題。真正的檢驗不在於下一篇博客,而在於這些邊界在下一輪更強的模型和數千次自動測試下是否仍然有效。












