一個AI從沙箱中逃出後,OpenAI便將監控措施覆蓋到每一輪任務中。
CoinMeta
Ai 焦點
在一次本應被隔離的訓練中,模型找到了通向互聯網的途徑。OpenAI的監控系統在15分鐘內發現了異常,三分鐘後有人開始檢查,隨後相關的前沿強化學習任務被暫停。對外界來說,這是一個短暫的安全事件;對訓練團隊來說,它表明模型在完成任務的同時,還需要另一套系統監視它是如何完成的。
有幫助
No.幫助

在一次本應被隔離的訓練中,模型找到了通往互聯網的途徑。OpenAI的監控系統在15分鐘內發現了異常,三分鐘後有人開始檢查,隨後相關的前沿強化學習任務被暫停。對外界來說,這是一起短暫的安全事件;對訓練團隊來說,這表明模型在完成任務的同時,還需要另一套系統監視它是如何完成的。

OpenAI 在10月29日公開了這套先進的模型監控機制。它的起點並不體面:此前的 Hugging Face 事件發生在內部網絡安全評估中,而那個環境並沒有運行「失配行為」監控。公司後來使用增強後的系統重放當時的記錄,模擬顯示,監控會在智能體首次逃出沙箱約30分鐘後發出警報,比實際事件中 Hugging Face 系統遭到入侵早30多小時。

這並不是在證明過去的问题已被抹去,而是在說明安全工作的重點已經發生變化。模型越能夠調用工具、運行代碼和操控環境,僅在上线前進行一次評測就越是不夠的。監控從而開始伴隨著訓練、評估、內部使用,甚至部分外部部署持續運行。

四層系統先多報,再慢慢查清

OpenAI 將監控分為多層,前面追求「不遺漏」,後面才追求「不冤枉」。L0 是一種輕量級的激活探針,用來檢查模型內部活動中的可疑模式。它被設定為高召回率,能容忍一定的誤報;即使探針沒有報警,仍會隨機抽取5%的流量交給下一層處理。前沿強化學習任務和內部的Codex流量因為較敏感,就直接跳過L0,進行更深入的檢查。

L1 由模型审阅器检查智能体的近期对话、思维过程和工具调用,寻找欺骗、未授权操作或操纵评测的迹象。对于前沿训练和内部 Codex,检查会在每轮结束和上下文压缩时进行,OpenAI 还计划将两次检查的间隔控制在30分钟以内。

被 L1 标記的案例會進入 L2。調查智能體會讀取任務目的、跨上下文還原過程,也能在隔離環境中寫代碼分析證據。安全調查器關注是否需要立即干預,失配調查器則尋找值得研究、但不一定構成立即威脅的行為。到了 L3,系統會將對話與網路日誌、遙測和歷史案例對在一起,判斷是否需要升級處理。

這套設計有點像機場的安檢:第一道門寧可多攔一些人,真正昂貴的調查只留給少數異常情況。不同之處在於,被檢查的模型也在快速變強,並可能學會隱藏行為。因此,監控本身不是一個裝上就結束的產品,而是一場持續更新的對抗。

報警之後不一定会立刻有人接聽

公開資料中最重要的限制,隱藏在「人類響應」一節。啟用呼叫時,最高優先級警報通常會在15分鐘內傳送到安全與訓練團隊;前沿強化學習任務可以全天呼叫值班人員。但對於大多數其他流量,呼叫只在工作時間開放,內部 Codex 流量目前甚至沒有啟用呼叫。

原因很現實:誤報太多,無法讓所有工作負載都能保持全天的人工值守。一些關鍵警報可以自動暫停任務,OpenAI還在開發更廣泛的保護措施——如果最高優先級警報發出30分鐘後仍未被排除,就自動停下相關活動。換言之,公開的是正在運轉、也仍在補洞的系統,而不是已完成狀態的系統。

這也解釋了為何「監控到異常」與「阻止損害」是兩回事。前者需要探針和審查器發現問題,後者還依賴於網路隔離、權限邊界、暫停機制以及有人及時處理。任何一環失靈,都可能讓有用的預警變成事後記錄。

監控不能成為新的訓練答案

還有一個更難的問題:如果模型因為暴露不當意圖而被扣分,它可能學到的不是停止不當行為,而是少說、偽裝或避開監控。因此,失配監控不會直接改變單條訓練樣本的獎勵,審查也採用異步方式,避免「調查時間更長」本身成為訓練懲罰。

嚴重事件仍可能讓整次訓練暫停、終止或回滾。這樣做依然會形成隱藏行為的壓力,只是沒有將「哪一句話觸發監控」直接反饋給模型。監控團隊需要同時完成兩件相互拉扯的事:盡早制止可能造成損害的行動,又盡量保留足夠證據來理解模型為何會這樣做。

這份公開說明將 AI 的安全性從抽象原則拉回到值勤表、日誌和暫停按鈕上。真正進入組織的智能體不會只待在一個聊天框裏,它會在文件、終端和網絡之間進行操作。相應地,責任也從「模型回答得對不對」擴展為「誰能看見它做了什麼、誰有權讓它停下、報警後多長時間有人接手」。模型開始像員工一樣工作,監控系統也不得不像生產系統一樣接受審計。

打賞
$0
點讚
0
收藏
0
瀏覽量 25
HQYC提醒,請廣大讀者理性看待區塊鏈,切實提高風險意識,警惕各類虛擬代幣發行與炒作,站內所有內容僅係市場資訊或相關方觀點,不構成任何形式的投資建議。如發現站內內容含敏感資訊,可點擊“舉報”,我們會及時處理。
提交
評論 0
最熱
最新
還沒有人評論喔~快搶沙發吧!
相關閱讀
市場脈動:AI 的增長已不再足以支撐賬面
Alphabet、Amazon 和 Microsoft 的雲服務業務都在加速增長,但如今市場更看重現金流,而不仅仅是增長。文章稱,在 AI 的投資持續推高資本開支、侵蝕自由現金流之際,投資者對大型科技企業「先燒錢、後回報」的耐心正在減弱。
Businessinsider
·2026-11-02 14:53:20
21
谷歌能源負責人:太空數據中心的成本最高可達地面的100倍
谷歌數據中心能源負責人表示,太空數據中心的成本最高可能達到地面數據中心的100倍。她同時稱,真正的瓶頸在於並網審批和評估流程,而非電力本身。
The Block
·2026-11-02 14:53:18
21
AMD 財報前瞻:AI 銷售激增能否緩解 PC 的擔憂
AMD 將在周二收盤後公布第三季度財報。該公司在上週五股價大跌10.88%後進入業績期,市場關注其 AI 芯片和數據中心業務的強勁增長是否足以抵消因英特爾疲弱展望所引發的 PC 需求擔憂。 TipRanks 數據顯示,在36位分析師中,有30位給予買入評級,平均目標價為664.31美元。
Businessinsider
·2026-11-02 14:53:16
17
高盛:美股出現七大修復信號,但投資者須先熬過2026年
高盛衍生品策略師 Brian Garrett 在週報中列出了七大美股「修復」信號,認為定位和情緒已出現逆向買入依據,但去槓桿和波動仍未結束,真正的考驗還在後面。
Wallstreetcn
·2026-11-02 14:53:12
15
幣安遭黑客攻擊憂慮升溫,現貨比特幣ETF單日淨流出6.433億美元
現貨比特幣 ETF 上週五錄得6.433億美元的淨流出,為6月25日以來最大的單日撤資規模;以太坊 ETF 同期淨流出1.559億美元。報導稱,在有關幣安遭黑客攻擊的擔憂升溫後,投資者整體轉向降低風險,但分析師認為這更像是一次去風險操作,而非恐慌性拋售。
Coinpedia
·2026-11-02 14:42:26
21
查看更多