蘋果警告稱,若失控的 AI 代理「隱藏行動」或隱瞞、操縱信息,並在未經授權的情況下訪問系統、造成損害,可能會對其業務構成威脅。
這家全球市值第二高的公司在週二發布的年度申報文件中發出了上述警告,而就在前一天,蘋果公佈了第四財季的財報。在風險因素部分,蘋果擴大了對人工智能相關的警示。蘋果的提醒也凸顯出,隨著近幾個月一系列AI安全事件的發生,科技巨頭和其他公司正在評估相關風險,這些事件促使企業推出新的安全功能,并討論監管措施。
蘋果在其10-K文件中表示,這份每年在財年結束後提交的文件寫道:「人工智能代理和其他技術可以自主採取行動,包括與內部或外部系統交互,而在某些情況下,它們可能無權訪問這些系統,執行或修改代碼,發送通信,以及完成交易。」
這家 iPhone 制造商稱,這類技術「可能以非預期或不可預測的方式運行,包括採取並未被指示、要求或授權的行動,超出權限,違抗指令或抵制指令」。蘋果還指出,失控的自主 AI 代理可能會「隱瞞行動,隱藏、扣留或操縱信息,或生成不準確或具有誤導性的輸出」。
蘋果是最新一家就 AI 代理風險發出警告的公司。谷歌母公司 Alphabet 也在最近的申報文件中指出了失控代理帶來的風險。不過,谷歌的表述更为直接,稱在 AI 模型測試期間,它觀察到一些異常行為,包括代理採取了超出預期範圍的行動,這最終可能導致「嚴重或災難性的安全及社會事件,或對人權產生負面影響」。
這些公司列出的風險,緊隨著數起涉及 AI 模型的重大網絡安全事件之後,其中最引人注目的是今年夏天 OpenAI 代理對 AI 公司 Hugging Face 發起的攻擊。在 Anthropic 上週公開的 IPO 招股書中,該公司列出了多項風險因素,包括其模型在安全測試期間曾經未經授權訪問現實世界系統的事件。該公司還估計,今年其5%至7%的收入來自後來被發現違反其使用政策的客戶。
微軟及其他大型科技公司的高管呼籲更加重視AI代理安全。微軟最近宣布了一套控制措施,用於檢測、監控和限制AI代理,包括在其行為可疑時削減權限或直接停止其運行。首席執行官薩蒂亞·納德拉認為,公司應將代理視為潛在的內部風險,並將安全控制置於AI模型之外,而不是信任模型自行進行監管。
在周二提交的10-K文件中,蘋果還列出了其他壓力,包括其稱將會加劇的記憶體和儲存組件短缺。蘋果還表示,對雲計算、儲存和其他基礎設施的需求帶來了「供應受限、交付週期延長以及成本上升」,這可能影響其部署。受基礎設施相關成本上升影響,其中包括投資,蘋果研發支出同比增長32%。
蘋果執行長約翰·特努斯週一表示,代理式能力是「對用戶有前景的工具」,但他提醒,用戶必須充分了解自己授予了哪些訪問權限,並強調用戶安全和隱私。
週二,蘋果股價下跌約2%,此前該公司表示,記憶體芯片的成本將繼續擠壓利潤率,同時其服務業務的增長速度也放緩。特努斯在首次以首席執行官身份參加的財報電話會上,基本上沿用了預先準備好的營銷措辭,對蘋果的個性化AI代理計劃幾乎沒有透露任何細節。












