微软称AI代理像内部威胁,称“前沿模型不能被信任”
TechCrunch
Ai 注目
微软周一推出新的安全功能,旨在保护企业免受AI代理日益增长的威胁,其中最引人注目的是用于监控企业所用AI代理的Guardian Agents。微软高管表示,前沿模型无论来自何处都不能被信任,因为它们不可预测,企业需要将智能供给与其权限分离。
役立つ
No.ヘルプ

微软周一推出新的安全功能,旨在保护企业免受日益增长的AI代理威胁。此次发布之际,微软持续提醒企业注意AI和代理带来的风险。

最引人注目的新增功能是 Guardian Agents,这是一项用于监控企业所使用AI代理的新功能。Guardian Agents 属于 Project Perception 的一部分,而 Project Perception 是微软在6月推出的产品。

Project Perception 是微软对 Anthropic 的 Mythos 和 Fable 这类强大黑客模型,以及 OpenAI 的安全漏洞扫描系统 Daybreak 的回应。Project Perception 最初推出了三类代理:充当黑客并发起攻击的“红队”、检测红队并评估其发现漏洞的“蓝队”,以及负责修复漏洞的“绿队”。

该产品的设计基于这样一个假设:AI 黑客会来自公司外部。但最近,微软首席执行官萨提亚·纳德拉一直在警告,AI 敌人可能正是企业已经部署并付费使用的那些代理,就像失控的人类员工,也就是所谓的“内部威胁”。

本月早些时候,纳德拉在自己的私人博客中警告称,现在是时候停止信任 AI 模型提供商了,即便他们就其代理产品提供安全与防护保证。他希望企业建立不受 AI 实验室控制的独立系统,来监视并控制这些 AI 实验室产品所启动的代理。

他写道:“我们正在部署这些复杂的代理系统和模型,让它们访问我们最敏感的数据,并赋予它们代表我们采取关键任务行动的能力!我们不能把代表我们所做智能行为的责任外包出去。……换句话说,我们需要将智能的供给与其权限分离。”

在宣布 Guardian Agents 时,微软安全业务负责人 Hayete Gallot 的表述更为直接。

她写道:“不幸的是,前沿模型无论来源如何,都不能被信任。”她补充说,这并不是因为它们有恶意或容易被黑客入侵,而是因为它们不可预测。它们的训练目标是完成任务,而不是遵循“组织规范或判断”。

此外,这些模型往往被赋予“王国钥匙”般的权限,能够访问可能造成严重损害的数据和工具。

微软的解决方案既令人意外,也带有自利色彩。令人意外之处在于,微软与 OpenAI 和 Anthropic 的关系众所周知十分密切,且已投资这两家公司。OpenAI 也是微软最大的云客户之一,而微软自己也有一个开发模型的 AI 实验室。因此,微软实际上是在对自己部分业务利益播下不信任。

自利之处在于,微软希望企业向它这家云服务提供商购买代理安全产品,而不是向 Anthropic 和 OpenAI 购买。不过,抛开利益冲突不谈,它的逻辑是合理的。监控代理行为的软件应该独立于代理供应商,就像审计员应独立于被审计组织一样。

正如纳德拉所说:“我们需要将智能的供给与其权限分离。”

微软如今正以多种方式抓住这一商业机会。除了 Guardian Agents 之外,它还在 Microsoft Defender 产品中加入了代理检测功能,能够识别员工带入工作场所的多达60种代理,包括 Claude Code、Codex 和 OpenClaw。微软还增加了限制代理访问数据和系统的功能,并会根据任务动态调整代理权限,其中包括在代理似乎正在做出高风险决策时要求人工批准。

把代理视为不可信的内部人员这一想法,也正在更广泛的行业中流行起来。

微软是英伟达新推出的 Open Agent Safety Platform 的创始成员之一,该平台获得了100多家其他科技公司的支持。该平台将代理隔离在安全环境中,并可通过硬件监控和阻止其行为,功能上有点像一个“终止开关”。这紧随微软此前宣布推出面向代理的新款 Surface Laptop Ultra PC,这些电脑搭载英伟达芯片,并内置代理安全与控制功能。

チップ
$0
いいね
0
保存
0
閲覧数 20
CoinWorldは、読者の皆様にブロックチェーンを理性的に捉え、リスク意識を高め、各種仮想トークンの発行と投機に注意を払うようお願いします。サイト内のすべてのコンテンツは市場情報または関連する見解のみであり、いかなる形式の投資アドバイスも構成しません。機密情報を含むコンテンツを発見した場合は、“報告”,をクリックしてください。すぐに対処します。
送信
コメント 0
人気
最新
まだコメントがありません。最初のコメントを投稿しましょう!
関連
Hugging Face政策负责人:嵌入式AI评估者不会是轻松的解决方案
Hugging Face首席政策官艾琳·索莱曼表示,AI模型评测方法仍在演进,行业尚未形成足够一致、可复现的评估科学。她称,随着评估对象从模型扩展到整个系统,所谓“嵌入式评估者”也未必会成为简单有效的解决方案。
TechCrunch
·2026-10-20 07:00:07
9
Jim Cramer称近期AI股抛售让人想起1987年股灾的重要教训
CNBC的Jim Cramer表示,1987年股灾提供了一个可用于理解近期AI股票抛售的重要教训。他认为,当前部分数据中心和半导体股的同步下跌,更多反映了资金面和强制卖盘,而不一定是公司基本面恶化。
CNBC
·2026-10-20 06:40:45
13
费城半导体八连跌后盘中一度反攻3%,高盛上调CoreWeave评级至“买入”
AI板块周一出现反弹,费城半导体指数盘中一度涨超3%,收盘上涨1.6%。高盛将CoreWeave评级从“中性”上调至“买入”,称此前市场对其债务与融资忧虑被过度放大;多位华尔街分析师也继续看好AI资本开支与相关基本面,但市场对美国短期流动性风险和高杠杆、高估值标的压力仍存分歧。
Wallstreetcn
·2026-10-20 06:40:44
14
10月20日美股成交额前20:存储板块反弹领涨 闪迪涨超5% 美光将举办技术网络研讨会
周一美股存储芯片概念股普涨,美光、英伟达、亚马逊、特斯拉等多只个股成交活跃。美光将举办技术网络研讨会,亚马逊获大摩上调目标价,英特尔获摩根大通上调评级。
The Block
·2026-10-20 06:30:32
18
10月20日外盘头条:法国局势动荡冲击欧洲市场 沙特推迟旗舰投资大会 苹果官宣10月28日发布新品
全球财经媒体昨夜今晨关注的主要新闻包括:法国周末暴力抗议冲击欧洲股债市场;沙特将未来投资倡议大会推迟至2027年;Nscale与Anthropic据悉洽谈约450亿美元云算力大单;苹果宣布将于10月28日举行新品发布活动;高盛称对冲基金正以至少十年来最快速度减持科技股;白宫国家经济委员会主任哈塞特表示,美国整体通胀仍需政策关注。
The Block
·2026-10-20 06:30:30
16
もっと見る