微软警示前沿 AI 模型不可信:AI 智能体堪比内部威胁,推出 Guardian Agents 防护方案
The Block
Ai 注目
微软当地时间周一推出多项新安全功能,帮助企业应对 AI 智能体带来的安全威胁,其中最受关注的是用于监控企业内部各类 AI 智能体的“守护智能体”(Guardian Agents)。微软高管称,前沿模型“无论来源是哪里,都无法完全信任”,原因并非模型必然带有恶意,而是其行为具有不可预测性。
役立つ
No.ヘルプ

IT之家 10 月 20 日消息,微软于当地时间周一推出了多项全新安全功能,旨在帮助企业抵御日益严峻的智能体带来的安全威胁。发布该产品之际,微软持续向企业警示人工智能与智能体存在的各类风险。

IT之家注意到,本次新增功能中最受关注的当属守护智能体(Guardian Agents),这项新功能用于监控企业内部正在使用的各类 AI 智能体。守护智能体隶属于感知项目(Project Perception),感知项目是微软在 6 月推出的产品。

感知项目是微软针对 Anthropic 的 Mythos、Fable 等强大黑客模型,以及 OpenAI 的安全漏洞扫描系统破晓(Daybreak)所给出的应对方案。感知项目最初上线了三类智能体:扮演黑客角色实施攻击的红队智能体,负责侦测红队攻击、评估漏洞的蓝队智能体,以及专门修复漏洞的绿队智能体。

该产品最初的设计前提是,AI 黑客会来自企业外部。但近期,微软首席执行官萨提亚·纳德拉(Satya Nadella)发出警告,AI 层面的威胁源头,有可能正是企业自身部署、付费使用的智能体,就像一名行为失控的内部员工,也就是常说的“内部威胁”。

本月早些时候,纳德拉在个人博客中提出警示:是时候不再信任 AI 模型供应商,即便厂商为自家具备自主执行能力的智能体产品做出安全保障承诺。他建议企业搭建独立系统,这套系统不受 AI 实验室管控,用以监督和管控这些人工智能实验室推出的产品所对应的智能体。

他写道:“我们正在部署这类复杂的智能体系统与模型,它们可以访问我们最敏感的数据,还能代表我们执行关键业务操作!我们绝不能把智能体代我们行事的责任外包出去。模型供应商给出的保证,并不能免除我们的这份责任……换言之,我们需要将智能能力的供给,和对它的管控权限分离开。”

在介绍守护智能体时,微软安全业务负责人海耶特·加洛(Hayete Gallot)的表述更为直白。

她写道:“遗憾的是,前沿模型无论来源是哪里,都无法完全信任。”她补充,这并非因为模型本身带有恶意或者容易被黑客攻破,而是其行为具有不可预测性。模型训练目标是完成任务,而非遵守“组织规范或判断准则”。

除此之外,这些智能体往往手握高权限,能够访问各类数据与工具,一旦失控会造成严重损害。

微软给出的这套解决方案,既出人意料,也带有自身商业考量。令人意外的一点在于,微软与 OpenAI、Anthropic 关系紧密,同时对两家企业都有投资。OpenAI 也是微软云业务的大客户,微软自身也设有 AI 实验室研发大模型。也就是说,微软正在让客户对自己部分商业合作伙伴的产品产生警惕。

而从商业利益角度来看,微软希望企业从自己这家云服务商手中购买智能体安全产品,而不是向 Anthropic 和 OpenAI 采购。抛开利益冲突不谈,这套逻辑本身站得住脚:监控智能体行为的软件,应当和智能体的提供方相互独立,就像审计机构需要独立于被审计的组织。

正如纳德拉所说:“我们需要将智能能力的供给,和对它的管控权限分离开。”

微软正通过多种方式抓住这一商业机遇。除守护智能体之外,微软还在 Microsoft Defender 产品内新增智能体检测功能,最多可识别员工带入工作环境的 60 种智能体,其中包括 Claude Code、Codex 以及 OpenClaw。产品同时新增功能,可以限制智能体访问数据与系统的权限,并根据任务动态调整智能体权限。如果智能体即将做出高风险操作,系统会要求人工审批。

将智能体视作不可信任的内部威胁这一思路,也正在整个行业逐步形成共识。

微软是英伟达全新开放智能体安全平台(Open Agent Safety Platform)的创始成员,该平台已经获得超过 100 家科技企业支持。该平台将智能体隔离在安全环境中,依托硬件监测并终止异常行为,功能类似紧急切断开关。在此之前,微软已经发布专为智能体打造的新款 Surface Laptop Ultra 笔记本电脑,设备搭载英伟达芯片,内置智能体安全管控模块。

チップ
$0
いいね
0
保存
0
閲覧数 11
CoinWorldは、読者の皆様にブロックチェーンを理性的に捉え、リスク意識を高め、各種仮想トークンの発行と投機に注意を払うようお願いします。サイト内のすべてのコンテンツは市場情報または関連する見解のみであり、いかなる形式の投資アドバイスも構成しません。機密情報を含むコンテンツを発見した場合は、“報告”,をクリックしてください。すぐに対処します。
送信
コメント 0
人気
最新
まだコメントがありません。最初のコメントを投稿しましょう!
関連
据报 Nscale 与 Anthropic 正就另一笔 450 亿美元算力交易进行谈判
据彭博报道,Anthropic 与 AI 基础设施提供商 Nscale 可能即将宣布另一笔 450 亿美元算力交易,知情人士称谈判仍在进行中,细节仍可能变化。文章还提到,两家公司都在推进 IPO,Anthropic 预计今年上市,Nscale 则面临投资者对其 300 亿美元估值的质疑。
TechCrunch
·2026-10-20 08:00:10
8
消息称谷歌前 CEO 施密特持有 Anthropic 1% 股份 将因后者 IPO 收获巨额回报
据彭博社报道,知情人士称,谷歌前首席执行官埃里克·施密特通过对 Anthropic 的早期投资持有该公司约 1% 股份,若这家人工智能初创公司按高估值上市,他的投资回报将十分可观。报道还称,Anthropic 计划最早于 11 月启动 IPO 推介,目标在今年年底前上市。
The Block
·2026-10-20 08:00:09
9
微软取消 AI 相关合作,英国数据中心企业 Nscale 遭遇重大挫折
据《每日电讯报》报道,微软已取消与英国本土数据中心企业 Nscale 的一项合作协议,令这家计划上市、估值达数十亿美元的公司遭遇重大挫折。报道还称,微软和 Anthropic 是 Nscale 的主要客户之一,但微软退出项目的原因尚不清楚。
The Block
·2026-10-20 07:51:24
13
美股涨跌互现
道指跌0.07%,标普500指数涨0.41%,纳指涨1.11%。西部数据涨6.09%,闪迪涨5.53%;“七姐妹”中亚马逊涨4.98%,特斯拉涨3.76%,英伟达涨1.38%,谷歌涨0.96%,微软涨0.84%,苹果跌0.15%,Meta Platforms跌0.55%。
The Block
·2026-10-20 07:51:21
21
Jim Cramer称暂时别追AI反弹 先看这些条件是否兑现
CNBC主持人Jim Cramer表示,尽管科技板块周一反弹,但他仍不急于重回人工智能股票。他认为,在图表改善、超大规模云厂商公布业绩、选举过去以及Anthropic成功上市之前,不应激进看多这类近期大幅回调的数据中心和AI相关股票。
CNBC
·2026-10-20 07:39:57
22
もっと見る