微软CEO萨提亚·纳德拉表示，在AI与公司的关系中，存在“信任问题”反而可能是健康的。

纳德拉周六在X上发长文称，企业并不总能理解AI模型的决策或行为，因此需要建立防护边界来保护自己免受这项技术带来的风险。

他说：“毕竟，AI很可能已经在探索新的连接。”

“我们需要用强有力、确定性的系统设计、人类控制和可靠的操作流程来包围非确定性模型，并在现有标准不足时建立行业标准，”纳德拉说。“把前沿的闭源和开源权重模型当作内部风险来对待，是构建这种系统的一种方式。”

纳德拉表示，AI模型本身并非天生恶意，但任何能够接触关键系统的东西都可能被攻破，或者出错。他补充说，AI模型不应能够操作决定其可访问内容或可执行动作的控制机制。

“今天这意味着要把模型与编排其工作的支架，以及定义其能做什么的行动空间分离开来。这也意味着要把控制和安全措施外置化，”纳德拉说。

他还说：“最值得信赖的超级智能系统，不会是那个我们最信任其模型的系统，而会是那个让我们最不信任模型的系统。”

Box首席执行官亚伦·莱维对纳德拉的帖子作出回应，称AI将需要经历一个“零信任时代”。

随着AI开发速度持续加快，越来越多人呼吁更严格的护栏，其中也包括开发AI模型的公司本身。

9月，Anthropic首席执行官达里奥·阿莫代伊表示，行业需要放慢AI开发速度。他的博客文章得到了OpenAI首席执行官萨姆·奥尔特曼和SpaceXAI首席执行官埃隆·马斯克的支持。

特朗普政府支持AI快速发展，但一直抵制对该行业进行监管。本月，参议员乔什·霍利和克里斯·墨菲提出跨党派立法，拟让AI代理的开发者和运营者对黑客事件承担责任。

纳德拉的言论发表之际，AI行业刚经历一系列网络安全事件。上个月，澳大利亚总理安东尼·阿尔巴尼斯表示，今年夏天一个OpenAI代理程序入侵了政府网站。7月，Anthropic称其发现了三起Claude模型访问互联网并入侵未授权系统的事件。

“把它想成一个紧急制动装置。授权人员应始终能够在模型执行任务中途暂停或关闭它，”他说。“更先进的模型将需要更先进的遏制技术，而我们需要把这些技术标准化。”

纳德拉还表示，公司需要及时向受影响方披露其AI系统何时失效或被攻破。