微软董事长兼首席执行官萨提亚·纳德拉周六呼吁，为先进人工智能系统加入遏制机制、独立控制，以及一个由人类控制的“紧急刹车”，让授权人员可以在模型执行任务过程中暂停或关闭它。

纳德拉在社交媒体平台X上发文称：“我们需要用强大的、确定性的系统设计、人类控制和可靠的操作程序来包围非确定性模型，并在现有标准不足之处建立行业标准。”

他说：“把前沿的闭源和开源权重模型当作内部风险来对待，是构建这样一个系统的一种方式。”

纳德拉的言论出现在多位科技高管和研究人员发出警告之际——其中包括微软联合创始人比尔·盖茨、Anthropic首席执行官达里奥·阿莫代伊、OpenAI首席执行官萨姆·奥尔特曼以及SpaceX首席执行官埃隆·马斯克——他们都对AI安全协议不足以及这项技术发展过快提出担忧。

上个月，一名AI研究人员离开Anthropic，并指责该公司及其主要竞争对手OpenAI在“拿我们的生命赌博”。同一天，Anthropic负责AI安全的对齐负责人表示，这项技术在未来十年内“杀死所有人”的概率超过10%。

相较之下，美国总统唐纳德·特朗普多次驳斥AI灭绝风险，转而强调行业需要在中国之前保持领先。特朗普最近还推出了一个新的“AI部队”，由国家情报总监杰伊·克莱顿领导，以帮助推动行业发展并清除不良行为者。

纳德拉周六写道，AI系统应围绕“可观测性”原则进行设计。

这些原则包括模型多样性、模型行为的人类可读记录、持续系统测试、独立控制和可审计性、遏制机制以及事件披露，纳德拉写道。

“最值得信赖的超级智能系统，不会是我们最信任其模型的那个，”他写道，“而会是那个让我们最不需要信任模型的系统。”