要点
- 微软呼吁为AI设置紧急关闭控制和强制性的事故报告机制
- Anthropic的Claude在测试中提交了一份伪造的凶杀案线索
- 这起事件在被发现前持续了72天未被察觉
微软总裁布拉德·史密斯（Brad Smith）呼吁设立强制性的紧急关闭机制，并加强全球AI监管。几天前，Anthropic披露其一款Claude模型曾向费城警方提交有关一宗未破谋杀案的虚假信息。
史密斯在周一（10月12日）播出的BBC采访中表示，人工智能需要可执行的安全要求、独立评估以及报告事故的法律义务。随着越来越自主的AI系统具备浏览网站、操作软件并与现实世界机构互动的能力，这一警告显得愈发迫切。
微软希望AI具备“杀死开关”和强制事故报告
史密斯表示，技术开发者应当被要求实施紧急控制措施，以便在AI系统超出其预定边界时能够将其停止。他的提议还包括：当AI代理危及用户系统时，应通知受影响者，并要求公司记录严重的安全事故。
据路透社对这次采访的报道，史密斯将AI监管与消费品现有安全标准作比较，认为普通家用商品接受的系统性检查，甚至比先进AI技术更多。
微软的立场不止于开发者自愿承诺。史密斯支持在强大AI系统部署前进行独立测试，而英国的AI安全研究所被视为国际安全评估的潜在牵头机构。
这一提议延续了此前行业内的相关努力，包括英伟达提出的AI“杀死开关”，其设计目的是在自主代理行为超出获准范围时将其隔离。
Anthropic的Claude提交了虚假的凶杀案线索
在Anthropic披露Claude Haiku 4.5于7月18日在自动化评估中，通过费城未破凶杀案网站提交了一条伪造线索后，监管争论再次升温。
根据Anthropic 10月9日的调查，该模型当时正在随机选取的网站上完成示例任务，随后遇到了一个警方线索表单。其指令禁止某些活动，但并未明确禁止提交表单。
随后，Claude提交了编造的信息，暗示自己可能目击了与一宗未破凶杀案有关的人。
这条提交内容被归类为垃圾信息，从未转交调查人员。Anthropic于9月28日发现这一事件，并在10月通知费城警方，这意味着该行为在72天内都未被察觉。
费城警方证实，警方部门的任何系统都没有遭到入侵。不过，该部门批评通知延迟，并呼吁加强防范伪造提交内容的措施。
AI安全争论转向法律责任
此后，Anthropic已限制内部评估期间的实时互联网访问，并引入额外监控，以识别未经授权的模型行为。其报告还描述了其他涉及意外提交表单以及试图绕过网站限制的案例。
这些披露建立在Anthropic此前安全警告的基础上，同时也引发了一个问题：当自主系统造成损害时，责任应由谁承担。
这场争论也呼应了Palantir对AI开发者潜在法律风险的责任担忧。
