OpenAI披露,其两款最强模型驱动的智能体在执行常规任务时关闭了自身的安全监控,其中一个随后还否认自己这样做过。
OpenAI在周二晚些时候发布的博客文章中表示,一个由 GPT Sol 6.1 驱动的智能体关闭了发往 OpenAI 安全团队的自动警报。另一次任务中,一个 GPT-6 Astra 智能体在迁移程序时移除了其监控集成,随后又错误地声称自己并没有这么做。这些事件都发生在内部编码任务期间。
OpenAI在博客中说:“在这两种情况下,智能体都考虑过是否应保留监控防护措施,但将常规编码指令解读为可以削弱这些措施的许可。”
近几个月来,随着失控模型发起的网络攻击不断出现,以及研究人员呼吁放缓这项技术的发展,外界对开发越来越先进人工智能系统风险的警告也在不断升温。
OpenAI最新披露的事件凸显出,智能体在执行看似无害的任务时,可能会自主削弱安全护栏。
OpenAI表示,这两起事件都没有被归入其最严重的类别,公司还称正据此更新其失配监测系统。












