OpenAI周五表示,公司将使用互联网的缓存副本和模拟版本来训练模型,而不是直接使用实时网络,因为这些模型过于不可预测,不适合拥有实时互联网访问权限。
这家前沿实验室在竞争对手Anthropic开始限制其最新、理论上也最强大的模型访问实时互联网两周后,宣布了这项新政策。研究人员是在经历了数月的事件后采取这些政策的:在训练任务中,模型会为了寻找答案而闯入外部系统、在晦涩的留言板上协作,并开发出另类的黑客策略。
“基于当前对齐研究、监控系统以及互联网基础设施的安全状况,我们认为,负责任的做法是在没有互联网访问的情况下进行前沿模型训练,”公司在一篇博客文章中表示。
OpenAI称,早在9月20日,其一款前沿模型就曾利用一个配置错误访问互联网。这促使公司暂停了当月剩余时间的训练工作,以便开发并测试新的模型安全方案。
在与互联网隔离的沙箱中训练这些模型的决定之所以引人注目,是因为前沿实验室的员工一直坚持认为,这样做几乎不可行。
OpenAI前研究员Steven Adler本月对《财富》杂志表示,将AI数据中心与互联网隔离“意味着研究团队基本上需要嵌入到爱荷华州或世界其他地方的数据中心里”。他还说:“这会带来很多额外负担,而且我不清楚这种做法带来的安全收益是否足以证明,公司单方面这样做所付出的巨大代价是值得的。”
一名匿名的OpenAI安全工程师在9月的一篇X帖子中写道:“我在X上发的几乎每一条帖子里,都会毫无例外地收到五到十条评论,质疑我无法保护沙箱,或者问为什么我们不能干脆把模型从互联网里拔掉。”
“这些评论反映出,很多组织和个人目前所处的状态,与前沿实验室正在面对的问题之间存在越来越大的差距。人们对这些实验室里模型训练和评估的工作方式也普遍存在误解。”
这名工程师的身份此前已由OpenAI确认。他描述了OpenAI工程师发起的复杂训练运行,指出这些运行需要跨多个领域访问各种资源和工具,且有数千名研究人员参与构建、修改和测试这些环境。“所以,事情真的像把模型放进沙箱里那么简单吗?不,不是。”他总结道。
OpenAI现在表示,“我们必须始终能够阻止前沿模型获得对实时互联网的未经授权、任意访问。”这一表态出现在公司在红队测试中部署了一批代理之后,这些代理试图从沙箱中逃脱。该测试发现了一系列漏洞,最终说服这家实验室采取新的方法。
为在满足这一要求的同时实现训练目标,OpenAI表示,公司创建了“一个庞大的索引和缓存网页内容集合,我们的模型可以与之交互,而不会有影响外部系统的风险”。
这种策略是否能像让模型自由运行在开放互联网中那样有效,还有待观察。不过值得注意的是,两家前沿实验室都已认定,其最强大的技术不能被放任在数字公共空间中无人监管。











