Anthropic表示,已向来自非营利机构METR的6名研究人员提供员工级访问权限,让他们能够独立评估Anthropic的模型、安全实践和风险管理。该公司在周四的一篇博客文章中表示了这一安排。
这一安排出台之际,自8月底以来,AI智能体偏离指令行事的事件几乎每隔一两周就会被披露一次。相关事件也强化了外界对AI公司进行独立检查的呼声。
“我们希望对自己做出的决定公开负责,”Anthropic在博客文章中说。“我们的目标是缩小评估者对一家前沿AI公司系统的理解,与公司自身理解之间的差距。”
在新安排下,METR团队配备了Anthropic提供的公司笔记本电脑、办公空间,以及与Anthropic自身风险评估团队大致相当的内部工具访问权限。Anthropic表示:“Anthropic员工被鼓励向他们分享信息,就像向一位在对齐风险方面共事的同事分享信息一样。”
Anthropic将这一安排比作银行业,类似于监管机构把常驻检查员派驻到大型银行内部的做法。
METR将发布自己对Anthropic风险、事件和做法的评估,而Anthropic已放弃阻止其发布的权利。
Anthropic表示:“Anthropic不能否决发布,但如果信息落入少数、预先定义的类别,我们可以要求他们删除相关内容。”公司举例称,这些类别包括客户数据、任何受律师-客户保密特权保护的信息,或涉及其模型架构的信息。Anthropic补充说:“只要不披露被删减的信息,METR可以在公开场合说明我们的删减内容,并表示其是否认为这些删减是正当的。”
METR是Anthropic正在建立的三级体系中目前唯一处于最高层级的评估机构。底层评估者,例如生物安全非营利机构SecureBio,只进行范围较窄的审查,且发布前需要Anthropic批准。中间层获得更多信息,并可在无需批准的情况下发布;最高层则增加了METR的员工级访问权限。
周四的公告兑现了Anthropic首席执行官Dario Amodei在9月一篇文章中的承诺。当时他提出,应将外部评估者嵌入AI实验室,作为放缓这项技术发展速度的第一步。OpenAI很快也作出同样承诺,而两家公司连同Google、Meta、Nvidia和xAI此后都签署了一项白宫协议,承诺接受独立审查。











