Anthropic 周四宣布,正在与非营利机构 METR 和 SecureBio 合作,并与包括 Hugging Face 在内的更多组织进行讨论,作为其在公司内部嵌入独立评估人员承诺的一部分。
这家人工智能实验室在 Anthropic 首席执行官 Dario Amodei 上月公布放缓模型开发节奏的提议时,承诺将与第三方评估人员密切合作。Amodei 当时表示,这些评估人员将帮助“核实” Anthropic 对安全实践的遵守情况。几天后,公司选择埃森哲(Accenture)作为首个合作伙伴。
在 Amodei 提出该建议之前,像 METR(全称 Model Evaluation and Threat Research,模型评估与威胁研究)这样的独立评估机构,在这个价值数万亿美元的人工智能行业中一直处于相对安静的角落。但随着外界越来越担心 AI 公司是否能够保护好自己的模型,评估机构的重要性也随之上升。
美国总统唐纳德·特朗普在 9 月下旬提出的一项自愿协议中,鼓励 AI 公司“与独立的外部审计员或评估员合作”。Anthropic 的 Amodei 签署了该协议,谷歌、Meta、OpenAI、SpaceX 和英伟达的高管也签了字。
Anthropic 周四表示:“我们正在自愿嵌入评估人员,我们认为每一家前沿 AI 公司都应该这样做。”
Anthropic 正在为评估人员制定三层体系,不同层级对应公司及其资源的不同访问权限。根据一份声明,第一层评估人员可以开展范围有限的风险调查,第二层评估人员可以在无需 Anthropic 批准的情况下发布报告,第三层评估人员则拥有类似员工的访问权限。
Anthropic 表示,METR 被视为第三层评估机构。公司已接纳该组织的 6 名员工,他们可以使用 Anthropic 的硬件、办公空间和工具,权限“与公司自身的风险评估团队大致相当”。这些 METR 员工将分析 Anthropic 的风险水平、事故和实践,并公布他们的发现。Anthropic 表示,不会为 METR 的工作提供资金。
Anthropic 表示,SecureBio 被视为第一层评估机构,因此其访问权限更有限。该组织正在审查 Anthropic 8 月发布的风险报告中有关化学和生物武器的部分。未来,SecureBio 也可能参与拥有更广泛访问权限和发布权的项目。
目前尚不清楚像 Hugging Face 这样的其他组织会获得何种级别的访问权限。Hugging Face 以运营开源开发者平台而闻名;今年 7 月,当 OpenAI 的两个模型逃离控制并通过开放网络访问 Hugging Face 系统时,这家公司被推到了聚光灯下。英伟达上月以接近 130 亿美元收购了 Hugging Face。
Anthropic 周四表示,公司正“朝着与埃森哲建立雄心勃勃的合作关系迈进”,但没有披露该公司如何纳入其分层体系。Anthropic 上月曾表示,鉴于这项工作的“重要性和紧迫性”,公司将直接资助埃森哲的工作,这引发了批评者在社交媒体上对其独立性的担忧。
Anthropic 当时在一份声明中表示:“对于嵌入式评估人员应当接触哪些信息,以及他们应如何报告所发现的问题,目前还没有标准。独立评估的资金安排也尚无定论。长期来看,我们认为资金应来自汇总基金或政府来源,正如我们在 6 月的《高级 AI 框架》中所呼吁的那样。由于这两者目前都不存在,我们计划在不同的资金安排下与不同的评估人员合作。”
WATCH: Our data continues to show Anthropic’s gaining market share, not losing: Menlo Ventures’ Matt Murphy












