AI实验室一直把自身声誉押注在模型基准测试上——这套据称中立且准确的评估体系，旨在衡量一种AI产品是否优于另一种。

不过，Hugging Face首席政策官艾琳·索莱曼（Irene Solaiman）上周在TechCrunch Disrupt的一场讨论中表示，这些评估背后的方法相当复杂，而且仍在不断成熟。如果行业未来要依赖这些测试，就需要把它们发展成一门更一致的科学。

考虑到这一点，我们能信任当前发布的这些测试吗？

“信任是一个分量很重的词，”索莱曼说，“如果说我们是否能信任结果，其中很大一部分在于：你能否复现一次评估的结果？你是否拥有对模型本身所需的访问权限——这正是开放权重发挥重大作用的地方。”

模型评估中的可复现性长期以来一直是基准测试中较为棘手的一环，也仍然是行业内激烈争论的话题。

除了单项测试本身是否有效之外，还有一个额外问题：这项测试与其他评估相比究竟如何。

索莱曼说：“这是一门不断演进的科学——我们还不知道该如何有意义地把它们彼此比较。”

她还表示：“它们相对很快就会变得低效，而我们也没有建立起所需那样繁荣的生态系统。现在大家都渴望建立一个嵌入式评估者生态，但什么样的资质才能决定谁能在什么任务上成为有效评估者，这些都还需要更多标准化。”

过去几个月里，“嵌入式评估者”的概念逐渐流行起来。其做法是把据称“中立”的第三方观察者安置到AI组织内部。随着AI实验室接连遭遇一系列安全事件、外界对这项技术潜在危害的担忧升温，这一思路受到更多关注。Hugging Face也曾是其中一起事件的目标。

AI实验室推动这种第三方方案，作为主动政府监管、识别并缓解模型安全问题的替代路径。不过，外界仍然怀疑这些评估者究竟能有多中立、多有效。Anthropic聘请埃森哲（Accenture）担任其首个评估者的决定，就引发了不少反弹；一些批评者嘲讽说，这家咨询公司是否具备完成这项任务的资质，本身就值得怀疑。

如今，评估正从单纯测试模型本身，转向测试围绕模型的整个系统——包括harness和agent。索莱曼表示，所谓harness，也就是用户用来访问模型的工具，对模型表现有很大影响；一个较弱的模型如果配上更好的harness，完全可能轻松胜过一个前沿模型。

“Agentic evals真的很难，也真的很贵，”索莱曼说，“我们现在更多的是针对模型的评估。……针对harness的评估没有那么多，而我们也正在为整体性的agent开发更好的评估方法——因为很多人真正获得价值的，正是这一层面。”

换句话说：目前的评估领域在某种程度上仍处于各自为战的状态。如果基准测试要继续被行业领导者视为有用工具，那么可能就需要一种更统一、覆盖全行业的方法，让所有人都站在同一页上。