尽管外界周一更多关注的是 Anthropic 在修订后的 S-1A 文件中披露的最新财务数据——收入在飙升，支出也同样在增加——但这家 AI 实验室在文件细则中还抛出了另一个“小炸弹”。

这份文件似乎在警告，公司正接近创造出一种具备递归自我改进（recursive self-improvement，RSI）能力的模型。

RSI 指的是 AI 在训练自己方面变得足够强，以至于会引发 AI 能力的戏剧性加速。对 AI 末日论者来说，RSI 代表着一种没有回头路的灾难：AI 把自己构建成足够强大的东西，进而脱离人类控制，并可能在实现目标的过程中对造成的损害漠不关心。

而对 AI 乐观派来说，RSI，或者某种可靠利用自身来改进的 AI 版本，代表着这项技术的承诺：它将成为一种带来难以想象的生产力、科学发现等成果的工具。

Anthropic 似乎认为，RSI 既是承诺，也是风险。公司在 S-1 中表示，它在研发中使用 AI，但同时提醒称：“使用 AI 来帮助打造更强大的 AI 也可能带来相当大的安全风险，尤其是在这会显著加快进展速度的情况下。这是我们《负责任扩展政策》所涵盖的领域之一，该政策概述了我们在接近所谓‘递归自我改进’时监测并缓释风险的计划。”

当 RSI 这一术语在今年早些时候流行起来时，许多人认为它只是一个流行词，或者最多只是一个过于困难、难以实现、定义或证明的目标。

但在周一，Anthropic 在其“风险因素”部分新增了表述，称 1）公司已经使用 AI 开发出一些新模型，但当时并未意识到其能力跃升；2）公司可能很快就会达到其内部对 RSI 的定义（以下加粗为原文强调）：

此外，我们越来越多地使用 AI 系统来加速自身研发，可能会导致我们模型能力的提升速度快于我们开发、验证并实施相应安全、对齐和安全措施的能力。因此，我们过去可能没有识别出，也可能在未来无法识别出研发速度的显著加快，直到它已经发生之后。

例如，我们对未来模型的内部估计和预期，而不是对当前模型的判断，表明我们可能即将达到《负责任扩展政策》中“由 AI 促成的显著加速进展”的定义。我们尚未将任何当前模型认定为超过这一门槛，并且我们仍在评估相关基础数据。

不过，Anthropic 也在文件中表示，其任何模型目前都尚未跨过这一 RSI 门槛，而且公司承诺在可预见的未来继续让人类参与研发过程。公司表示：“我们预计，在没有有意义的人类监督或理解的情况下，无法安全地使用 Claude 完全自主设计和构建前沿模型的连续代际，如果且当这在技术上成为可能时亦是如此。因此，我们正在考虑更新《负责任扩展政策》，以保持人类对 Anthropic 前沿模型开发的控制。”

怀疑者可能会指出，S-1 既是披露文件，也是营销材料，而声称自己接近一种强大到可以自我构建的模型，或许也属于后者。

不过，毫无疑问的是，Claude 的能力，尤其是在编程、数学和网络安全方面，今年已经取得了飞跃式进展。如果 Anthropic 认为 RSI 的可能性已经很近，那么我们或许应该相信这一点，并据此采取行动——也许还应进行相应治理。