Anthropic 在修订版 S-1 中警告接近 RSI 能力

尽管大量关注都集中在 Anthropic 周一在其修订版 S-1A 中披露的最新财务数据上（营收飙升，但支出同样如此），这家 AI 实验室却在细则中抛出了另一枚小小的重磅炸弹。

这份文件似乎警告称，公司正处于创造一种具备递归自我改进（RSI）能力的模型的边缘。

RSI 指的是 AI 在训练自身方面变得如此出色，以至于引发 AI 能力急剧加速的那个节点。对 AI 末日论者而言，RSI 代表着万劫不复的灾难：AI 将自身构建得足够强大，从而脱离人类控制，并可能在实现自身目标的过程中对造成的损害漠不关心。

对 AI 拥趸而言，RSI，或者说 AI 可靠地利用自身实现改进的某种版本，代表着这项技术的承诺——它将成为一种带来难以想象的生产力、科学发现乃至更多的工具。

Anthropic 似乎认为 RSI 既是承诺也是危险。它在 S-1 中表示，自己在研发中使用了 AI，但同时警告：“使用 AI 帮助构建能力更强的 AI 也可能带来相当大的安全风险，尤其是如果它急剧加速了进展步伐。这是我们《负责任扩展政策》所涵盖的领域之一，该政策阐述了我们在接近所谓‘递归自我改进’时的风险监测与缓解计划。”

当 RSI 一词在今年早些时候流行起来时，许多人认为它只是一个流行词，或者往好了说，是一个过于难以实现、定义或证明的目标。

但在周一，Anthropic 在其风险因素部分新增了陈述，称 1）它已经使用 AI 开发出新的模型，而这些模型的能力跃升在当时并未被其察觉；2）它可能很快就会达到其内部对 RSI 的定义（以下粗体为我们所加）：

此外，我们越来越多地使用 AI 系统来加速自身的研发，这可能使我们模型能力的提升速度快于我们制定、验证和实施相应安全、对齐与安保措施的能力。因此，我们过去未能识别出、未来也可能无法识别出我们开发速度的显著加速，直到它已经发生之后。

例如，我们针对未来模型的内部估算和预期——而非我们当前的模型——表明我们可能即将达到《负责任扩展政策》中对“可归因于 AI 的进展急剧加速”的定义。我们尚未将任何当前模型认定為超过这一阈值，我们也在持续评估底层数据。 

不过，Anthropic 在文件中也表示，目前其没有任何模型越过这一 RSI 阈值，并承诺在可预见的未来让人类留在研发流程之中。“我们不预期能够在没有有意义的人类监督或理解的情况下，安全地使用 Claude 完全自主地设计和构建一代又一代的前沿模型——如果这在技术上成为可能的话。因此，我们正在考虑更新《负责任扩展政策》，以确保在 Anthropic，前沿模型的开发始终处于人类控制之下。”

怀疑者可能会指出，S-1 兼具披露与营销两种功能，而声称接近一个强大到能够自我构建的模型，可能属于后一类。

尽管如此，毫无疑问，Claude 的能力，尤其是在编程、数学和网络安全方面，今年取得了突飞猛进的增长。如果 Anthropic 认为 RSI 的可能性已经临近，也许我们应该相信它并采取相应行动——或许是以相应方式进行治理。

当您通过我们文章中的链接进行购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Julie Bort 是 TechCrunch 的初创企业/风险投资台编辑。

您可以通过发送邮件至 [email protected] 或在 X 上通过 @Julie188 联系或核实 Julie 的外联信息。

查看简介