Anthropic 推动 AI 安全法案草案，拟在 50 人以上死亡风险时阻断模型发布
Anthropic pitches AI safety bill that may block a model if 50+ people could be killed
AI 导读
Anthropic 正在推动一份 AI 安全法案草案，希望美国国会考虑采纳。
摘要与补充说明
据 Politico 报道，草案规定当模型存在“可预见、迫在眉睫的风险”，可能导致超过 50 人死亡或超过 10 亿美元财产损失，且风险源于生物武器制造、模型绕过开发者控制或网络攻击时，可以阻止该模型发布。草案提出由在美国商务部注册的“独立评估者”分析模型风险，评估者可由 AI 实验室付费，但付费不得与评估结果挂钩；评估者认定存在迫在眉睫的灾难性风险后，须在 72 小时内通知商务部，再由商务部向华盛顿特区法官申请叫停模型发布，联邦机构不得自行决定阻断。
正文· AI 翻译
在过去一年里，围绕人工智能可能带来的潜在危险，担忧不断涌现，关于人工智能安全正确路径的争论也愈演愈烈。如今，Anthropic似乎提出了自己对政府应如何监管其行业的设想。
Politico近日报道称，这家AI实验室一直在兜售一份关于AI安全的新法案草案，希望国会能够考虑采纳。该立法设定了某些情形，在这些情形下，AI模型的发布可以被阻止分发。
Politico写道，这些情形涉及“可预见、迫在眉睫的风险”——即超过50人面临死亡风险，或可能造成超过10亿美元的财产损失。该媒体指出，所涉灾难性风险必须“源于生物武器的制造或释放、模型规避其开发者的控制，或网络攻击”。
这里给出的指标——50人和10亿美元——与加州最近通过成为法律的一项立法参议院第53号法案中的指标相似，该法案同样将这类情形定义为等同于“灾难性风险”。
Anthropic的法案提出，对模型潜在灾难性的分析可以通过使用“独立评估者”来完成，这些评估者将在美国商务部注册。Politico写道，这些评估者可能由AI实验室自己支付报酬——只要“报酬不以评估结果为条件”。
目前尚不清楚这一拟议制度将如何确保报酬不会影响评估。DeepMind董事长Demis Hassabis几个月前提出，一个自我管理的AI监管机构应该模仿金融行业的金融业监管局（FINRA）。
在Anthropic的法案草案中，当评估者认定存在迫在眉睫的灾难性风险时，他们将有72小时就此联系商务部。随后，商务部必须向华盛顿特区的一名法官请求停止该模型的发布。Politico写道，该立法将明确禁止任何联邦机构自行拥有停止模型分发的自由裁量权。
Anthropic没有立即回应TechCrunch的置评请求，但一位发言人向Politico证实了该法案草案。“该法案代表了Anthropic的Advanced AI Framework中概述的提案，自6月以来我们一直在与联邦和州立法者倡导这些提案，”该发言人说。
政策草案中提出的理论风险，与科技行业近来最为关注的那类事件有些距离。尽管有人警告存在致人死亡的潜在可能，但主要担忧在很大程度上一直是智能体黑客攻击的威胁。一连串事件表明，AI程序显然违抗了其人类操作者，并在开放互联网上攻击网站，这引发了人们对模型可能缺乏适当安全控制的担忧。
为了给实验室自身助推形成的危机景象提供解决方案，像Anthropic这样的公司提出了自己偏好的方案。
事实上，尽管实验室不断警告他们销售的技术可能导致人类文明的消亡，但他们在很大程度上一直抵制政府的强制性监管。相反，他们提出了一个自愿性的嵌入式评估员体系——据称是“中立”的第三方观察员，被安置在 AI 组织内部，以便监控模型是否存在潜在风险或滥用的迹象。
不过，Anthropic 仅仅提出立法建议，似乎就比业内其他监管提案走得更远一些，包括 Nvidia——其 CEO 黄仁勋最近主张 AI 行业根本不需要任何新法律。
当您通过我们文章中的链接进行购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
Lucas 是 TechCrunch 的高级撰稿人，负责报道人工智能、消费科技和初创企业。他此前在 Gizmodo 报道 AI 和网络安全。 您可以通过发送邮件至 [email protected] 联系 Lucas。