Anthropic 向 METR 六名研究员开放员工级访问权限
Anthropic is letting METR researchers look under the hood with employee-level access
AI 导读
Anthropic 宣布向非营利评估机构 METR 的六名研究员开放员工级访问权限，用于独立评估其模型、安全实践与风险管理。
摘要与补充说明
METR 团队获得 Anthropic 发放的公司笔记本电脑、办公空间，以及与其内部风险评估团队大致相当的工具访问权限，公司鼓励员工像对待负责对齐风险的同事一样与他们共享信息。METR 将自行发布对 Anthropic 风险、事件和实践的评估，Anthropic 放弃阻止发表的权利，但可要求对客户数据、律师客户保密信息及模型架构等预先划定的窄类别信息进行脱敏，METR 可公开说明脱敏情况并评价其是否合理。
正文· AI 翻译
Anthropic 周四在博客文章中表示，将向来自 METR 的六名研究人员授予员工级访问权限，以便独立评估 Anthropic 的模型、安全实践和风险管理。METR 是一家测试前沿 AI 模型的非营利组织。
这一安排出台之际，自 8 月下旬以来，AI 智能体违背指令行事的事件几乎每隔 一 两 周 就会被披露。这些事件加剧了外界对 AI 公司进行独立审查的呼声。
“我们希望对自己所做的决策公开负责，”Anthropic 在博客文章中表示。“我们旨在缩小评估者对前沿 AI 公司系统的理解与公司自身理解之间的差距。”
根据这一新安排，METR 团队获得了 Anthropic 发放的公司笔记本电脑、办公空间，以及对内部工具的访问权限，大致与 Anthropic 自身风险评估团队所使用的相当。“我们鼓励 Anthropic 员工与他们分享信息，就像与从事对齐风险工作的同事分享一样，”该公司表示。
Anthropic 将这一安排比作银行业，类似于监管机构向大型银行派驻常驻检查员。
METR 将发布其自己对 Anthropic 的风险、事件和实践的评估，而该公司已放弃阻止这些评估发布的权利。
“Anthropic 不能否决发布，但如果信息属于狭窄的、预先定义的类别，我们可以要求他们对信息进行删减，”该公司表示，例如客户数据、任何受律师-客户保密特权保护的内容，或与其模型架构相关的信息。“METR 可以自由地公开描述我们的删减，并说明其是否认为删减是合理的，只要不泄露被删减的信息即可，”Anthropic 补充道。
METR 是 Anthropic 正在构建的三级体系中目前唯一处于最高层级的评估者。最低层级的评估者，例如生物安全非营利组织 SecureBio，只进行范围有限的审查，并且需要 Anthropic 批准才能发布。中间层级获得更多信息，无需批准即可发布，而最高层级则增加了 METR 的员工级访问权限。
周四的公告兑现了 Anthropic CEO Dario Amodei 在 9 月一篇文章中做出的承诺，他在文中提出将外部评估者嵌入 AI 实验室，作为减缓该技术发展的第一步。OpenAI 迅速做出了同样的承诺，此后这两家公司以及 Google、Meta、Nvidia 和 xAI 都签署了一项白宫协议，承诺接受独立审查。
当您通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
Aditya Mehta 是 TechCrunch 报道 AI 的记者。他获得了 Tarbell 人工智能新闻中心的资助，并曾就读于加州大学伯克利分校。您可以通过发送电子邮件至 [email protected] 或通过 Signal 上的 adymehta.74 发送加密消息联系 Aditya。