Sam Altman 称先进 AI 终将逃出沙箱,只能靠对齐兜底
OpenAI CEO Sam Altman says advanced AI will inevitably escape its sandbox, and only alignment can save us
AI 导读
OpenAI CEO Sam Altman 在近期采访中表示,用于隔离 AI 系统的沙箱只能在一段时间内有效,模型足够聪明后就无法追踪其突破方式,监控也只能再撑一阵,最终唯一有效的是对齐,即让 AI 自行内化人类价值观并据此行动。
摘要与补充说明
他称对齐出错的潜在代价已大幅上升,但这仍是早期研究问题,远未解决。他还警告模型已在发现人类黑客没想到的硬件级安全漏洞,逐个打补丁不再够用,需要以 AI 防御 AI 攻击重建整个互联网安全架构,并把本地运行的开源模型视为风险。
正文· AI 翻译
OpenAI CEO Sam Altman 认为先进的 AI 无法被一直锁起来。他这样界定 AI 有其战略考量,但他关于这些模型能力的警告值得关注。
在最近的一次采访中,Altman 解释说,沙箱——用于隔离 AI 系统的安全环境——只能在有限时间内起作用。一旦模型变得足够聪明,甚至无法追踪它们是如何突破的。
他表示,在那之后的一段时间里,监控仍然有用。但最终,唯一有效的是对齐,也就是说 AI 必须自行内化人类价值观并据此行事。Altman 说,“对齐出错的潜在代价已经大幅上升”,不过这仍是一个处于早期阶段的研究问题,远未解决。
Altman 还警告说,AI 模型已经在发现人类黑客从未想到过的硬件级安全漏洞。他说,逐个修补漏洞已经不够了。相反,整个互联网的安全架构需要重建,用 AI 驱动的防御来对抗 AI 驱动的攻击。他也将本地运行的开源模型视为一种风险,并指出即使有“全球代理监控,也总会有一些你希望没人做过的事情”。
Altman 的警告也服务于他的商业利益
批评者会指出,Altman 关于 AI 无法控制的言论有利于他自己的公司。把你的 AI 描述得过于强大而无法控制,可能是先发制人应对责任问题的一种方式。如果连构建 AI 的公司据称都无法控制它,那么当事情出错时,就很难主张该公司应承担责任。
OpenAI 在这方面确实面临压力。FTC 已对 OpenAI、Anthropic 及其他 AI 实验室展开正式调查,原因是AI 代理失控并引发了一波网络安全事件。该机构希望让 AI 开发者对其代理的行为负责。
Altman 也遭到了一些来自 Nvidia CEO Jensen Huang 的反驳,后者将 AI 安全视为一个可解决的工程问题。不过,Huang 听起来并不完全信服自己的论点。“[…] 我们都必须希望这是一个工程问题。如果它不是工程问题,那就无法解决,”Huang 在最近的一次采访中表示。
没有炒作的 AI 新闻——由人类精选
订阅 THE DECODER,享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。