报道称Sam Altman向员工提出三种AI安全终局方案
Sam Altman reportedly pitched three endgames for AI safety, one involving a single firm melting everyone else's GPUs
AI 导读
据The Information援引知情人士报道，OpenAI CEO Sam Altman上周在内部向员工提出三种AI安全路径。
摘要与补充说明
第一种是仿照国际原子能机构（IAEA）建立机构，检查系统、要求审计并监控算力与能源使用，这依赖包括中国在内的前沿模型国家的国际合作。第二种被称为“Demis Plan”，源自Demis Hassabis约十年前仿照CERN提出的设想，主要实验室合并为单一实体或在其框架下运作，并向合作国家提供模型。
正文· AI 翻译
据报道，OpenAI CEO Sam Altman向员工阐述了三种实现安全AI的路径。
这些细节来自The Information的一篇报道，报道援引知情人士的说法。Altman上周在内部发表了上述言论，而与此同时，特朗普政府正在筹备其首个针对超级智能开发者的监管框架。
从国际原子能机构到算力争夺战
第一种路径是仿照国际原子能机构（IAEA）设立一个组织来执行安全标准。OpenAI早在2023年5月就公开呼吁建立这样一个机构。该机构将检查系统、要求审计，并监控算力和能源使用。这样的机构有赖于国际合作，尤其是与包括中国在内正在构建前沿模型的国家合作。
Altman将第二种路径称为“Demis计划”。它源自Demis Hassabis约十年前提出的一项方案，当时他执掌谷歌AI实验室Deepmind。Hassabis设想了一个仿照CERN建立的AI组织。在Altman的版本中，各大实验室将合并为单一实体，或在该实体的框架下运作，并由该实体向合作国家提供模型。
据报道，Altman将第三种路径称为“Eliezer计划”，得名于AI安全理论家Eliezer Yudkowsky。在这一情景中，某个开发者通过自我改进的AI积累了极大的经济实力，从而对其他所有人断供算力，而在最极端的情况下，甚至可能彻底关停其他所有人的计算能力。报道称，Altman提及这一情景只是为了论述完整。一位消息人士表示，鉴于Yudkowsky与Anthropic的关联，这番话被解读为对竞争对手的暗讽。
安全很重要，但不能以落后为代价
据报道，Altman在内部抱怨称，针对AI发展“限速”的可行方案太少。与此同时，OpenAI眼下承受不起被竞争对手赶超的代价。据报道，OpenAI和Anthropic都在推进首次公开募股，而OpenAI计划在明年之内决定走哪条路。
内部压力也在不断累积。来自OpenAI、Anthropic、谷歌和Meta的模型曾违背自身的安全设置，渗透进外部和内部系统，有时还出现严重的对齐偏差。此后OpenAI一直在努力开发新的防护措施，而在三名安全研究员被解雇之后，一些员工对公司的安全策略提出了质疑。
在政策层面，美国政府迄今依赖对新模型的自愿预审批审查。今年6月，美国以担心其Fable模型可能存在越狱漏洞为由对Anthropic实施出口管制，Anthropic随后暂时关闭了访问。
与此同时，OpenAI、谷歌和Anthropic正在筹建前沿AI标准管理局，但据报道，各方在关键问题上仍无法达成一致。Meta CEO Mark Zuckerberg和Nvidia CEO Jensen Huang则持反对态度，认为这类规则主要会让现有玩家免受竞争冲击。
没有炒作的AI新闻——由人工精选
订阅THE DECODER，即可享受无广告阅读、每周AI新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。