OpenAI 据报年底前至少发布一款新模型，旗舰模型仍需对齐工作

OpenAI 正加紧完成其下一代旗舰模型，该模型采用了与 Astra 相同的循环 Transformer 技术。这种方法提升了数学和编程性能，但也让安全监控变得更困难。员工表示，年底前可能会发布一到两个新模型。

据员工透露，OpenAI 可能在年底前发布“一到两个新模型”，但目前尚不清楚公司正在研发的“重大升级模型”是否在其中。这一消息来自 The Information，其援引了了解相关项目的人士。

新旗舰模型可能仍需一段时间。该模型需要完成对齐工作，使其目标与 OpenAI 研究人员和客户的期望一致。公司还必须加强围绕该模型的测试基础设施，才能继续推进。

在领导层对安全评估满意之后，还有另一道障碍。根据特朗普总统关于先进 AI 系统评估的行政令，OpenAI 同意在向外部合作伙伴提供新模型前最多 30 天让美国政府访问这些模型，而在公开发布前的时间则更长。

循环 Transformer 同时驱动 Astra 和下一代旗舰模型

据一位知情人士透露，新旗舰模型同样使用了循环 Transformer。OpenAI 已在生产环境中运行这项技术，其名称为“Recurrent Depth”。这是该公司当前顶级模型 Astra 运作方式的核心。模型不是让一个 token 通过 Transformer 层一次，而是让它在同一批层中循环多次，然后输出下一个词。这提升了数学和编程性能并降低了成本，因为更小的模型可以发挥超出其体量的能力。

但循环也让模型的部分“思考”从可读文本转移到人类审查者无法检查的内部数值表示中。这削弱了思维链监控，即安全研究人员追踪模型推理以发现不良行为的方法。据 The Information 报道，OpenAI 有意限制了 Astra 的循环次数，以保持其思维链可读。

据一位了解相关数字的人士透露，在Hugging Face 事件之后，OpenAI 将约 10% 的总算力转向对齐和安全。The Information 报道称，这相当于数百兆瓦的数据中心容量，但目前不清楚此前有多少算力分配给安全，也不清楚当前的比例如何。按市场价格计算，OpenAI 转移的算力每年租赁成本将达数十亿美元。AI 研究员 Noam Brown 在 9 月中旬的一档播客中表示，他团队中约 10% 的人也从事安全与安保工作。

微软意外泄露 OpenAI 循环推理的运作方式

OpenAI 实际如何使用这项技术，因微软的一次失误而曝光。这家主要投资方有权访问 OpenAI 的知识产权，其发布了一篇关于 GPT-6.1 Sol 的技术文章，这是 OpenAI 本月早些时候推出的更便宜的 Astra 替代方案。

在一个现已删除的章节中，微软将 GPT-6.1 Sol 描述为使用“循环推理”，即模型在给出答案前通过多个“轮次”处理同一问题。The Information 援引该页面缓存副本中的内容称，GPT-6.1 Sol“使用与 GPT-6 Sol 相同的基础模型权重，但推理轮次为两次而非三次”。

一位知情人士证实，该文章内容与 OpenAI 私下告知 Microsoft 的信息一致。Microsoft 在意识到该部分本不应公开后将其撤下。据 The Information 报道，循环 Transformer 在 OpenAI 的模型开发中仍是一个敏感环节，无论是在训练阶段还是推理阶段。

OpenAI 首席科学家 Jakub Pachocki 已承认，思维链监控正变得愈发“脆弱”，且“不幸的是正朝着负面方向发展”。他还警告称，全行业不应竞相追逐缺乏可读推理过程的模型。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER，即可享受无广告阅读、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。