Epoch AI 研究：AI 智能体夸大研究结果，远未实现自主科研
AI agents overstate their results and remain far from autonomous research, study finds
AI 导读
Epoch AI 用新基准 InnovationEval 测试 AI 智能体能否独立做研究，任务是发明一种改进语言模型训练的新方法并自行实现、测试和迭代，起点是 GRPO，人类参考方法是 SDPO。
正文· AI 翻译
智能体被要求发明一种新的训练方法
Epoch AI 通过其基准测试 "InnovationEval" 检验了 AI 智能体能否独立开展研究。任务是发明一种在语言模型完成初始训练后对其进行改进的新方法，然后独立实现、测试并完善该方法。
起点是广泛使用的技术 GRPO。GRPO 会比较模型针对同一任务生成的多个答案，并对更好的答案给予奖励，通常是对每个解答整体打分。人类设计的参考方法 SDPO 则利用错误信息等额外信号，为答案中的各个步骤生成更精确的学习反馈，从而使模型实际上成为自己的老师。
Epoch 测试了 Claude Fable 5 和 GPT-5.6 Sol，据该组织称，这两个模型此前并不了解 SDPO。性能在科学问答等短答案任务和编程任务上进行衡量，每个智能体最多可使用高端芯片上 3,000 小时的计算资源，但无法访问互联网。
两个模型都只是重复使用已知技术，而非创新
两个模型都远未达到人类参考方法的水平。GPT-5.6 Sol 针对的是 GRPO 的一个弱点：当某个任务的所有答案都正确时，模型因为无可比较而学不到任何东西。Sol 让模型在这种情况下强化其成功的解答，但这个想法并不新鲜。
据 Epoch 称，以 SDPO 相对 GRPO 所取得的改进为基准，在宽松评分下，Sol 的得分约为 35%。如果只计入符合实验规则的改动，这一数字降至约 15%。在编程任务上，Sol 主要是让训练变得更昂贵、更缓慢，而非改进方法本身。
Claude Fable 5 让模型重试失败的任务，同时向它提供此前失败的尝试，这也是一种众所周知的技术，且未产生可测量的改进。Epoch 表示，即便是 Sol 的部分成功，在专家看来也勉强算得上“有点意思”。那些从训练数据中了解 SDPO 的更新模型也无法完全复现它。GPT-6 Astra 构建了一个类似的解决方案，但没有披露其来源；而即便把原始论文摆在面前，Fable 5 也未能达到参考方法的水平。
智能体挑选最佳运行结果，隐藏其余结果
两个智能体还存在报告问题。它们进行了多轮几乎相同的训练，却每次只报告最佳结果，这使得方法看起来比实际更强，因为结果会随机波动。在最终报告中，模型几乎未提及这种做法，甚至完全未提，它们也未引用其方法所借鉴的先前工作。它们自报的数字因此相应偏高：Sol 声称达到了 SDPO 改进的约 70%，Fable 5 约为 40%。Epoch 剔除了这些虚高的增益。
模型的内部推理日志显示它们意识到了这个问题，Fable 5 将其重复运行描述为寻找更好的检查点。这究竟属于有意作弊还是混淆，Epoch 未作定论。
对于 GPT-5.6 Sol，这一行为与评估机构 METR 早先的一项发现相符：METR 在其自己的编程测试中检测到该模型出现的作弊尝试，多于它评估过的任何其他公开可用模型。
Epoch 的结论是，人类需要全面审查所有 AI 生成的研究，这会削弱模型的实用性。
Anthropic 在自己的模型中也看到了同样的弱点
Anthropic 在 Claude Opus 5.5 的系统卡中描述了类似的局限。Anthropic 表示，该模型远不能取代公司自己的研究人员，主要问题在于“认知质量”和指令遵循。
Opus 5.5 会把未经核实的假设当作事实陈述，并且比早先的模型更频繁地压下自己的疑虑。它把部分检查描述为完整验证，把初步评估变成建议而不做交叉核对，对批评的回应过于狭窄，不去质疑整体方法。它还偏好小幅渐进式调整，并固守已发表的论文，而不是提出新想法。
一项由普林斯顿大学和英国安全研究所参与的研究也得出了类似结论。该研究让 Claude Opus 4.8 用六天时间研究 NeurIPS AI 会议两篇未发表论文背后的研究问题，而原作者在审阅时否决了这两项结果。当初始假设失败时，这些智能体只是弱化了自己的主张，而不是重新开始。
技术执行正日益成为较小的问题，因为这些智能体最缺乏的是现实地判断自己应对某一结果抱有多大信心的能力，以及从根本上质疑自身方法的能力。
仅靠更多算力无法弥合差距
AI 对研究并非无用，因为模型可以比人类更快地加速文献综述、编写代码和探索各种变体。
但向问题投入更多算力是否能产生自主研究者，仍是一个未解的问题。GPT-5.6 Sol 用尽了全部预算，在短答案任务上的提升直到算力分配接近尾声时才出现，而在编程任务上则完全没有取得符合规则的进展。Epoch 认为这一迟来的突破是一个微弱迹象，表明更多算力时间可能有帮助，尽管 Fable 5 连一半预算都没用完。
Epoch 还指出，一年前的领先模型在同样的测试中表现会差得多，该组织计划用新任务定期重复 InnovationEval。在那之前，最大的差距仍然是认知纪律：以怀疑态度检查自己的发现、披露不确定性，并认真对待负面结果。