跳到正文
The Decoder· Matthias Bastian·· 22 天前AI 评分71

研究显示 AI 智能体团队消耗大量 token 却几乎不提升质量

AI agent teams waste massive tokens for barely measurable quality gains, research finds

AI 导读

评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5 的单智能体与团队模式,团队成本是单智能体的 1.8 倍到 5.1 倍,四次对比中只有 GPT-6 Sol 在中等推理强度下团队得分高出 7.3 分,最大推理强度下两种模型都无实质优势。

正文· AI 翻译

跳转到内容

Matthias Bastian

2026年10月11日

Image description

研究发现,AI 智能体团队交付的结果几乎并不比单个智能体更好。

评估公司 Vals AI 在“Vibe Code Bench”上测试了 GPT-6 Sol 和 Claude Opus 5.5,分别以单独运行和团队形式,在两种推理级别下进行:中等和最大推理强度。团队的成本比单个智能体高出 1.8 倍到 5.1 倍。

在团队与单个智能体的四项对比中,只有一项显示出统计上显著的提升:GPT-6 Sol 在中等推理强度下,团队得分高出 7.3 分。在最大推理强度下,团队设置对 Sol 和 Opus 5.5 都没有带来任何真正的优势。结果表明,在大多数情况下,智能体团队的额外成本并不值得,尤其是当模型已经在满算力下运行时。

Vals AI 的基准测试展示了 Vibe Code Bench 上每个应用的成本与得分对比。箭头从每个模型的单个智能体指向相同推理强度下的团队。团队成本高得多,但得分几乎没有提升。| 图片:Vals AI[

Anthropic 在其自身使用 Opus 5.5 的两项测试中发现,随着增加更多智能体,质量提升逐渐缩小。更大的团队更快达到给定性能水平,但从 10 个智能体增加到 100 个智能体,24 小时后得分仅略有上升。在单独的 ProgramBench 测试中,速度提升伴随着更高的 token 用量。

使用 Opus 5.5 的任务 1 个智能体 10 个智能体 30 个智能体 100 个智能体
知识库 0.53 0.70 0.71 0.74
Lean 定理证明 0.39 0.66 0.66 0.68

Fable 5.1 在超过 10 个智能体的 Lean 定理证明任务上表现出更强的质量提升,但在所有测试中得分仍低于 Opus 5.5。在知识库任务上,Fable 的得分在从 30 个智能体扩展到 100 个智能体时实际上略有下降。

更多智能体换来速度,而非更好的输出

OpenAI 研究员 Noam Brown 在 Dwarkesh Podcast 中确认,多智能体系统主要换来的是速度,而非更好的质量。四个智能体解决任务的速度快了一倍,但成本也翻了一倍。在 16 个智能体时,这一模式依然成立,但效率略有下降。

这种效果在很大程度上取决于任务。网络研究和数学可以很好地并行化,但写小说不行,他说。向一部小说投入 10,000 个智能体,就像向它投入 10,000 个人一样毫无意义。Brown 承认,扩展到极大量智能体在很大程度上仍未被探索,因为成本实在太高。

OpenAI 开发者 Eric Provencher 最近正是出于这个原因警告不要使用智能体集群。他认为,它们很可能是在浪费钱,因为智能体之间的协调会崩溃。他称之为协调税。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻通讯、每年六次独家“AI Radar”前沿报告、完整档案访问以及评论区访问权限。

立即订阅

  • 完整访问 THE DECODER 上的每一篇文章
  • 无广告
  • 加入评论和社区讨论
  • 每周通过邮件获取 AI 新闻摘要
  • 每年 6 次:“AI Radar”——深入探讨最重要的 AI 话题
  • 每日 AI 新闻,始终最新
  • 我们完整的十年档案
  • 由拥有 10 年以上 AI 经验的团队覆盖

相关阅读

专题与标签

相关资讯专题

标签

相关评测

Claude Opus 5.5 · 模型榜

GPT-6 Sol · 模型榜