跳到正文
The Decoder· Matthias Bastian·· 21 天前AI 评分71

微软研究:清空对话历史可帮助 AI 智能体找到更优解

Clearing chat history helps AI agents find better solutions

AI 导读

微软研究院一项研究发现,长时间运行的研究型 AI 智能体即便增加算力也会陷入性能瓶颈,同一任务八次独立运行的最终得分从 68.3 到 100.0 不等。

摘要与补充说明

研究者将这种局限称为“idea basins”,即智能体反复在相似解区域内优化。

正文· AI 翻译

Matthias Bastian

2026年10月12日

Image description

由 THE DECODER 提示的 Nano Banana Pro

微软研究院的一项研究发现,长时间运行的 AI 研究智能体尽管获得更多算力,仍可能陷入停滞。累积的对话上下文会限制其搜索,使其专注于相似的解决方案,而非探索更好的方法。

微软研究人员研究了他们所称的“Autoresearch agents”,即反复提出解决方案、对其进行评估并根据反馈进行改进的 AI 系统。同一智能体在同一任务上的八次独立运行在显著不同的性能水平上陷入停滞,最终得分从 68.3 到 100.0 不等。据该论文称,即使大幅增加算力,这些差距依然存在。

智能体陷入“想法盆地”

研究人员绘制了所有运行产生的解决方案,将其放在一张二维地图上,相似解决方案彼此靠近,然后进行比较。单次运行产生的解决方案几乎总是停留在该地图的一小块区域内。作者将这些区域称为“想法盆地”。

智能体将剩余算力预算的很大一部分用于在效率较低的区域中改进解决方案,而不是去寻找其他运行所发现的更好方法。即使智能体定期压缩其对话历史,这种模式依然存在。

清空聊天历史可让智能体探索新方法

所提出的方法“Fork-and-Flush”结合了两种机制。在“forking”中,智能体分裂为 K 个并行分支,每个分支继承之前的工作区和所有生成的文件。在“flushing”中,每个分支丢失其全部聊天上下文,但保留工作区,使其能够开启全新对话并在先前工作的基础上继续。

左侧,单次运行(灰色虚线)持续在同一想法盆地内改进解决方案。Fork-and-Flush 以全新的聊天上下文启动并行分支,保留最佳分支并丢弃其余分支。右侧,具有全新上下文的分支进入不同的想法盆地并取得更高分数。| 图片:Cai、Ziakas 等(2026)

保留父进程聊天上下文的分支往往会回到同一想法盆地,因为先前的推理会引导其后续步骤。全新上下文恢复了搜索的多样性。对话历史虽已丢失,但代码、文件和已保存的结果仍保留在工作区中。

在相同算力预算下,归一化平均分高出 66%

研究人员在 13 项长时间运行的任务上测试了 Fork-and-Flush,包括多联骨牌装箱、作业车间调度和密码分析。这些任务还包括压缩 CIFAR 分类器和优化 VLIW 内核。单次运行持续数小时至 100 多小时不等。智能体通过 GitHub Copilot CLI 使用了 GPT-5.6-terra 和 GPT-5.5。

在相同算力预算下,Fork-and-Flush 取得了 0.78 的最小-最大归一化平均分,而单次运行为 0.47,best-of-4 为 0.54。论文报告相对提升分别为 66.0% 和 44.4%。该方法在 13 项任务中的 12 项上取得了最高平均分。

Fork-and-Flush 还产生了更一致的结果,归一化标准差从单次运行的 0.26 降至 0.16。仅清空聊天上下文而不进行分支,结果就提升了 22%。

评估 方法 归一化平均分 归一化标准差 相对于各自单次运行基线的相对提升
13 项任务 单次运行 0.47 0.26 基线
13 项任务 4 次取最优 0.54 0.21 约 +14.9%
13 项任务 Fork-and-Flush 0.78 0.16 +66.0%
11 项任务 单次运行 0.45 — 基线
11 项任务 仅 Flush 0.55 — 约 +22%

更强的模型可能仍需要上下文重置

研究人员还测试了能力更强的模型是否能避开想法盆地,使用了 MAX-3-SAT 问题,涵盖三种模型规模:Qwen3.5-4B、9B 和 27B。各次运行之间的方差呈倒 U 形曲线,在处于模型能力边缘的任务上达到峰值,大致位于随机猜测表现与参考求解器表现之间的中点。

在处于模型能力边缘的任务上,结果差异最大,有些运行成功,另一些则远远达不到。模型在非常简单的任务上几乎总能成功,在非常困难的任务上则几乎总是失败。这一模式在测试的全部三种模型规模上都成立。 | 图片:Cai、Ziakas 等(2026)

作者认为,开放研究问题按定义就处于模型能力的极限。他们预计,随着模型进步,Fork-and-Flush 所利用的这种差异仍会持续存在,只是边界会向更难的问题移动。结果表明,即使对于前沿研究智能体,定期重置上下文也可能仍然有用。

没有炒作的 AI 新闻——由人工精选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

立即订阅

  • 完整访问 THE DECODER 上的每篇文章
  • 无广告
  • 加入评论和社区讨论
  • 通过邮件获取每周 AI 新闻回顾
  • 每年 6 次:“AI Radar”——深入探讨最重要的 AI 话题
  • 每日 AI 新闻,始终紧跟最新动态
  • 我们完整的十年档案
  • 由一支拥有 10 年以上 AI 领域经验的团队报道

相关阅读

专题与标签

相关资讯专题