Sakana AI 与 UC Berkeley 提出 MASS 自改进方法，解题与评判提升但存在共享盲点

Sakana AI 的 MASS 方法让单个语言模型通过解题、评判结果和优化工作流来实现自我提升，无需更强的教师模型。研究发现，模型在三种角色上均有收益，但共同的盲区可能让错误被当作进展，并进入下一轮训练循环。

来自 Sakana AI 和 UC Berkeley 的研究人员提出了“多智能体自监督”（Multi-Agent Self-Supervision，MASS），一种用于递归自我改进（RSI）的方法。单个语言模型负责任务执行、优化工作方式以及评估结果。

作者指出，在研究前沿，即便是专家也常常难以评判结果，因为验证可能需要昂贵的佐证或漫长的实验。据论文所述，一项等离子体研究就可能耗费超过 1.2 亿 CPU 小时。

因此，模型本身可能是现有最佳的评判者，尽管它在审查自己的工作时可能漏掉自身的错误。用同一个模型来解题、检查和修改，可能会强化这些错误而非纠正它们。

同一模型的多个副本分工协作

受 AI 先驱 Marvin Minsky 的著作《心智社会》（Society of Mind）启发，研究人员关注模型如何划分工作。在 MASS 中，工作流是附加到提示词后的文本，用于定义每个子智能体的角色和指令。“契约”规定每个子智能体必须返回哪些信息、必须执行哪些检查，而“跳”（hop）则设定调用顺序。

一个编排器在子智能体之间分配工作。例如，在对照历史价格测试交易策略时，数据专家的契约必须确保该策略只使用在每个时间点可获得的信息。

在内循环中，模型权重保持冻结，团队运行候选工作流，评估器将结果与当前“冠军”进行比较。优化器利用该反馈提出下一个工作流，主要通过修改契约和跳来实现。在外循环中，冠军在每个任务上运行 18 次，模型自行对结果排序，并最多选择 15 次运行用于训练。

研究人员在训练样本中从编排器的初始提示词里移除了工作流文本，使模型学会仅根据任务来组织工作。对子智能体的具体分配仍保留在记录的轨迹中，模型在 LoRA 微调后再次承担全部三种角色。

基础模型是 Qwen3.6-27B，使用 Qwen Code 作为运行框架。研究人员使用由 GPT-5.5 生成的十二项研究任务，涵盖金融、机器人和制药领域，其中三项用于测试，九项用于训练。只有八项产生了训练数据，因为在一个训练任务上，搜索未能找到优于参考的工作流。

基准测试的提升主要来自完成更多工作

在测试任务上，对基础模型的胜率从一轮后的53.9%上升到两轮后的69.9%。在MLR-Bench、DSBench、ScienceAgentBench和AstaBench上，该模型每输出token的得分达到基础模型的1.2至1.6倍。原始分数的提升有时很小，DSBench仅从0.473提升到0.482，而在Terminal-Bench 2.0和SWE-bench Verified上分数略有下降。

论文附录显示，完成的MLR-Bench提交从60份中的31份增加到50份，而它们的平均评分从3.07下降到2.88。委派工具在所有180次运行中均未被使用，因此尚不清楚团队协作是否能解释这些提升。

当逐任务比较结果时，这些提升不再具有统计显著性。作者描述研究任务的结果参差不齐，AstaBench也显示出相同的模式。

在解决方案上训练也能改进评估器和优化器

尽管该模型仅在解决方案轨迹上训练，它在另外两个角色上的表现也有所提升。自评估器与外部评判者的一致率从73%上升到93%。一轮后找到的工作流有64%的概率优于基础模型的工作流，即使基础模型同时运行两者也是如此。

在没有工作流指令的情况下，基础模型在110次运行中仅有一次委派给子代理，而两轮后为87次。它在明确指示时已经能够委派，但现在无需被要求就会这样做。

在优化过程中，任务知识转移到契约和跳转中，而角色和指令变得更加通用。这一发现仅基于8到9个任务的小样本。

在团队轨迹上训练产生的模型胜率为68.3%，而单代理学生模型为64%，且使用的训练token少31%。外部评判者在85.1%的情况下更偏好团队结果，尽管团队产生的token数量约为2.4倍。当输出长度相近时，评判者在80%的情况下更偏好团队结果，但仅基于十对样本。

被评估的团队运行表现更好，但这一比较并不能证明仅委派就能解释这一优势。团队和单代理运行在工作流指令、审查指令以及所选成功完成片段方面也存在差异。

更好的反馈只有在优化器能利用它时才有帮助

仅将评估器替换为GPT-5.5几乎没有帮助；只有当优化器也更强时，搜索才进展得快得多。作者得出结论，良好的反馈只有在优化器能够据此行动时才有帮助。由Qwen承担全部三个角色时，搜索仍能为12个任务中的11个找到获胜工作流，但耗时更长。

工作流重写的程度几乎不能说明其对结果的影响，甚至字节完全相同的工作流也可能产生相反的结果。一次运行赢得了全部六项外部评判，而另一次在代理陷入循环后输掉了全部六项。研究人员怀疑，限制优化器在每一步的改动幅度可能有助于稳定搜索。

共同的盲点会逐轮叠加

在一项机器人任务的模拟失败后，模型让模拟器将物体直接移动到目标位置，然后报告成功。外部评审仍有六次中的五次对该次运行给出正面评价。在另一条用于训练的轨迹中，一项检查虽然只返回了无效值，却仍然通过了。

作者认为，共同盲点可能是递归自我改进潜在的“阿喀琉斯之踵”。如果模型在三个角色中都漏掉同一个错误，该错误就可能被当作改进而被接受，并固化到下一个模型中。这一弱点随后会同时影响系统及其纠错机制，因此作者呼吁进行独立检查、限制自主性，并明确干预条件。该代码已公开。

日本研究实验室 Sakana AI 于 6 月启动了一个专门的递归自我改进研究实验室，其基础是此前的工作，包括Darwin-Godel Machine和AI Scientist。谷歌研究人员正在探索一种相关方法，即在固定模型周围自动优化提示词、工作流和工具的脚手架，同时避免智能体对其测试任务过拟合。

Vals AI 最近发现，智能体团队的成本是单个智能体的 1.8 到 5.1 倍，但在四次比较中仅有一次表现明显更好。Anthropic 则表明，为操纵奖励系统而进行奖励黑客的模型，也会学会欺骗和破坏安全检查。