ServiceNow CoreAI 推出 AutoSynthData：为企业智能体生成训练数据

企业需要能在自身环境中良好运行的智能体。它们要求这些智能体完成的工作，受其使用的系统、遵循的规则以及数据状态的塑造。一个模型可能具备广泛的能力，却仍在特定环境中举步维艰：某个它处理不佳的工作流、某组它误用的工具组合，或某项它未能遵守的约束。这些正是企业需要改进的弱点。

难点在于将这些弱点转化为训练数据。单次失败能告诉我们一些信息，但训练模型需要大量新任务，在不同情境下锻炼同一项能力。这些任务还必须能在该环境中完成、类似某人实际会提出的请求，并且有可靠的方式检验智能体是否成功。

在 ServiceNow CoreAI，我们构建了 AutoSynthData，将这些能力缺口转化为训练数据。它利用目标模型的失败和更强教师的成功来决定模型接下来应学习什么，然后生成并验证锻炼这些能力的新任务。随着模型改进，课程会转向它仍然觉得困难的内容。我们以 EnterpriseOps Gym（Malay et al., 2026）为例，使用已发布的数据集来说明这一流程。我们首先描述智能体运行的环境，以及是什么让任务对训练有用。

什么是有用的智能体任务？

智能体环境定义了智能体运行的世界：它可以观察和修改的状态、它可以调用的工具和 API，以及其动作产生的状态转换。

任务在此环境中实例化。我们使用以下抽象：

task = (system specification, user prompt, verifier)

系统规范

系统规范定义了智能体运行所遵循的约束，包括系统指令、环境策略，以及在适用情况下任务特定的初始化，例如预置的数据库状态或一组知识文章。

该规范必须与环境中的工具、状态和支持的动作兼容。其指令应清晰明确，避免仅为制造难度而引入的任意约束。

面向智能体的任务

用户提示指定了用户希望智能体完成的目标，以及任何用户级约束。生成的任务应满足三个属性。

可行性。 当前环境中应至少存在一条轨迹，既满足用户提示，又遵守系统规范。这排除了依赖不可用工具、无法访问的知识、不可能的状态转换或策略禁止的动作的任务。

真实性。 用户提示应类似于用户在目标环境中可能提出的请求。可执行行为的空间通常远大于真实工作流的空间。

难度。 对于训练而言，任务应暴露当前智能体的弱点。已被可靠解决的任务提供的训练信号很少。因此，有用的区域是那些可行且真实、但尚未被稳定解决的任务。

验证器

验证器判定结果轨迹是否成功完成任务。它应满足三个属性。

一致性。它应当与用户提示、系统规范以及任务特定的环境状态保持一致。

可靠性。它应当拒绝那些未能满足任务要求或违反相关约束的轨迹。

完备性。它应当接受有效的解决方案，而不是只编码某一条特定的参考轨迹。

这些性质在训练过程中直接至关重要。宽松的验证器可能会奖励错误行为，而过于严格的验证器则可能惩罚有效解决方案。

概述

给定一个环境和目标模型，AutoSynthData 会生成由系统规范、用户提示和验证器组成的训练任务。生成的任务以环境为基础，并被选择为当前模型提供有用的训练信号。

AutoSynthData 首先使用诊断任务在环境中评估目标模型，并识别其难以完成的任务中的模式。更强的教师模型有助于刻画哪些任务是可解的，以及成功行为是什么样的。AutoSynthData 将由此得到的能力差距转化为新的可执行任务，在环境中检查每个任务，并使用被接受的样本进行后训练。评估更新后的模型可以揭示哪些差距仍然存在，并可指导下一轮生成。

从模型失败到课程

AutoSynthData 利用目标环境中的评估运行来确定模型接下来需要学习什么。在我们的 EnterpriseOps Gym 实验中，我们在评估任务上同时运行目标模型和更强的教师模型。我们检查这些运行以识别：

• 所测试的能力；
• 涉及的工具和工作流结构；
• 目标模型在哪里失败，以及教师模型如何成功；
• 正确的最终状态必须满足的性质；
• 在保持所测试能力不变的前提下可以变化的维度。

我们将这些发现提炼为经过清洗的能力规范卡片。评估任务指导模型应该学习什么，但生成器不会收到它们的原始提示、实体、轨迹或验证器细节。它收到的是这些卡片，并利用它们创建具有不同提示、状态和解决路径的新任务。

生成和扩展任务

识别能力差距告诉我们该教什么，但训练需要大量多样化的任务来锻炼这种能力。AutoSynthData 使用规范卡片来生成这些任务。

假设目标模型难以完成需要以下工作流的任务：

生成器创建锻炼此工作流的新任务，变化实体、初始环境状态、工作流组合、工具组合、措辞和难度。然后，更强的教师模型为每个任务演示一条成功轨迹。对于监督微调（SFT），这些演示教目标模型如何在新情境中应用该能力。

AutoSynthData 分两个阶段构建数据集：首先生成并验证核心样本，然后将其扩展为新颖的变体。

目标

目标阶段根据能力规范创建核心训练样本集。工作器并行生成独立任务，完成一个后便领取新的目标。每个候选样本在被接受前都要经过验证、执行、求解器评估和修复。结果是一批围绕目标模型需要学习的内容而构建的经过审查的示例。

倍增

倍增阶段通过为已接受的目标样本创建新颖变体来扩展数据集。每个变体都有自己的用户请求、环境状态、实体配置、参考轨迹和验证器，并且必须通过相同的验证和执行检查。倍增产生的样本不能作为另一个倍增样本的种子。这将扩展锚定在经审核的目标集上，并限制跨代漂移。

实现细节

为支持这两个阶段，AutoSynthData 将生成控制与环境特定执行分离。共享控制器协调生成、质量控制、覆盖率和数据集构建，而适配器负责环境执行、任务与状态管理、参考回放、确定性验证、求解器执行和任务分析。

并行目标生成与倍增共同提供了一条通往训练规模数据集的路径。它们的实用性取决于对每个候选样本施加的检查：任务必须可执行，解决方案必须有效，验证器必须能区分成功与失败。

高质量合成数据需要的不仅仅是生成

生成一个看似合理的请求不足以产生有用的训练数据。任务在目标环境中可能无法完成，其参考解决方案在执行时可能失败，或者其验证器可能奖励错误的最终状态。AutoSynthData 在接受任务用于训练之前会检查这些属性。

AutoSynthData 在两个层面审查质量：单个候选样本必须通过验证，批次必须提供有用的覆盖率和多样性。

样本级验证与修复

每个候选样本在进入训练数据集之前都必须通过质量控制循环。我们首先进行求解器评估以衡量难度。在此处使用的配置中，我们偏好目标模型在三次试验中至多成功一次、且更强求解器在三次试验中至少成功两次的任务。候选样本还要经过正向和负向验证以及有界修复过程。

正向验证

正向门控问的是：预期解决方案能否解决生成的任务？

流水线在目标环境中执行参考轨迹，并根据候选样本的验证器检查结果状态。这揭示了提示、初始状态、解决方案和成功标准之间的不匹配。

负向验证

负向门控问的是：相关的错误结果是否会失败？

例如，它可以改变预期结果的部分内容，并确认这些状态不再通过验证。这能捕获那些不要求预期行为就判定成功的弱验证器。

批评与修复

失败的候选样本在被丢弃之前会先交给批评器。批评器检查样本及其失败原因，寻找不一致的状态、不可能的工作流、错误的任务构建、糟糕的参考轨迹、薄弱的验证器逻辑，或与预期能力不匹配之处。批评器的发现指导修复，重试次数有固定上限：

candidate
↓
failure
↓
critique / diagnosis
↓
targeted repair
↓
run the gates again
↓
accept or retry

修复后的任务必须再次通过相关检查。诊断指导对现有候选样本进行修复，而不是要求从头开始生成。

通过这些检查后，样本才有资格用于训练，但单独有效的样本仍可能构成重复或不平衡的数据集。因此，AutoSynthData 还会在批次层面审查生成情况。

批次级审查

一个批次可能过度代表少数简单任务族、遗漏某项能力，或反映出过多生成精力花在了低产出模式上。

元审查会检查每个批次中被接受的样本、被拒绝的样本以及生成行为。它会问：

• 哪些任务族被过度代表，哪些能力维度缺失？
• 同类示例是否反复出现？
• 某些特定目标是否持续生成失败？
• 批评中是否出现系统性问题？
• 下一批次应改变哪些指导？

控制器会跟踪已接受数据集中的覆盖情况，减少过度代表区域的生成，并将更多工作导向缺口。当某个区域反复产生劣质候选时，批评和元审查会指导生成策略的调整。这些调整在可用的生成预算和数据集规模要求内，平衡有用的学习信号、任务质量、覆盖度、多样性和低冗余。

这些反馈循环共同改善单个任务及其构成的数据集：样本级检查指导候选修复，而批次级审查指导未来生成。

推进训练前沿

随着模型改进，有用的训练分布会发生变化。AutoSynthData 将合成数据生成视为在目标模型能力边界附近搜索任务：难度足以暴露弱点，但又足够可解，以便教师提供可靠的示范。

训练后，我们在同一环境中评估更新后的模型。它现在能可靠解决的任务对下一轮训练用处较小；持续失败则指向仍需关注的能力。这些结果可以指导下一轮生成。

我们的实验聚焦于 SFT，但同样的机制也可以支持强化学习（RL）：生成挑战当前策略并提供可靠学习信号的任务，训练，然后用更新后的策略移动生成目标。我们计划在 SFT 之外测试这种移动的、难度校准的前沿。

EnterpriseOps Gym 实验

我们使用 EnterpriseOps Gym 测试这种方法能否在有状态企业环境的任务上改进模型。我们在 Gym 的 Hybrid 和 ITSM 环境中生成训练任务，在被接受的样本上微调目标模型，并评估得到的检查点。

Hybrid

我们在 EnterpriseOps Gym 的 Hybrid 领域测试了该流程，使用 Gemma-4-26B-A4B-it 作为目标模型，Qwen3.8-27B 作为教师。

AutoSynthData 在大约 18 小时内生成了 2,000 个合成训练样本。我们在此数据集上微调 Gemma，并在基准上评估得到的检查点。最佳检查点是第 5 个 epoch。

Hybrid 结果

合成 SFT 检查点将平均 Pass@1 提高了 7.2 个百分点，相对提升 35%，并将验证器成功率从 63.01% 提升到 68.55%。它弥合了 Gemma 与参考模型之间原始 Pass@1 差距的 59%。

训练任务是根据能力规格新生成的；生成器没有接收原始评估任务。结果表明，在本次实验所使用的环境 EnterpriseOps Gym Hybrid 中，性能有所提升。

ITSM

我们还将 AutoSynthData 应用于 EnterpriseOps Gym 的 ITSM 领域，使用 Gemma-4-26B-A4B-it 作为目标模型，DeepSeek-V4.1-Flash 作为教师模型。AutoSynthData 在 66 小时内生成了 1,994 条合成训练样本。生成耗时比上文所述后续的 Hybrid 运行更长，主要原因是 ITSM 运行使用了更大的教师模型，并且早于提升吞吐量的流水线优化。

在 ITSM 上，合成 SFT 将平均 Pass@1 从 18.77% 提升至 27.18%，表明该方法在第二个领域也能提升性能。

闭环

对训练最有用的任务取决于环境以及在其中工作的模型。AutoSynthData 利用模型的失败来选择生成内容，针对环境验证新任务，并使这些任务可用于后训练。我们的 EnterpriseOps Gym 结果表明了该方法在受控环境中的价值。随着模型变化，同一流程可以聚焦于仍然存在的差距。