Google Research 提出 Diffusion Controller，统一并简化 AI 图像生成控制

文本到图像 AI 模型（如 Nano Banana、Stable Diffusion 和 Flux）的快速发展，从根本上改变了创意设计，使任何人都能根据文本描述合成照片级真实感的高保真图像。然而，引导这些庞大的模型满足精确的用户意图、下游目标或严格的视觉约束，仍然是一项微妙且不可预测的平衡工作。例如，假设提示模型生成“一只戴着墨镜的蜥蜴”。模型可能生成一只逼真的蜥蜴，但没有戴墨镜。或者，强制模型加入墨镜可能会扭曲蜥蜴的脸部，破坏图像质量。

现有用于引导或微调图像生成的方法彼此非常割裂。一方面，开发者使用推理时技术（例如无分类器扩散引导）来调整文本提示的影响，并即时引导图像生成过程。另一方面，他们依赖繁重的微调，使用 LoRA、奖励加权回归或策略梯度等参数高效适配器来改变模型行为。

由于这些工具历来被视为彼此独立、互不相关的修补手段，该领域一直缺乏一种单一、有原则的数学语言，来统一、分析和优化我们控制生成模型的方式。这种碎片化的方法常常迫使工程师在平衡用户偏好对齐与图像质量时依赖猜测。

为了解决这一平衡难题，我们提出了 Diffusion Controller 框架。Diffusion Controller 不把图像生成视为一系列孤立的刚性步骤，而是将整个去噪过程重新表述为一个平滑、连续的控制问题。我们的结果表明，Diffusion Controller 的轻量级附加网络在匹配人类偏好方面优于行业标准。此外，其完全解锁版本（即经过微调、拥有“白盒”或不受限制地修改内部模型权重权限的模型）相对于基线模型取得了 90% 的胜率。

Diffusion Controller 框架

Diffusion Controller 框架将图像生成过程（AI 模型从随机噪声开始，逐步将其细化为清晰图像）视为一段平滑受控的旅程。可以将基础预训练模型想象成一辆庞大而强劲的摩托车；重建其核心引擎来改变行驶方式既低效又有风险。相反，Diffusion Controller 就像安装在它上面的轻量级转向阻尼器，而主模型（摩托车）则完全冻结、安全地保持原样。

Diffusion Controller 的核心机制（转向阻尼器）并非在每一步猜测如何引导生成，而是在图像创建过程中动态调整生成轨迹。它平滑地重新校准模型的标准默认行为，为最大化用户定义目标（例如实现某种艺术风格或上下文对齐）的方向赋予更大权重。

通过在生成轨迹中对这些偏移进行数学优化并结合反馈，Diffusion Controller 框架实现了平衡，成功将模型的生成过程引导向新的用户偏好，同时完整保留了基础模型清晰的视觉图像质量和底层稳定性。回到上面的蜥蜴示例，这意味着转向阻尼器会引导模型确保包含太阳镜，但惩罚护栏会介入，防止系统为了做到这一点而扭曲蜥蜴自然的鳞片和比例。

从理论到实践

为了将这个理论上的控制问题转化为实用工具，我们弥合了抽象且可能难以求解的方程之间的差距，将其转化为两种完全基于最终奖励分数的高效微调方法：

• 方法 1： 策略梯度和 PPO（稳定优化器）：该方法通过经过计算的增量调整迭代地引导模型。它包含一个内置的“裁剪规则”，其作用类似于限速器，防止系统对模型行为做出大规模、不稳定的改变，以确保训练保持平滑和稳定。
• 方法 2： 奖励加权损失（捷径）：这起到直接优化路径的作用。它对产生高质量结果的生成过程给予大量奖励，从数学上保证模型将可靠地学会生成用户想要的确切类型的图像。

“转向阻尼器”网络

Diffusion Controller 框架的作用类似于转向阻尼器，它解决了一个巨大的现实商业问题。通常，要改变模型的行为方式，你需要“白盒”访问权限来深入其核心引擎并更改其内部设置。然而，世界上最好的图像生成模型往往是企业机密（被称为黑盒或灰盒）。

转向阻尼器网络依赖于完美的图像引导指令，即基础模型的知识加上一个小修正的组合。它在图像被清除噪声的过程中观察图像，并注入精确的、微观的转向修正。这使得工程师能够完美地控制和定制即使是被严格锁定的闭源模型，而无需触碰底层代码。

实验与结果

我们使用 Stable Diffusion v1.4 主干网络在三种微调机制下评估了 Diffusion Controller 框架的能力：监督微调（SFT）、奖励加权损失（RWL）和 PPO。性能使用标准化的 Human Preference Score（HPS-v2）来衡量，以确定生成的图像与用户提示和美学选择的契合程度。

我们在 Diffusion Controller 框架下实现了四种网络结构：

• Diffusion Controller： 我们的转向阻尼器网络，用于灰盒访问，以中间反向均值为输入，并采用所提出的侧适配器流。
• Diffusion Controller-Naive： 转向阻尼器网络的朴素设计，既没有中间反向均值，也没有侧适配器流。
• Diffusion Controller-J： 我们的白盒解决方案，通过联合训练转向阻尼器网络和基础模型实现。
• Diffusion Controller-S： 另一种白盒解决方案，通过分别训练转向阻尼器网络和基础模型实现。

结果表明，Diffusion Controller 在完全可访问的“白盒”环境和高度受限的“灰盒”环境中均表现出色，始终优于相应的基线方法，并实现了更优的质量-效率权衡。

在 SFT 和 RWL 赛道中，灰盒 Diffusion Controller 转向阻尼器网络在 HPPS-v2 胜率上优于 LoRA——这一最先进的参数高效白盒方法。这是一个重要的里程碑，因为 Diffusion Controller 在实现这一成果的同时，所操作的内部模型层数显著少于 LoRA。此外，在全面的人类评估小组中，Diffusion Controller 在复杂的多属性测试提示上记录了最佳的主观质量和提示匹配结果。

该框架的一个核心特性是其运行时的灵活性。通过调整单个推理时引导强度参数，用户可以动态调高或调低控制约束的强度。这允许在不破坏基线图像稳定性或引起旧式引导方法典型的视觉畸变的情况下，对提示对齐进行平滑、细粒度的即时调整。

结论

通过将数学控制与图像生成模型相结合，Diffusion Controller 弥合了纯数学与现代创意工具之间的差距。它不再依赖拼凑式的猜测和快速修补来调优模型，而是提供了一个单一、数学上严谨的系统来引导图像生成。最棒的是，它提供了一种实用、轻量的“转向阻尼器”蓝图，即使在访问受限的闭源模型上也能完美运行。

展望未来，这一统一框架为研究开辟了令人兴奋的新路径。由于控制层与模型的核心引擎完全分离，未来的开发者可以将 Diffusion Controller 用于远超文本提示匹配的用途。近期的下一步包括使用该框架构建高级个性化工具、开发稳健的安全机制以帮助减轻有害内容生成，以及调整转向阻尼器网络以控制复杂的下一代视频模型。

致谢

我们感谢来自 Google Research、Google DeepMind 和学术界的共同作者和合作者对本工作的贡献。