Google Research 发布 AI 视频联合导演框架，实现连贯长视频生成

视频扩散模型的最新进展展示了令人瞩目的高保真生成能力，这些模型能够在数秒内渲染出逼真的场景。然而，尽管扩散模型能够生成高保真的视频片段，但将其转化为连贯的长篇叙事引擎仍然充满挑战。

大多数现有的智能体流水线通过链式模块来自动化这一过程，但由于独立、手工设计的提示词，它们会遭受语义漂移（角色服饰或场景在镜头之间发生细微变化）和级联失败（例如，上游素材的瑕疵会破坏下游的视频合成）。由于早期错误会传播并破坏长程一致性，这一过程往往需要大量的人工干预。从结构上看，这反映了经典的信用分配问题，因为终端故障很难追溯到具体的提示词。此外，现有方法还面临特征漂移（实体和环境在无意中逐渐变化）或内容崩塌（叙事无法有意义地推进）的问题。

今天，我们介绍关于 AI 视频联合导演的研究，这是一个统一的多智能体框架，能够显式地规划多镜头叙事中的视觉连续性。该框架构建于 Gemini 和 Veo 之上的编排层，原生继承了 SynthID 水印等安全机制。通过将长视频生成视为全局优化和世界状态跟踪问题，我们开发了一套框架——Co-Director（将于 COLM 2026 发表）、CANVAS（将于 EMNLP 2026 发表）、A²RD 和 VQQA——它们将高层次的人类创意规范转化为执行，自动化重复性的编排任务，从多模型提示、镜头链接到闭环视觉精修。

我们将这些框架设计为响应式的创意伙伴，抽象掉维持视觉连续性的负担，让用户能够专注于叙事艺术。该架构通过将质量建模为测试时目标，将创意合成与一致性解耦。在全面的评估中，我们的框架在多镜头叙事一致性和角色持久性方面展现出显著提升，成功生成长达数分钟的视频，同时缓解了视觉漂移和流水线错误传播。

工作原理

为了解决长视频的多方面问题，我们将研究分解为四大基础支柱，每个支柱针对生成流水线中的特定瓶颈。

1. 用 AI 视频联合导演编排创意意图

为确保整个视频的语义连贯性，我们提出了AI 视频联合导演，这是一个分层多智能体框架，将视频叙事形式化为全局优化问题。我们不再依赖僵化的线性提示链，而是引入分层参数化：由多臂老虎机（MAB）全局识别有前景的创意方向。

这将创作过程形式化为在探索新颖叙事策略与利用有效创意配置之间寻求最优平衡的搜索过程。系统采样抽象的创意轨迹——例如将信息型策略与小品式叙事模式及特定美学原型相结合——并将这些轨迹动态注入子代理的系统提示中。这种自上而下的引导确保整个流水线在统一的愿景下运作。由于我们的 AI 视频联合导演框架作为编排层运行，它通过将这些结构化提示直接馈入底层的 Gemini 和 Veo 模型来实现这一愿景（尽管其模型无关的架构使其能够架设于任何基础生成模型之上）。该架构确保所有生成的图像、视频和音频天然具备原生安全保护，包括 SynthID 水印。在生产环节，还可对最终视频应用额外的安全分类器，以防止单独安全的片段之间出现意外的上下文交互。

该流水线通过两个相互关联的循环执行全局优化：策略引导与多阶段生产。首先，编排代理使用 MAB 算法评估输入，以在三个维度上选择创意配置：（1）创意策略（意图），（2）叙事模式（故事结构），（3）美学原型（视觉基调与摄影风格）。该配置驱动生产层级。前期制作代理将逐场景的故事梗概与视觉素材综合为统一的分镜脚本。随后，制作代理使用专门的子代理将该分镜脚本转化为具体的视听媒体：关键帧代理锚定角色与场景视觉，视频代理添加运动，音频代理叠加匹配的旁白与配乐。

最后，一个多模态 LLM（MLLM）评判器在三个指定维度上对剪辑成片进行评审，将因子化奖励信号反馈给 MAB，以在连续的生成循环中迭代优化和精炼各项选择。

2. 使用 CANVAS 进行视觉分镜

即便拥有统一的脚本，生成长序列镜头也常常导致角色漂移和环境不稳定。为解决这一问题，我们引入了通过视觉代理分镜实现连续性感知叙事（CANVAS），这是一个在多镜头叙事中显式规划视觉连续性的多代理框架。

CANVAS 通过随着叙事演进维护角色、地点和物体状态的结构化表示来强制保持连贯性。它作为构建于 Gemini 之上的编排层，依赖持久化的视觉记忆。通过从记忆中检索视觉锚点或在需要时初始化新的锚点，CANVAS 确保同一场景内的平滑过渡。这种显式的世界状态建模确保角色在重访时保持其身份，环境保留其空间结构。

为了直观展示这些效果，下图呈现了一个多镜头博物馆盗窃序列，将 CANVAS 与代表性基线进行对比：使用底层基础模型（Gemini-3.1-Pro）直接生成，以及另一种多智能体框架（AutoStudio）。图底部的提示词突出了反复出现的元素——例如小偷、展厅和宝石——这些元素必须保持完全相同的视觉特征。请注意每种方法如何处理连续转场（例如角色的服装）与非连续转场（例如镜头绕行后回到主厅）。仅使用 Gemini-3.1-Pro 生成时会出现道具不一致（文物发生变化）和背景漂移（房间布局发生偏移），显示出无引导生成的局限。AutoStudio 在镜头切换时同样出现退化，导致角色漂移（小偷的帽子消失）和背景不一致。相比之下，CANVAS 的持久视觉记忆确保角色、空间几何和物体状态在整个叙事过程中保持完全连贯。

3. 用 A²RD 扩展时间动态

为了将故事板转化为实际长达数分钟的视频，我们开发了 A²RD，一种智能体式自回归视频生成架构。A²RD 采用逐段生成方式，并辅以多模态视频记忆，用于跟踪各段落的上下文与动态。

对于每个段落，它运行在“检索—合成—精修—更新”的循环中。该循环的关键一环是智能体如何自适应地确定段落生成模式。它在外推——以允许自然的叙事推进——与插值之间平滑切换，后者将段落锚定到已有的实体和环境。这有效地平衡了故事向前推进的需求与维持场景物理现实性的必要性。

为了测试该系统，下面这部十分钟影片展示了一次长视频生成，这要求在长达数分钟的时间间隔内保持叙事推进的一致性。视频突出了系统如何在两种运行模式之间动态切换：使用外推将情节推向新的叙事节点，使用插值将回归的角色和环境锚定到其原始设计。标准视频生成器会出现严重的视觉衰减——角色变异、场景变形——而 A²RD 则持续查询其多模态视频记忆，以从开场镜头到最后一帧保持角色身份、服装细节和结构几何。

4. 用 VQQA 进行闭环精修

最后，我们需要一种让系统自主识别并修复视觉伪影的方法。现有的测试时优化方法通常要么计算开销高昂，要么需要对模型内部进行白盒访问。为此，我们开发了视频质量问答（VQQA），一个统一的、多智能体框架，可泛化到多种输入模态和视频生成任务。

VQQA 会根据具体提示词动态生成视觉问题，并将由此得到的 视觉语言模型（VLM）评判作为语义梯度（提供自然语言形式的方向性反馈，以引导迭代优化，类似于反向传播中的数值梯度）。这以人类可解释、可操作的反馈取代了传统的被动评估指标。随后，系统可以通过自然语言接口执行高效的迭代反馈循环（模型生成视频、通过视觉问题评估视频，并根据评判结果优化文本提示词）。为防止这一优化过程中的语义漂移，VQQA 采用了 全局选择机制：它不会盲目采用最终迭代的输出，而是由全局 VLM 评分器将优化轨迹中生成的每一个视频与原始未编辑的提示词进行对照评估。随后系统选出得分最高的候选，确保局部修正不会损害更广泛的上下文。

在实践中，VQQA 作为黑盒提示词优化器运行，而非像素级编辑器。它不直接修改像素，而是迭代优化文本提示词，以纠正属性绑定错误或角色属性不一致等高层构图缺陷。更新后的提示词会引导生成器在其潜空间中采样一条新路径。在以下示例中，VQQA 并未对原始帧进行遮罩或覆盖绘制；相反，它通过将逼真的 mylar 气球纹理渲染到严格的立方体几何结构上，解决了模型的材质绑定难题，并通过让小提琴手和钢琴手在镜头切换间始终与各自的乐器保持一致，修复了演出中途乐器混乱变化的问题。

关键结果与基准

为严格评估我们的框架，我们开发了三个专门基准，旨在模拟专业视频制作中的挑战。

1. GenAD-Bench：采用人在回路流程，将 Gemini 3 Pro 与专用图像模型配对，构建 50 个虚构品牌，每个品牌包含四种不同产品。在 400 个独特场景中，它测试精确的营销约束，而不依赖版权冲突或训练先验。
2. HardContinuityBench：旨在评估空间与环境连续性。该基准使用复杂的 GPT-5.2 多镜头叙事故事板生成，通过场景再次出现之间的巨大间隔、演员服装和配饰的频繁变化，以及交互道具的复杂状态变化来挑战模型。
3. LVBench-C：针对长时程时间动态。该数据集包含 120 个纯文本场景，分为演变中的角色状态、变化的物体属性和渐进的环境揭示，并遵循严格的间隔规则：关键视觉资产必须消失至少 10 个片段，才能以符合现实、由叙事驱动的变化重新出现。

我们的评估表明，相较于现有视频生成架构，本方案取得了可测量的性能提升。通过探索创意策略搜索空间，AI 视频联合导演在 GenAD-Bench 上达到 81.4 的峰值质量分数，并在 ViStoryBench 上增强了故事一致性。CANVAS 利用结构化视觉记忆来缓解场景漂移，在 ST-Bench 和 HardContinuityBench 的场景重现中实现了显著的连续性提升。针对长时程时间动态，A²RD 最小化布局漂移，从而在 VBench-Long 和 LVBench-C 上连续数分钟的运行中提升角色与环境一致性。最后，VQQA 的闭环提示优化解决了物理与构图不一致问题，在 T2V-CompBench、VBench2 和 VBench-I2V 上带来了显著的绝对质量提升。有关我们的模型架构、训练配置和基线评估的完整细节，请参阅各篇论文。

未来方向

这些框架是迈向为创作者解锁连贯、长时程视觉叙事的基础性一步。在我们持续完善这些智能体架构的过程中，我们正在探索如何整合人在回路的工作流程。我们的最终目标并非取代人类叙事，而是通过将时间一致性和世界状态追踪等繁琐复杂性抽象化，赋能创作者，确保他们始终掌控创意方向与叙事设计。

致谢

本工作得以完成，离不开 Google 各研究团队的专注投入。我们感谢 Andrew Pan、Brett Slatkin、Burak Gokturk、Carina Claassen、Daniel Vlasic、Do Xuan Long、Ishani Mondal、Jasmine Leon、Jingyun Liu、Joe Timmons、Jordan Boyd-Graber、Khanh G. LeViet、Kuang Su、Long T Le、Mihir Parmar、Min-Yen Kan、Nathan Hodson、Nick Losier、Palash Goyal、Rhyard Zhu、Sebastian Ko、Scott Penberthy、Yan Xu、Yang Li、Ye Jin、Zack Chomyn 和 Tomas Pfister 为这一系列研究做出的宝贵贡献。