Google 联合多校推出 StreamVibe 视频智能体，让 AI 自己判断何时该开口

AI 导读

Google 联合斯坦福、牛津等机构推出视频智能体 StreamVibe，能理解“遇到困难就帮我”这类模糊请求，并自行判断何时出声。

摘要与补充说明

团队构建了约 4100 个样本、超 183 小时日常与软件录屏的基准，覆盖明确指令、模糊目标和中途变更请求三阶段。StreamVibe-VL 疑似基于阿里 Qwen3.5-9B，经强化学习训练得更克制，另配独立记忆系统跟踪待办与已完成步骤。研究称其响应时机与质量提升 10.7%，记忆系统使主动交互再提升 12.3% 并减少不必要打断，但 Google 自家 Gemini 3.8 Flash 在多项测试中得分更高。

由 Google 领导的研究团队推出了 StreamVibe，这是一款旨在自行决定何时发言的视频智能体。测试结果首先表明，这对当今的 AI 模型来说仍然十分困难。

来自 Google、斯坦福、牛津以及多所美国大学的研究人员正在开发一款助手，它能观看你做饭或组装家具，并且只在需要时开口。借助 StreamVibe，他们构建了一个视频智能体，旨在理解诸如“如果我遇到任何困难，请帮助我”这类模糊请求。

根据论文，现有的视频助手是为“水开始沸腾时告诉我”这类明确指令而构建的，因此它们很少能捕捉到未明说的意图。它们也很难跟踪已经完成的操作，这导致它们重复建议或响应过晚；而当用户在任务中途改变请求时，这些助手往往仍坚持最初的指令。

Diagram showing how StreamVibe distinguishes between explicitly stated, unspoken, and changing user intentions during a task — StreamVibe 在任务过程中区分明确表达的、未明说的以及变化的用户意图。| 图片：Google Deepmind

构建更专注助手的三个模块

为了衡量这一问题，团队编制了一个基准，包含来自超过 183 小时日常生活和软件录制的约 4,100 个示例。Gemini 2.5 Flash 提出何时提供帮助以及该说什么，而四名人类评估者必须一致批准每个示例。测试涵盖三个阶段，包括明确指令、模糊目标以及随时间变化的请求。在一个示例中，一名用户拆解玩具挖掘机时要求提供进度更新，然后在三分钟后转而要求进行质量检查。

在此基础上，研究人员训练了 StreamVibe-VL，这是一个显然基于阿里巴巴的 Qwen3.5-9B 的模型，它每秒决定是保持沉默还是发言。第二个训练阶段使用强化学习，使模型更加克制，以免它不断打断。一个独立的内存系统跟踪哪些请求待处理、哪些步骤已完成，不过是否发言以及说什么仍由模型自行决定。

Diagram of StreamVibe's architecture: a separate memory system tracks requests and task status while the model decides when and what to say. — 一个独立系统跟踪请求和任务状态，而模型本身决定何时发言以及说什么。| 图片：Google Deepmind

所有被测模型在持续运行中都会失去对话线索

据研究人员称，StreamVibe-VL 在响应时机和质量上比其他模型提升了 10.7%，而内存系统旨在将主动交互再提升 12.3%，并减少不必要的打断等。

StreamVibe-VL 总体上大幅优于其基础模型和其他开源模型，不过 Google 专有的 Gemini 3.8 Flash 在多项测试中得分更高。根据论文，这种专门训练不会损害通用视频理解能力。

Chart showing that as video length increases, models are significantly less likely to time responses correctly, with the harness mainly reducing unnecessary interruptions. — 随着视频长度增加，模型正确把握响应时机的可能性显著降低；该框架主要减少不必要的打断。| 图片：Google Deepmind

当模型只需在特定时刻判断提示是否合适时，它们往往能做出正确的决定。但当它们处理整段视频并必须基于自己先前的回答继续推进时，所有受测系统的表现都会因错误累积而大幅下滑，而且根据系统自身的历史记录，回答的一项关键内容指标最多下降61.5%。在超过五分钟的视频中，模型很少能选对时机，并且尤其难以在长时间跨度内跟踪一条发生变化的指令。

在论文和项目页面上记录的一个将照片转换为黑白的 GIMP 教程中，对比模型 JoyAI 在用户尚未打开成品图像时就称其已经保存，而 StreamVibe-VL 则在正确的时机给出下一步操作，例如“Colors”然后“Desaturate”。在一份制作果酱卷吐司的分步指南中，其他模型只是描述屏幕上正在发生的事，比如面包被压平，而 StreamVibe-VL 则建议先切掉面包边。

Side-by-side comparison showing that while other models only describe on-screen action, StreamVibe provides specific next steps during a task. — 对比模型往往只描述视频中正在发生的事，而 StreamVibe 会给出具体的下一步操作。| 图片：Google

研究人员承认，现实世界的情况很可能比他们的测试设置更复杂，未来的工作将考察用户偏好与环境如何随时间相互影响。

Google 一段时间以来一直在研究能够主动分析视频的 AI 系统。9 月，Google 推出了面向 Gemini 的基于智能体的视频分析，由模型自行决定更仔细地检查哪些场景。借助 Gemini 4 Argon，Google 最近还展示了 AI 如何跟踪机器人视频中较长的动作序列并发现错误。StreamVibe 的助手旨在理解任意时刻正在发生什么，并识别何时真正需要它的帮助。

在 ProactiveBench 基准测试中，当视觉信息缺失时，AI 模型往往靠猜测或拒绝回答，而不是提出具体问题。另一项视频理解基准测试揭示了在空间和时间推理方面的重大弱点。而对于自主 AI 智能体，对话本身就可能损害表现，正如微软研究人员所展示的那样。