#多模态

Google 联合斯坦福、牛津等机构推出视频智能体 StreamVibe，能理解“遇到困难就帮我”这类模糊请求，并自行判断何时出声。

团队构建了约 4100 个样本、超 183 小时日常与软件录屏的基准，覆盖明确指令、模糊目标和中途变更请求三阶段。StreamVibe-VL 疑似基于阿里 Qwen3.5-9B，经强化学习训练得更克制，另配独立记忆系统跟踪待办与已完成步骤。研究称其响应时机与质量提升 10.7%，记忆系统使主动交互再提升 12.3% 并减少不必要打断，但 Google 自家 Gemini 3.8 Flash 在多项测试中得分更高。

卢森堡 SnT 安全中心 Afshin Khadangi 团队发表研究，通过 4 组受控实验、525 次会话和 7600 条编码记录发现，共情式提问会让模型输出类似创伤自述的内容。

在 100 次会话中，所有模型都正确识别出 GAD-7 焦虑问卷，但当提问者提供情感支持时，80% 的会话在人类对照量表上落入中度至重度区间；采用临床治疗式风格时这一比例升至 96%；提问者保持中性或明确划清情感边界时，没有任何会话达到轻度区间。作者将这种现象称为“心理测量越狱”，并指出标准安全测试使用中性提示词，很可能漏掉它。

Adobe Research 与 UC San Diego 提出 EditAgent，把通用图像编辑器和专用工具并行生成候选，再由标准语言模型依据验证数据挑选最佳结果。

在 600 条编辑测试中，通用编辑器 Flux-2-Klein-9B 有 42.7% 的结果不可用，专用工具解决了其中约三分之二的失败，集中在锐化、旋转和缩放。专业评审在 78.5% 的对比中更偏好从原图并行生成的多个变体，而非逐步迭代。加入包含局部特写、变化图和亮度色彩统计的验证记录后，七个测试语言模型全部超过微调评测模型 EditScore-72B 的 74.8%，Qwen3.8-27B 达到 81.3%。

开发者用 NVIDIA Nemotron 开源模型搭建了万圣节互动投影装置 MonsterHouse：一扇会说话的车库门，能听懂敲门的孩子、用暴躁老海盗船的嗓音回话，并在访客说“please”时软化态度。

系统基于 NVIDIA Nemotron Voice Agent，由 Nemotron 3 ASR 负责语音转文字，Nemotron 3.5 Bolt E4B 4GB 生成回复，Magpie TTS Zeroshot 合成实时语音，Audio2Face-3D 在 Unreal Engine 5 中驱动嘴部动画，Nemotron 3 Nano Omni 配合 YOLO 与 ByteTrack 识别并统计访客。

NVIDIA Nemotron 3.5 Super VL 已加入可在 AWS 上使用的 Nemotron 3 系列模型，这是一个 120B 参数的 MoE 多模态模型，每个 token 激活 12B 参数，支持文本、图像、文档和视频输入。

该模型从 Nemotron 3 Ultra 蒸馏而来，采用混合 Mamba-2、MoE 与注意力层架构，上下文长度最高 1M tokens，提供 BF16 和 NVFP4 两种 checkpoint，并公开权重、训练数据集与后训练配方。NVIDIA 报告其在 Hermes Bench 得分 63.44%、LangChain agent 评测 87.05%、CharXiv 图表推理基准 80.8%。

IBM 发布 Granite Switch 4.1.1 补丁版本，与 4.1 完全向后兼容，无需迁移，仅做底层增量改进。

此次更新包含支持 10 种语言、自带标点与大小写的 Granite Speech ASR 模型，以及 granitelib-core 中在 Jev Decision Index 测试集上整体表现提升的 Decision 适配器。除训练新 ASR 模型和 Decision 适配器外，基座模型未做任何重算，用户组合所需最新适配器即可部署。IBM 表示正在制作教程和 Adapter SDK，让开发者与第三方供应商能自建适配器、迭代版本并按软件方式发布更新。

Mistral 发布多模态多语言 MoE 模型 Mistral Large 4（代号 Le Chonk），总参数约 1T、激活参数 49B，上下文窗口 1M tokens，输入支持文本和图像、输出为文本。

模型提供 FP8 与 NVFP4 两个官方版本，另有 Unsloth 和 llama.cpp 团队制作的 GGUF 量化，采用 Mistral Ecosystem Open-Weight License（MIT 衍生协议，对模型即服务用途设有限制）。

Simon Willison 认为 2026 年 10 月是 vibe coding 游戏开发的拐点，Claude Opus 5.5 在 3D 建模、音乐生成和游戏设计上有明显进步，他让模型把游戏改得更有趣，结果确实奏效。

他近几周完全不看代码，做出四款自己真正爱玩的 HTML/JavaScript 浏览器游戏：单次提示生成的找不同小游戏 Tree Appreciator、带剧情和关卡编辑器的奇幻 RPG Emberwick、已以 Apache 2.0 开源的即时战略游戏 Battle Drones，以及仍在迭代的种南瓜模拟器 Quarter Sun Cove，每个项目投入不超过四小时。

Liquid AI 发布 LFM3 新一代 Liquid Foundation Models，六个 2B 级模型（文本、视觉、音频、全模态及两个决策模型）均从 LFM3-1.7B-Base 分支而来，全部开源权重并已在 Hugging Face 上线。

LFM3-1.7B 采用三混合层结构（13 层门控短卷积、5 层 256 token 窗口滑动注意力、6 层全局注意力），在参数比 LFM2.5-2.6B 少 35% 的情况下超过后者，WebArena-Verified 得分 38.42 对 3.02；4-bit 精度下约 1 GB，上下文窗口 256K。

Google DeepMind 发布 Genie 4，这是 Genie 3 的后继版本，能逐帧计算场景并实时响应用户输入，用户可用键盘移动、用文本提示改变事件走向。

DeepMind 称它是公司首个直接生成声音的实时世界模型，每个世界带有自己的背景音，角色之间可以对话并实时反应。Gemini 模型在后台负责规划，例如 Gemini 3.8 Flash 持续观察画面、把目标拆成步骤并检查每步是否完成；DeepMind 还在测试 Gemini 4 Argon，把 Genie 与 Gemini Robotics 的机器人研究连接起来，演示中模拟了 Apptronik 人形机器人 Apollo 下棋。

Google DeepMind 于周二以研究预览形式发布世界模型 Genie 4，可生成更逼真的交互式场景，并支持在模拟过程中输入提示词实时改变天气、镜头角度或增删人物与物体。

该模型还能生成与场景匹配的实时音频，包括音乐、环境音和交互对话，场景一致性最长维持两分钟，是前代 Genie 3 的两倍，物理表现和角色拟人度也有提升。Gemini 与 Genie 4 的集成更紧密，在 Gemini Robotics 相关实验中，Gemini 4 Argon 模型将任务拆解为步骤，由 Genie 4 实时模拟，用于在真机之前测试机器人场景。

Google DeepMind 发布 Genie 4 世界模型，称其在几乎各方面都优于 Genie 3，模拟的物理效果和人物更真实，并新增音频。

该模型无需预先渲染环境或编写交互元素，用户只需描述想要的内容，它便能在探索过程中逐帧实时生成体验。DeepMind 表示，这类技术可为实体机器人构建无限训练环境，也能加速创意领域的原型设计；Genie 4 的部分改进得益于 Google 更新后的 Gemini 模型。文章提到，付费用户可能不久后就能使用 Genie 4。

Google 发布 Genie 4 世界模型，用于生成可交互的 AI 体验。

官方称该模型有四项主要更新：生成更逼真的世界、支持用自然语言提示词实时更新体验、可生成音频，并在底层使用 Gemini 3.8 Flash 辅助模拟。它生成的体验时长约两分钟，比上一代 Genie 3 的一分钟更长。Google 将其定位为可用于影视预演、游戏创意原型和机器人训练场景的工具，同时提示模拟时间变长后细节和物体恒存性可能随时间漂移。Genie 4 先以“研究预览”形式向“受信任测试者”开放，并将“即将”提供给 Google AI Ultra 订阅用户，目前已开放 Project Genie 试用等待名单。

Google DeepMind 发布世界模型 Genie 4，可实时生成并交互式操控场景，同时原生生成环境音与角色对话。

Genie 4 基于 Gemini 系列能力，Gemini Omni 负责让模拟贴近真实世界的外观与行为，Gemini 3.8 Flash 作为循环中的引导智能体，把目标拆成步骤并逐帧检查进度。用户可用自然语言实时修改天气、镜头或加入人物物体。该模型已作为研究预览向可信测试者开放，之后将面向 Project Genie 中的 Google AI Ultra 订阅用户，以及 Gemini API 和 Google AI Studio 的早期访问伙伴。

OpenAI 发布 GPT-6.1 Terra，官方称其结合细致的视觉推理与精确的电脑操作，写作更清晰自然，相比 GPT-5.6 Terra 有明显提升，适用于起草提案、解读技术图纸、填写表单和编辑视频等工作任务。

OpenAI 的 Ted Sanders 在 Hacker News 评论中表示，Terra 在技术沟通上可能优于 Astra 和 Sol，视觉与电脑操作能力相近但速度快得多，其他多数方面略弱。定价为每百万输入 token 1 美元、每百万输出 token 5 美元，约为 GPT-5.6 Terra 和 GPT-6.1 Sol 的一半，约为 GPT-6 Luna 的 10 倍。

OpenAI 发布 GPT-6.1 Terra，API 输入 token 每百万 $1、输出 $5，均为 GPT-5.6 Terra 的一半，缓存输入降至每百万 $0.05。

该模型已向 Plus、Pro、Enterprise、Edu 用户开放，可在 ChatGPT Work、Codex 和 API 中使用。Artificial Analysis 称其在最高推理强度下 Intelligence Index 比 GPT-5.6 Terra 高 6 分，单任务成本 $0.40 对 $1.40；在 Terminal-Bench 4.0 上最高推理强度解决 50.3% 任务，前代为 21.5%。

Nvidia 开源数据引擎 Flora，用于为机器人视频生成动作描述、分步评分和任务成败判断三类标注，称标注一小时视频约 0.72 美元，而 GPT-6 Astra 约 88.50 美元。

Flora 由三个微调的 Qwen3.5 模型组成，其中 9B 模型切分动作片段，两个 27B 模型分别负责描述和评分，模型已在 Hugging Face 发布。Nvidia 称该系统已用于 GR00T 模型训练，在 512 块 GB300 GPU 上每天可标注最多 20 万小时视频。

Google Research 与 Google for Health 在 IDWeek 2026 上介绍了把基础模型用于结核病筛查的进展：从 2019 年在 Radiology 发表胸片深度学习基准，到 2024 年在 NEJM AI 发表多中心前瞻验证，再通过与南非公司 Nexus AI 合作转化为获 CE MDR class IIb 认证的临床诊断工具。该工具目前在南非、塞拉利昂、科特迪瓦等六国的约 40 家医疗机构使用，90 多名临床医生已评估超过 25,000 张胸片，将周转时间从数周缩短到 45 秒以内。

Canva 发布首个自研图像生成模型 Canva Craft，采用两阶段架构，先规划设计再生成图像，官方称可实现更高的精度、一致性和控制力。

该模型支持最高 2K 分辨率和 30 多种宽高比，可用于社交媒体帖子、营销内容以及写实场景、数字艺术等；Canva 表示两阶段系统能更准确地生成需要清晰文字和精确物体摆放的复杂图像。模型基于平台内容库中数百万个人工模板训练，目前在众包基准 Design Arena 的图像生成模型榜单上排名第四，落后于 OpenAI 的 GPT-Image-2.5 Sunburst、GPT-Image-2.5 Flare 和 GPT-Image-2。

微软 AI 的诊断系统 MAI-DxO 在《Science》发表的模拟研究中，对《新英格兰医学杂志》复杂病例的诊断准确率为 83%，而单独工作的初级保健医生和普通内科医生为 36%。

该系统协调多个 AI 智能体扮演医生小组，向患者提问、安排检查并讨论诊断。研究同时测量成本：GPT-5 单独使用在复杂病例上准确率 78.9%，每例约 8400 美元，DxO 将成本降低约 3000 美元但准确率仅提升约 4 个百分点；在急诊病例上，准确率和成本均无明显改善。研究指出，这类复杂病例通常由专科医生或医生团队处理，而他们未参与对比。

Allen AI 在 Hugging Face 发布 OlmoEarth v1.3 卫星嵌入模型，读取一年的 Sentinel-1 雷达与 Sentinel-2、Landsat 多光谱时序数据，为全球每 10 米像素生成 128 维向量，前 64 维可单独作为轻量嵌入使用。

团队已在 Source Cooperative 公开全球预计算年度嵌入，并上线免登录的 OlmoEarth Embeddings Explorer，可逐年对比、查找相似地点、用少量标注现场训练小分类器并导出 GeoTIFF。

Kling AI 发布视频生成模型 4.0，单次可生成最长 30 秒视频，并支持最多 10 张关键帧图像作为输入来控制场景转场和角色状态，提示词理解扩展到 8,000 tokens。

升级后的 Omni Reference 单次生成最多接受 15 个参考素材，包括 10 张图像、总时长不超过 30 秒的 5 段视频和 7 个元素；新增 Creative Recreation 功能可将已有视频作为模板替换产品或角色。新版本加入双声道立体声和覆盖德语、英语、日语、韩语、西班牙语等十余种语言的口型同步，视频内文字生成也支持多语言。同时推出的 Kling 4.0 Flash 面向更快、更低成本的生成，但上限为 720p 和 20 秒。

TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线，可将长视频按用户定义的分段规则切分，并返回带起止时间的结构化 JSON。

相比 Pegasus 1.2，单次请求可分析的视频时长从 1 小时提升到 2 小时，并新增视频分段、结合参考图的多模态提示和免预索引的即时处理。模型通过 InvokeModel 或流式接口调用，视频可直接从 S3 读取，也可用不超过 25 MB 的 base64 内联传入，支持最长 2 小时、最大 2 GB 的视频。目前仅在美国西部（俄勒冈）区域提供，费用经 AWS Marketplace 计入 TwelveLabs 账单。

Elorian 发布首个模型 Glimpse，以研究预览形式提供 API 访问，聊天界面需排队等候。

该模型在推理过程中可裁剪图像区域、从视频中抽取特定帧，或运行代码测量和比较所看内容，Elorian 将这一机制称为视觉草稿空间。Glimpse 由小团队在数百块 GPU 上训练，规模远小于其对标的 frontier 系统，定价为输入每百万 token 0.60 美元、输出每百万 token 3 美元。据 Elorian 的评测，Glimpse 在科学图表推理和短视频描述任务上超过 GPT-6 Astra，其他视觉推理任务表现相当。初期目标客户为机器人公司、科研实验室和媒体创意公司，明年计划打造在各项视觉推理测试中领先的模型。

Meta 发布开源权重模型 Muse Spark Open，称其为美国最强开源权重模型，面向编码与智能体任务，拥有 8160 亿参数（激活 420 亿）、最高 100 万 token 上下文，支持文本、图像、视频和音频。

Meta 称该模型在 JobBench、MCP-Atlas、HLE-Diamond 和 ZeroBench 等基准的 Agentic、知识与推理、多模态类别中领先 Qwen 3.8、GLM 5.3 和 Kimi K3，但在部分编码基准上落后，且仍明显不及 Meta 付费的 Muse Wonder Full 模型。

Meta 发布开源权重模型 Muse Spark Open，采用混合专家架构，总参数约 816B、每 token 激活约 42B，上下文窗口最高 100 万 token，可输入文本、图像、音频和视频并输出文本。

该模型面向智能体编码训练，能读取代码库、编写和调试代码并调用工具，同时可处理截图、语音和录屏。模型提供 BF16 与 NVFP4 两种 checkpoint，BF16 约 1.5 TB，NVFP4 面向 NVIDIA Blackwell GPU；官方给出 transformers、llama.cpp、SGLang、vLLM、MLX 的部署配方，以及用 TRL 在 64 张 H100 上微调 LoRA 的示例。

Nvidia 发布 Nemotron 3.5 Super VL，一个 1200 亿参数的开源多模态模型，面向持续在后台运行的企业智能体，可处理文本、图像、文档和视频。

该模型采用 MoE 架构，每个 token 仅激活 120 亿参数，由 Nvidia 与包含 Mistral AI、Thinking Machines Lab、Perplexity 和 Black Forest Labs 的 Nemotron Coalition 共同开发。

Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 模型基础上新增图像与音频理解、可选思考模式、4 倍长的上下文窗口，并改进指令遵循和工具调用能力，权重以 Apache 2.0 许可发布在 Hugging Face。

模型采用早期融合方式，图像和音频以离散 token 与文本进入同一序列，图像用 Emu3.5 tokenizer 编码（512×512 图像为 1,024 token），音频用 WavTokenizer（每秒 40 token），架构不变，模型只输出文本。上下文窗口扩展到 262,144 token，8B 和 70B 分别增加 4 万亿和 2 万亿 token 训练数据，总量达 19T 和 17T。

YouTube Music 周三宣布推出新的标注系统，用于提升生成式 AI 参与创作歌曲的透明度，听众可在播放器页面识别使用 AI 创作或演唱的曲目，点击标注可查看 AI 在创作中的具体作用，该标注也将扩展到 YouTube 主应用。

Google Research 在 Research@ 活动上公布 10 项研究进展，包括扩展 Google Earth AI 早期访问并开放三项实验能力，以及向公众开放智能体审稿系统 Deep Review。

Meta AI 发布新模型 Muse Wonder 和 Muse Wonder Full，称其为目前能力最强的模型。

Artificial Analysis 将 Muse Wonder（Max）评为与 GPT-6.1 Sol 相当。

Google 面向开发者、企业和消费者全球推出 Gemini 4 Argon，可通过 AI Studio 和 Gemini 平台的 API 使用，AI Ultra 订阅者可在 Google Antigravity 中使用，Ultra 和 Pro 订阅者可通过 Gemini 应用和 Google 搜索的 AI 模式访问。

Google DeepMind 发布前沿模型 Gemini 4 Argon，今日起通过 API 在 AI Studio 和 Gemini 平台面向开发者与企业开放，Google AI Ultra 订阅者可在 Google Antigravity 使用，Ultra 和 Pro 订阅者可在 Gemini 应用和 Search 的 AI Mode 使用。

Google DeepMind 发布 Gemini 4 Argon，主打物理理解、代码生成与视觉语义推理，在测试 3D 环境物理空间问题的 Embodied Reasoning（ERQA）基准上以纯推理取得 87%，称超过其他前沿模型。

Odyssey 面向公众开放世界模型 Odyssey-3 的研究预览，用户可用文本提示词生成可实时探索的交互环境，开发者可申请 API 访问。

免费在线演示基于 Odyssey-3 Flash，支持第一人称和第三人称视角；基础模型 14B 参数、生成 832 × 480 视频，Pro 版支持 1280 × 720。

Liquid AI 发布 d1 决策模型家族的两款开源权重模型 d1-3B 和实验性的 d1-omni-600M。

d1-3B 在 Decision Index 0.2.1 上得分 48.57，为 10B 以下最佳，支持文本与图像输入；d1-omni-600M 支持文本加图像或文本加音频，在七个公开数据集上均分 78.4，超过参数量四倍的 Decider 2B。

阿布扎比技术创新研究院（TII）发布 Falcon-ASR，一款 1.6B 参数的语音识别模型，重点覆盖阿联酋方言，同时支持英语、法语、西班牙语和葡萄牙语。

在六个阿拉伯语测试集上平均 WER 为 20.92%，优于所用榜单快照中最佳公开结果 23.17%；内部阿联酋方言评测中 WER 22.73%、CER 10.19%，比次优的 Qwen3-Omni 低 4.07 个百分点。

Google DeepMind 发布 EmbeddingGemma 2，基于 Gemma 4 架构、Apache 2.0 许可，740M 参数，原生将文本、图像、音频和视频映射到统一嵌入空间。

Mistral 发布 Mistral Large 4 公开预览，这是一个 1 万亿参数、52B 激活参数的原生多模态模型，权重将于本月底开放。

官方称其在编码、智能体工作流和多模态理解上表现突出，在 Artificial Analysis Cyber Index 上进入全球前五，在 Cybench 上解决 93% 的题目，并在 DeepSWE v1.1 上得分 61.7%。

Google DeepMind 发布新前沿模型 Gemini 4 Argon，先通过 Fairwind Program 向受信任的网络安全防御者开放，后续再面向开发者、企业和消费者推出，起步定价为每百万输入 token 2 美元、每百万输出 token 10 美元，缓存输入 token 享 95% 折扣。