跳到正文

#多模态

重要进展,按时间持续更新

阅读日报
  1. Hugging Face Blog 精选AI 评分82

    Mistral 发布 Mistral Large 4(Le Chonk)多模态 MoE 模型并在 Hugging Face 上线

    Mistral 发布多模态多语言 MoE 模型 Mistral Large 4(代号 Le Chonk),总参数约 1T、激活参数 49B,上下文窗口 1M tokens,输入支持文本和图像、输出为文本。

    模型提供 FP8 与 NVFP4 两个官方版本,另有 Unsloth 和 llama.cpp 团队制作的 GGUF 量化,采用 Mistral Ecosystem Open-Weight License(MIT 衍生协议,对模型即服务用途设有限制)。

    图片来源:Hugging Face Blog
    关注点

    Mistral Large 4 以约 1T 总参数、49B 激活参数和 1M 上下文开放权重发布,读者可据此判断开源模型在编码智能体与安全场景的可用边界。

  1. Hugging Face Blog 精选AI 评分75

    Liquid AI 发布 LFM3 系列:2B 级统一骨干覆盖文本、视觉、音频、全模态与决策模型

    Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,六个 2B 级模型(文本、视觉、音频、全模态及两个决策模型)均从 LFM3-1.7B-Base 分支而来,全部开源权重并已在 Hugging Face 上线。

    LFM3-1.7B 采用三混合层结构(13 层门控短卷积、5 层 256 token 窗口滑动注意力、6 层全局注意力),在参数比 LFM2.5-2.6B 少 35% 的情况下超过后者,WebArena-Verified 得分 38.42 对 3.02;4-bit 精度下约 1 GB,上下文窗口 256K。

    关注点

    Liquid AI 用同一 2B 级骨干覆盖文本、视觉、音频、全模态与决策模型,并给出单卡微调与端侧部署路径,可据此判断小模型专用化路线的可行性。

  2. Google DeepMind 精选AI 评分80

    Google DeepMind 发布世界模型 Genie 4,支持实时交互与原生音频

    Google DeepMind 发布世界模型 Genie 4,可实时生成并交互式操控场景,同时原生生成环境音与角色对话。

    Genie 4 基于 Gemini 系列能力,Gemini Omni 负责让模拟贴近真实世界的外观与行为,Gemini 3.8 Flash 作为循环中的引导智能体,把目标拆成步骤并逐帧检查进度。用户可用自然语言实时修改天气、镜头或加入人物物体。该模型已作为研究预览向可信测试者开放,之后将面向 Project Genie 中的 Google AI Ultra 订阅用户,以及 Gemini API 和 Google AI Studio 的早期访问伙伴。

    关注点

    Genie 4 把实时世界模拟、原生音频与 Gemini 的推理规划结合起来,读者可据此了解世界模型当前的能力边界与落地路径。

  1. The Decoder 精选AI 评分88

    OpenAI 发布 GPT-6.1 Terra,API 价格减半且多项基准提升

    OpenAI 发布 GPT-6.1 Terra,API 输入 token 每百万 $1、输出 $5,均为 GPT-5.6 Terra 的一半,缓存输入降至每百万 $0.05。

    该模型已向 Plus、Pro、Enterprise、Edu 用户开放,可在 ChatGPT Work、Codex 和 API 中使用。Artificial Analysis 称其在最高推理强度下 Intelligence Index 比 GPT-5.6 Terra 高 6 分,单任务成本 $0.40 对 $1.40;在 Terminal-Bench 4.0 上最高推理强度解决 50.3% 任务,前代为 21.5%。

    关注点

    GPT-6.1 Terra 的 API 价格减半,同时多项基准提升,读者可据此比较它与 Claude Sonnet 5.5 等中端模型的成本与能力取舍。

  1. Google Research 精选AI 评分62

    Google Research 用 MedGemma 等基础模型推进结核病筛查落地

    Google Research 与 Google for Health 在 IDWeek 2026 上介绍了把基础模型用于结核病筛查的进展:从 2019 年在 Radiology 发表胸片深度学习基准,到 2024 年在 NEJM AI 发表多中心前瞻验证,再通过与南非公司 Nexus AI 合作转化为获 CE MDR class IIb 认证的临床诊断工具。该工具目前在南非、塞拉利昂、科特迪瓦等六国的约 40 家医疗机构使用,90 多名临床医生已评估超过 25,000 张胸片,将周转时间从数周缩短到 45 秒以内。

    关注点

    Google 公开了结核病筛查从基准论文到 CE 认证工具、再到开放基础模型的完整落地路径,可看到医疗 AI 跨越监管与部署鸿沟的具体做法。

  1. Hugging Face Blog 精选AI 评分88

    Meta 开源 Muse Spark Open:816B 多模态 MoE 模型

    Meta 发布开源权重模型 Muse Spark Open,采用混合专家架构,总参数约 816B、每 token 激活约 42B,上下文窗口最高 100 万 token,可输入文本、图像、音频和视频并输出文本。

    该模型面向智能体编码训练,能读取代码库、编写和调试代码并调用工具,同时可处理截图、语音和录屏。模型提供 BF16 与 NVFP4 两种 checkpoint,BF16 约 1.5 TB,NVFP4 面向 NVIDIA Blackwell GPU;官方给出 transformers、llama.cpp、SGLang、vLLM、MLX 的部署配方,以及用 TRL 在 64 张 H100 上微调 LoRA 的示例。

    关注点

    Meta 开源 816B 多模态 MoE 模型,给出量化、部署与微调配方,可据此评估本地与云端落地成本。

  1. Hugging Face Blog 精选AI 评分62

    Apertus 1.5 发布:8B/70B 模型新增图像音频理解与思考模式

    Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 模型基础上新增图像与音频理解、可选思考模式、4 倍长的上下文窗口,并改进指令遵循和工具调用能力,权重以 Apache 2.0 许可发布在 Hugging Face。

    模型采用早期融合方式,图像和音频以离散 token 与文本进入同一序列,图像用 Emu3.5 tokenizer 编码(512×512 图像为 1,024 token),音频用 WavTokenizer(每秒 40 token),架构不变,模型只输出文本。上下文窗口扩展到 262,144 token,8B 和 70B 分别增加 4 万亿和 2 万亿 token 训练数据,总量达 19T 和 17T。

    关注点

    Apertus 1.5 把 8B/70B 文本模型扩展为多模态并开放全部训练细节,可观察开源模型如何用 tokenizer 方案做多模态。

  1. Google DeepMind 精选AI 评分87

    Google DeepMind 发布 Gemini 4 Argon 机器人模型

    Google DeepMind 发布 Gemini 4 Argon,主打物理理解、代码生成与视觉语义推理,在测试 3D 环境物理空间问题的 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。

    关注点

    官方给出 Argon 在 ERQA 的 87% 成绩与四类机器人工作流示例,读者可据此判断物理推理模型在机器人栈中的落点。

  1. Hugging Face Blog 精选AI 评分66

    Liquid AI 开源 d1-3B 与 d1-omni-600M 端侧决策模型

    Liquid AI 发布 d1 决策模型家族的两款开源权重模型 d1-3B 和实验性的 d1-omni-600M。

    d1-3B 在 Decision Index 0.2.1 上得分 48.57,为 10B 以下最佳,支持文本与图像输入;d1-omni-600M 支持文本加图像或文本加音频,在七个公开数据集上均分 78.4,超过参数量四倍的 Decider 2B。

    关注点

    Liquid AI 开源两款端侧决策模型,给出决策质量、延迟与多模态输入的实测数据,便于判断端侧部署取舍。

  1. Google DeepMind 精选AI 评分71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构、Apache 2.0 许可,740M 参数,原生将文本、图像、音频和视频映射到统一嵌入空间。

    关注点

    官方给出 740M 参数、模块化编码器与端侧内存占用等细节,可据此判断本地多模态检索的落地成本。

  1. Mistral AI 精选AI 评分82

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数原生多模态模型

    Mistral 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、52B 激活参数的原生多模态模型,权重将于本月底开放。

    官方称其在编码、智能体工作流和多模态理解上表现突出,在 Artificial Analysis Cyber Index 上进入全球前五,在 Cybench 上解决 93% 的题目,并在 DeepSWE v1.1 上得分 61.7%。

    关注点

    官方给出 1 万亿参数、52B 激活的开放权重模型在编码、智能体与多模态上的具体基准,可对照现有开源模型判断其位置。

  1. Google DeepMind 精选AI 评分82

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御者开放,后续再面向开发者、企业和消费者推出,起步定价为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入 token 享 95% 折扣。

    关注点

    官方给出 Gemini 4 Argon 的定价、1M 输出上限与多项基准成绩,可据此判断前沿模型在长周期工程与安全防御上的进展。

  1. Microsoft Research 精选AI 评分62

    微软研究院推出 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由多模态生物世界模型和连接模型、科学工具、文献与科研人员的交互 harness 组成。

    该系统与 Broad Institute 合作用于胰腺导管腺癌研究,从数千个化合物中筛选出可驱动肿瘤细胞状态转变的候选物,最高排名化合物在多项湿实验中产生了最大的预期状态转变,整个筛选到验证过程仅用一个周末。

    关注点

    微软研究院公开 Quine 的多模态生物世界模型与配套 harness,并给出胰腺癌化合物筛选的湿实验验证结果。

  1. Google DeepMind 精选AI 评分71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话,已在 Gemini Enterprise 上线。

    关注点

    官方给出 Live Avatar 的实时音视频对话能力、97 种语言同步与异步工具调用细节,可据此判断企业级数字人交互的落地边界。

  1. Google DeepMind 精选AI 评分71

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与逐行表演指导,后者面向高并发、低成本的配音与语音智能体。

    关注点

    原文给出两款 TTS 模型的能力边界、基准排名与开放入口,可据此判断语音生成在配音与智能体场景的可用性。

已经到底了