跳到正文

#多模态

10月31日周六
  1. Hugging Face BlogAI 评分34

    用 NVIDIA Nemotron 开源模型打造万圣节鬼屋 MonsterHouse

    开发者用 NVIDIA Nemotron 开源模型搭建了万圣节互动投影装置 MonsterHouse:一扇会说话的车库门,能听懂敲门的孩子、用暴躁老海盗船的嗓音回话,并在访客说“please”时软化态度。

    系统基于 NVIDIA Nemotron Voice Agent,由 Nemotron 3 ASR 负责语音转文字,Nemotron 3.5 Bolt E4B 4GB 生成回复,Magpie TTS Zeroshot 合成实时语音,Audio2Face-3D 在 Unreal Engine 5 中驱动嘴部动画,Nemotron 3 Nano Omni 配合 YOLO 与 ByteTrack 识别并统计访客。

10月30日周五
  1. AWS Machine Learning BlogAI 评分38

    在 Amazon EKS 与 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 模型加速智能体 AI

    NVIDIA Nemotron 3.5 Super VL 已加入可在 AWS 上使用的 Nemotron 3 系列模型,这是一个 120B 参数的 MoE 多模态模型,每个 token 激活 12B 参数,支持文本、图像、文档和视频输入。

    该模型从 Nemotron 3 Ultra 蒸馏而来,采用混合 Mamba-2、MoE 与注意力层架构,上下文长度最高 1M tokens,提供 BF16 和 NVFP4 两种 checkpoint,并公开权重、训练数据集与后训练配方。NVIDIA 报告其在 Hermes Bench 得分 63.44%、LangChain agent 评测 87.05%、CharXiv 图表推理基准 80.8%。

10月29日周四
  1. Hugging Face BlogAI 评分34

    IBM Granite Switch 4.1.1 补丁发布:像更新软件一样更新模型

    IBM 发布 Granite Switch 4.1.1 补丁版本,与 4.1 完全向后兼容,无需迁移,仅做底层增量改进。

    此次更新包含支持 10 种语言、自带标点与大小写的 Granite Speech ASR 模型,以及 granitelib-core 中在 Jev Decision Index 测试集上整体表现提升的 Decision 适配器。除训练新 ASR 模型和 Decision 适配器外,基座模型未做任何重算,用户组合所需最新适配器即可部署。IBM 表示正在制作教程和 Adapter SDK,让开发者与第三方供应商能自建适配器、迭代版本并按软件方式发布更新。

  2. Hugging Face Blog 精选AI 评分82

    Mistral 发布 Mistral Large 4(Le Chonk)多模态 MoE 模型并在 Hugging Face 上线

    Mistral 发布多模态多语言 MoE 模型 Mistral Large 4(代号 Le Chonk),总参数约 1T、激活参数 49B,上下文窗口 1M tokens,输入支持文本和图像、输出为文本。

    模型提供 FP8 与 NVFP4 两个官方版本,另有 Unsloth 和 llama.cpp 团队制作的 GGUF 量化,采用 Mistral Ecosystem Open-Weight License(MIT 衍生协议,对模型即服务用途设有限制)。

    关注点

    Mistral Large 4 以约 1T 总参数、49B 激活参数和 1M 上下文开放权重发布,读者可据此判断开源模型在编码智能体与安全场景的可用边界。

10月28日周三
  1. Hugging Face Blog 精选AI 评分75

    Liquid AI 发布 LFM3 系列:2B 级统一骨干覆盖文本、视觉、音频、全模态与决策模型

    Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,六个 2B 级模型(文本、视觉、音频、全模态及两个决策模型)均从 LFM3-1.7B-Base 分支而来,全部开源权重并已在 Hugging Face 上线。

    LFM3-1.7B 采用三混合层结构(13 层门控短卷积、5 层 256 token 窗口滑动注意力、6 层全局注意力),在参数比 LFM2.5-2.6B 少 35% 的情况下超过后者,WebArena-Verified 得分 38.42 对 3.02;4-bit 精度下约 1 GB,上下文窗口 256K。

    关注点

    Liquid AI 用同一 2B 级骨干覆盖文本、视觉、音频、全模态与决策模型,并给出单卡微调与端侧部署路径,可据此判断小模型专用化路线的可行性。

  2. Google DeepMind 精选AI 评分80

    Google DeepMind 发布世界模型 Genie 4,支持实时交互与原生音频

    Google DeepMind 发布世界模型 Genie 4,可实时生成并交互式操控场景,同时原生生成环境音与角色对话。

    Genie 4 基于 Gemini 系列能力,Gemini Omni 负责让模拟贴近真实世界的外观与行为,Gemini 3.8 Flash 作为循环中的引导智能体,把目标拆成步骤并逐帧检查进度。用户可用自然语言实时修改天气、镜头或加入人物物体。该模型已作为研究预览向可信测试者开放,之后将面向 Project Genie 中的 Google AI Ultra 订阅用户,以及 Gemini API 和 Google AI Studio 的早期访问伙伴。

    关注点

    Genie 4 把实时世界模拟、原生音频与 Gemini 的推理规划结合起来,读者可据此了解世界模型当前的能力边界与落地路径。

10月24日周六
  1. Google Research 精选AI 评分62

    Google Research 用 MedGemma 等基础模型推进结核病筛查落地

    Google Research 与 Google for Health 在 IDWeek 2026 上介绍了把基础模型用于结核病筛查的进展:从 2019 年在 Radiology 发表胸片深度学习基准,到 2024 年在 NEJM AI 发表多中心前瞻验证,再通过与南非公司 Nexus AI 合作转化为获 CE MDR class IIb 认证的临床诊断工具。该工具目前在南非、塞拉利昂、科特迪瓦等六国的约 40 家医疗机构使用,90 多名临床医生已评估超过 25,000 张胸片,将周转时间从数周缩短到 45 秒以内。

    关注点

    Google 公开了结核病筛查从基准论文到 CE 认证工具、再到开放基础模型的完整落地路径,可看到医疗 AI 跨越监管与部署鸿沟的具体做法。

10月23日周五
  1. Hugging Face BlogAI 评分58

    Allen AI 发布 OlmoEarth v1.3 卫星嵌入模型及全球预计算嵌入

    Allen AI 在 Hugging Face 发布 OlmoEarth v1.3 卫星嵌入模型,读取一年的 Sentinel-1 雷达与 Sentinel-2、Landsat 多光谱时序数据,为全球每 10 米像素生成 128 维向量,前 64 维可单独作为轻量嵌入使用。

    团队已在 Source Cooperative 公开全球预计算年度嵌入,并上线免登录的 OlmoEarth Embeddings Explorer,可逐年对比、查找相似地点、用少量标注现场训练小分类器并导出 GeoTIFF。

10月20日周二
  1. AWS Machine Learning BlogAI 评分58

    TwelveLabs Pegasus 1.5 上线 Amazon Bedrock

    TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线,可将长视频按用户定义的分段规则切分,并返回带起止时间的结构化 JSON。

    相比 Pegasus 1.2,单次请求可分析的视频时长从 1 小时提升到 2 小时,并新增视频分段、结合参考图的多模态提示和免预索引的即时处理。模型通过 InvokeModel 或流式接口调用,视频可直接从 S3 读取,也可用不超过 25 MB 的 base64 内联传入,支持最长 2 小时、最大 2 GB 的视频。目前仅在美国西部(俄勒冈)区域提供,费用经 AWS Marketplace 计入 TwelveLabs 账单。

10月16日周五
  1. Hugging Face Blog 精选AI 评分88

    Meta 开源 Muse Spark Open:816B 多模态 MoE 模型

    Meta 发布开源权重模型 Muse Spark Open,采用混合专家架构,总参数约 816B、每 token 激活约 42B,上下文窗口最高 100 万 token,可输入文本、图像、音频和视频并输出文本。

    该模型面向智能体编码训练,能读取代码库、编写和调试代码并调用工具,同时可处理截图、语音和录屏。模型提供 BF16 与 NVFP4 两种 checkpoint,BF16 约 1.5 TB,NVFP4 面向 NVIDIA Blackwell GPU;官方给出 transformers、llama.cpp、SGLang、vLLM、MLX 的部署配方,以及用 TRL 在 64 张 H100 上微调 LoRA 的示例。

    关注点

    Meta 开源 816B 多模态 MoE 模型,给出量化、部署与微调配方,可据此评估本地与云端落地成本。

10月15日周四
  1. Hugging Face Blog 精选AI 评分62

    Apertus 1.5 发布:8B/70B 模型新增图像音频理解与思考模式

    Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 模型基础上新增图像与音频理解、可选思考模式、4 倍长的上下文窗口,并改进指令遵循和工具调用能力,权重以 Apache 2.0 许可发布在 Hugging Face。

    模型采用早期融合方式,图像和音频以离散 token 与文本进入同一序列,图像用 Emu3.5 tokenizer 编码(512×512 图像为 1,024 token),音频用 WavTokenizer(每秒 40 token),架构不变,模型只输出文本。上下文窗口扩展到 262,144 token,8B 和 70B 分别增加 4 万亿和 2 万亿 token 训练数据,总量达 19T 和 17T。

    关注点

    Apertus 1.5 把 8B/70B 文本模型扩展为多模态并开放全部训练细节,可观察开源模型如何用 tokenizer 方案做多模态。

10月14日周三
  1. Google DeepMind同新闻AI 评分87

    Google DeepMind 发布 Gemini 4 Argon,主打复杂工程与科研任务

    Google DeepMind 发布前沿模型 Gemini 4 Argon,今日起通过 API 在 AI Studio 和 Gemini 平台面向开发者与企业开放,Google AI Ultra 订阅者可在 Google Antigravity 使用,Ultra 和 Pro 订阅者可在 Gemini 应用和 Search 的 AI Mode 使用。

    同一新闻,精选展示《Google DeepMind 发布 Gemini 4 Argon 机器人模型》

  2. Google DeepMind 精选AI 评分87

    Google DeepMind 发布 Gemini 4 Argon 机器人模型

    Google DeepMind 发布 Gemini 4 Argon,主打物理理解、代码生成与视觉语义推理,在测试 3D 环境物理空间问题的 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。

    关注点

    官方给出 Argon 在 ERQA 的 87% 成绩与四类机器人工作流示例,读者可据此判断物理推理模型在机器人栈中的落点。

10月8日周四
  1. Hugging Face Blog 精选AI 评分66

    Liquid AI 开源 d1-3B 与 d1-omni-600M 端侧决策模型

    Liquid AI 发布 d1 决策模型家族的两款开源权重模型 d1-3B 和实验性的 d1-omni-600M。

    d1-3B 在 Decision Index 0.2.1 上得分 48.57,为 10B 以下最佳,支持文本与图像输入;d1-omni-600M 支持文本加图像或文本加音频,在七个公开数据集上均分 78.4,超过参数量四倍的 Decider 2B。

    关注点

    Liquid AI 开源两款端侧决策模型,给出决策质量、延迟与多模态输入的实测数据,便于判断端侧部署取舍。

10月7日周三
  1. Hugging Face BlogAI 评分42

    TII 推出 Falcon-ASR:1.6B 参数阿拉伯语语音识别模型

    阿布扎比技术创新研究院(TII)发布 Falcon-ASR,一款 1.6B 参数的语音识别模型,重点覆盖阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。

    在六个阿拉伯语测试集上平均 WER 为 20.92%,优于所用榜单快照中最佳公开结果 23.17%;内部阿联酋方言评测中 WER 22.73%、CER 10.19%,比次优的 Qwen3-Omni 低 4.07 个百分点。

10月6日周二
  1. Mistral AI 精选AI 评分82

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数原生多模态模型

    Mistral 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、52B 激活参数的原生多模态模型,权重将于本月底开放。

    官方称其在编码、智能体工作流和多模态理解上表现突出,在 Artificial Analysis Cyber Index 上进入全球前五,在 Cybench 上解决 93% 的题目,并在 DeepSWE v1.1 上得分 61.7%。

    关注点

    官方给出 1 万亿参数、52B 激活的开放权重模型在编码、智能体与多模态上的具体基准,可对照现有开源模型判断其位置。

10月1日周四
  1. Google DeepMind 精选AI 评分82

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御者开放,后续再面向开发者、企业和消费者推出,起步定价为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入 token 享 95% 折扣。

    关注点

    官方给出 Gemini 4 Argon 的定价、1M 输出上限与多项基准成绩,可据此判断前沿模型在长周期工程与安全防御上的进展。

9月29日周二
  1. Microsoft Research 精选AI 评分62

    微软研究院推出 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由多模态生物世界模型和连接模型、科学工具、文献与科研人员的交互 harness 组成。

    该系统与 Broad Institute 合作用于胰腺导管腺癌研究,从数千个化合物中筛选出可驱动肿瘤细胞状态转变的候选物,最高排名化合物在多项湿实验中产生了最大的预期状态转变,整个筛选到验证过程仅用一个周末。

    关注点

    微软研究院公开 Quine 的多模态生物世界模型与配套 harness,并给出胰腺癌化合物筛选的湿实验验证结果。

9月25日周五
  1. Google DeepMind 精选AI 评分71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话,已在 Gemini Enterprise 上线。

    关注点

    官方给出 Live Avatar 的实时音视频对话能力、97 种语言同步与异步工具调用细节,可据此判断企业级数字人交互的落地边界。

9月23日周三
  1. Google DeepMind 精选AI 评分71

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与逐行表演指导,后者面向高并发、低成本的配音与语音智能体。

    关注点

    原文给出两款 TTS 模型的能力边界、基准排名与开放入口,可据此判断语音生成在配音与智能体场景的可用性。