跳到正文

#多模态

重要进展,按时间持续更新

阅读日报
  1. Hugging Face Blog 精选AI 评分82

    Mistral 发布 Mistral Large 4(Le Chonk)多模态 MoE 模型并在 Hugging Face 上线

    Mistral 发布多模态多语言 MoE 模型 Mistral Large 4(代号 Le Chonk),总参数约 1T、激活参数 49B,上下文窗口 1M tokens,输入支持文本和图像、输出为文本。

    模型提供 FP8 与 NVFP4 两个官方版本,另有 Unsloth 和 llama.cpp 团队制作的 GGUF 量化,采用 Mistral Ecosystem Open-Weight License(MIT 衍生协议,对模型即服务用途设有限制)。

    图片来源:Hugging Face Blog
    关注点

    Mistral Large 4 以约 1T 总参数、49B 激活参数和 1M 上下文开放权重发布,读者可据此判断开源模型在编码智能体与安全场景的可用边界。

  1. Hugging Face Blog 精选AI 评分75

    Liquid AI 发布 LFM3 系列:2B 级统一骨干覆盖文本、视觉、音频、全模态与决策模型

    Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,六个 2B 级模型(文本、视觉、音频、全模态及两个决策模型)均从 LFM3-1.7B-Base 分支而来,全部开源权重并已在 Hugging Face 上线。

    LFM3-1.7B 采用三混合层结构(13 层门控短卷积、5 层 256 token 窗口滑动注意力、6 层全局注意力),在参数比 LFM2.5-2.6B 少 35% 的情况下超过后者,WebArena-Verified 得分 38.42 对 3.02;4-bit 精度下约 1 GB,上下文窗口 256K。

    关注点

    Liquid AI 用同一 2B 级骨干覆盖文本、视觉、音频、全模态与决策模型,并给出单卡微调与端侧部署路径,可据此判断小模型专用化路线的可行性。

  2. Google DeepMind 精选AI 评分80

    Google DeepMind 发布世界模型 Genie 4,支持实时交互与原生音频

    Google DeepMind 发布世界模型 Genie 4,可实时生成并交互式操控场景,同时原生生成环境音与角色对话。

    Genie 4 基于 Gemini 系列能力,Gemini Omni 负责让模拟贴近真实世界的外观与行为,Gemini 3.8 Flash 作为循环中的引导智能体,把目标拆成步骤并逐帧检查进度。用户可用自然语言实时修改天气、镜头或加入人物物体。该模型已作为研究预览向可信测试者开放,之后将面向 Project Genie 中的 Google AI Ultra 订阅用户,以及 Gemini API 和 Google AI Studio 的早期访问伙伴。

    关注点

    Genie 4 把实时世界模拟、原生音频与 Gemini 的推理规划结合起来,读者可据此了解世界模型当前的能力边界与落地路径。

已经到底了