跳到正文

#开源生态

重要进展,按时间持续更新

阅读日报
  1. Hugging Face Blog 精选AI 评分82

    Mistral 发布 Mistral Large 4(Le Chonk)多模态 MoE 模型并在 Hugging Face 上线

    Mistral 发布多模态多语言 MoE 模型 Mistral Large 4(代号 Le Chonk),总参数约 1T、激活参数 49B,上下文窗口 1M tokens,输入支持文本和图像、输出为文本。

    模型提供 FP8 与 NVFP4 两个官方版本,另有 Unsloth 和 llama.cpp 团队制作的 GGUF 量化,采用 Mistral Ecosystem Open-Weight License(MIT 衍生协议,对模型即服务用途设有限制)。

    图片来源:Hugging Face Blog
    关注点

    Mistral Large 4 以约 1T 总参数、49B 激活参数和 1M 上下文开放权重发布,读者可据此判断开源模型在编码智能体与安全场景的可用边界。

  1. Hugging Face Blog 精选AI 评分75

    Liquid AI 发布 LFM3 系列:2B 级统一骨干覆盖文本、视觉、音频、全模态与决策模型

    Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,六个 2B 级模型(文本、视觉、音频、全模态及两个决策模型)均从 LFM3-1.7B-Base 分支而来,全部开源权重并已在 Hugging Face 上线。

    LFM3-1.7B 采用三混合层结构(13 层门控短卷积、5 层 256 token 窗口滑动注意力、6 层全局注意力),在参数比 LFM2.5-2.6B 少 35% 的情况下超过后者,WebArena-Verified 得分 38.42 对 3.02;4-bit 精度下约 1 GB,上下文窗口 256K。

    关注点

    Liquid AI 用同一 2B 级骨干覆盖文本、视觉、音频、全模态与决策模型,并给出单卡微调与端侧部署路径,可据此判断小模型专用化路线的可行性。

  1. Hugging Face Blog 精选AI 评分75

    Hugging Face 接入 TorchTPU,Transformers 与 Diffusers 原生支持 TPU

    Hugging Face 宣布接入 TorchTPU 这一 PyTorch 原生 TPU 后端,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,不再需要 Optimum TPU 或 torch_xla。

    加载模型时传入 device_map="tpu" 即可,Diffusers 只需 pipe.to("tpu"),编译模式再加一次 compile 调用;超出单芯片显存的模型可通过 TensorParallelConfig 在加载时分片到多芯片。

    关注点

    Hugging Face 生态原生支持 TPU 后,PyTorch 用户不必再迁到 torch_xla 或 JAX,现有模型代码改一个设备参数即可运行。

  2. Hugging Face Blog 精选AI 评分62

    Hugging Face 推出 TorchNeuron,让模型在 AWS Trainium 上原生运行

    Hugging Face 发布 TorchNeuron,为 PyTorch 在 AWS Trainium 上提供原生后端,Transformers、Diffusers、Accelerate、PEFT 和 TRL 可直接把 Neuron 当作普通设备使用。

    该后端支持 eager 模式、torch.compile 以及 FSDP2、DTensor 等原生分布式接口,用户只需传入 device_map=neuron 即可把模型移到 Neuron 设备上。官方称,在 TorchNeuron 下,前 100 个最常用文本生成模型架构中有 89% 开箱即用,而 Optimum Neuron v0.4.5 为 46%。

    关注点

    Hugging Face 官方说明 Trainium 原生后端如何改变模型加载与训练方式,并给出可直接复用的代码示例。

  1. AWS Machine Learning Blog 精选AI 评分62

    Meta 的 Muse Spark Open 上线 Amazon SageMaker JumpStart

    Meta 的编码优化开源权重模型 Muse Spark Open 现已在 Amazon SageMaker JumpStart 上线,可在自己的 AWS 账户中部署到 SageMaker AI 端点,无需自行管理服务基础设施。

    该模型采用 MoE 架构,总参数 816B、每 token 激活 42B,支持 1M token 上下文窗口,输入可接受文本、图像、文档、音频和音视频,输出为文本,权重按 Muse Model License(含 Muse Spark Usage Policy)发布。

    关注点

    Meta 的编码优化开源模型首次接入 SageMaker JumpStart,文中给出两种量化变体与对应实例,可据此估算部署成本。

  1. Hugging Face Blog 精选AI 评分62

    Apertus 1.5 发布:8B/70B 模型新增图像音频理解与思考模式

    Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 模型基础上新增图像与音频理解、可选思考模式、4 倍长的上下文窗口,并改进指令遵循和工具调用能力,权重以 Apache 2.0 许可发布在 Hugging Face。

    模型采用早期融合方式,图像和音频以离散 token 与文本进入同一序列,图像用 Emu3.5 tokenizer 编码(512×512 图像为 1,024 token),音频用 WavTokenizer(每秒 40 token),架构不变,模型只输出文本。上下文窗口扩展到 262,144 token,8B 和 70B 分别增加 4 万亿和 2 万亿 token 训练数据,总量达 19T 和 17T。

    关注点

    Apertus 1.5 把 8B/70B 文本模型扩展为多模态并开放全部训练细节,可观察开源模型如何用 tokenizer 方案做多模态。

  1. Hugging Face Blog 精选AI 评分72

    Liquid AI 发布 LFM2.5-24B-A2B 端侧推理智能体模型

    Liquid AI 发布 LFM2.5-24B-A2B,这是一个 24B 总参数、每 token 仅 2B 激活参数的推理模型,面向端侧私有智能体,会先推理再作答并支持工具调用。

    关注点

    24B 总参数仅 2B 激活的推理模型,给出端侧速度与工具调用基准,可据此判断本地智能体的可行边界。

已经到底了