跳到正文

#推理

10月29日周四
  1. Hugging Face Blog 精选AI 评分82

    Mistral 发布 Mistral Large 4(Le Chonk)多模态 MoE 模型并在 Hugging Face 上线

    Mistral 发布多模态多语言 MoE 模型 Mistral Large 4(代号 Le Chonk),总参数约 1T、激活参数 49B,上下文窗口 1M tokens,输入支持文本和图像、输出为文本。

    模型提供 FP8 与 NVFP4 两个官方版本,另有 Unsloth 和 llama.cpp 团队制作的 GGUF 量化,采用 Mistral Ecosystem Open-Weight License(MIT 衍生协议,对模型即服务用途设有限制)。

    关注点

    Mistral Large 4 以约 1T 总参数、49B 激活参数和 1M 上下文开放权重发布,读者可据此判断开源模型在编码智能体与安全场景的可用边界。

10月21日周三
  1. AWS Machine Learning BlogAI 评分38

    i14 在 AWS Trainium2 上用原生 PyTorch 训练并服务 Laplace 3B 线性注意力模型

    i14 与 AWS 合作,通过 TorchNeuron Native 的原生 PyTorch 支持,将采用 Gated Linear Attention(GLA)的 Laplace 3B 线性注意力模型带到 AWS Trainium2,并保留了其 GLA 设计与 Muon 优化器。该模型每序列的循环状态固定为 29.5 MB,不随上下文长度增长,训练注意力从 O(T²) 降至 O(T)。在单台 trn2.48xlarge 实例上,Laplace 3B 训练速度约 120,000 tokens/s,并在 1,280 条并发序列下实现 11,544 output tokens/s 的服务吞吐。

10月20日周二
  1. AWS Machine Learning BlogAI 评分55

    AWS 在 vLLM 中实现双向 KV 传输,降低多轮智能体负载的 TTFT

    AWS 团队为 vLLM 加入双向 KV 传输,让 decode 节点在后续轮次把已算好的 KV 缓存回传给 prefill 节点,避免重复计算对话历史。

    在 Amazon EC2 P5en 实例、EFA 网络、1P1D 部署下,最长提示长度时 Qwen3-32B 的 TTFT 降低约 1.6 倍,zai-org/GLM-5-FP8 降低约 3.3 倍,结果随负载和配置变化。该功能由可配置的 KV 缓存保留 TTL(decoder_kv_blocks_ttl,默认 480 秒)和重算阈值(kv_recompute_threshold,默认 64 tokens)控制,并需要配合 KV-cache-aware 路由使用。

  2. AWS Machine Learning BlogAI 评分42

    vLLM 推出基于 push 的 KV 传输,提升分离式推理的 TTFT 与 TPOT

    vLLM 新增 push 模式的 NIXL connector,把 prefill 之后的传输协调与准备工作移出首 token 关键路径,从而降低 TTFT 并提升 TPOT。

    在基于 Amazon EC2 P5en 实例、通过 EFA 互联的 1P1D 部署上,Qwen3-32B 的测试显示 push 模式相比默认 pull 模式 TTFT 最高提升 3 倍,TPOT 最高改善 30%,具体结果取决于负载与配置。该功能先在搭载 EFA 的 AWS Trainium 集群上构建并验证,随后作为与加速器无关的特性贡献给 vLLM,上述数据来自 GPU 集群,表明收益可延续到 GPU。

  3. AWS Machine Learning BlogAI 评分34

    Deepgram 如何用 AWS Trainium 优化大规模语音 AI

    Deepgram 将 Nova-3 语音转文字模型迁移到 AWS Trainium2,在离线批处理负载上每美元处理的音频量比原有算力方案提升 11%–70%。

    迁移从标准 PyTorch 代码起步,借助 TorchNeuron 编译后模型全部运算均在 Trainium2 上执行、无 CPU 回退,并通过 NKILib 融合算子与手写 NKI 内核继续调优:FFN 内核在 batch size 96 时延迟降低 2.0x,depthwise conv1d 提速 1.5x,自研 conv2d 内核解锁了 32 以上的 batch size。

10月16日周五
  1. Hugging Face Blog 精选AI 评分85

    Reflection 开源 501B 模型 Beam,支持 1M 上下文与智能体编码

    美国新实验室 Reflection 在 Hugging Face 发布首个开源模型 Beam,采用 MoE 架构,总参数 501B、每 token 激活 23B,支持文本输入和 1M token 上下文窗口,以 Apache 2.0 许可开放,面向编码与智能体场景。

    模型共 52 层,每层 256 个专家、每 token 路由 8 个,提供 BF16、FP8 和 NVFP4 三种 checkpoint,BF16 版本约 1 TB。

    关注点

    Reflection 首个开源模型 Beam 给出 501B 参数、1M 上下文与完整部署配方,可据此评估自托管前沿模型的硬件门槛。

  2. Hugging Face Blog 精选AI 评分74

    IBM 发布 Granite Switch 4.1,单端点支持对话、决策与语音

    IBM 发布 Granite Switch 4.1,Granite-Switch-4.1-8B 和 -30B 在同一个托管端点上支持自然语言对话、通用与专用决策以及语音转文字。

    新版本加入通用决策 aLoRA、在安全决策任务上平均优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash 的 Guardian aLoRA,以及 OpenASR 排行榜上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC。

    关注点

    Granite Switch 4.1 把决策适配器与语音识别合入单一端点,读者可据此判断多任务模型在显存与部署上的取舍。

  3. Microsoft Research 精选AI 评分62

    微软研究院发布 Magnetar:基于标准哈希函数的通用零知识证明 zkVM

    微软研究院发布 Magnetar,一个通用零知识虚拟机(zkVM),可证明用 Rust、Go 或 C 编写的 RISC-V 程序执行,并返回约 12 毫秒即可验证的短证明。

    它在笔记本上每秒可证明 7.2 至 8.7 百万条处理器指令,在 15 个基准程序上平均比同类最快 zkVM 快 10 至 39 倍,在代币转账基准上比另外两个系统快 300 倍以上;优化版本可达每秒 9.5 至 12.8 百万周期。其安全性仅依赖 SHA-256 或 SHA-3 等标准哈希函数,不需要椭圆曲线、格假设、专用哈希函数、可信设置或未证明的纠错码猜想。该成果是微软研究院十余年零知识证明研究的延续,技术论文给出完整设计、安全分析与测量结果。

    关注点

    微软研究院公开 Magnetar 的 zkVM 设计与基准数据,读者可了解零知识证明在通用程序上的性能与安全取舍。

10月15日周四
  1. Hugging Face Blog 精选AI 评分62

    Apertus 1.5 发布:8B/70B 模型新增图像音频理解与思考模式

    Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 模型基础上新增图像与音频理解、可选思考模式、4 倍长的上下文窗口,并改进指令遵循和工具调用能力,权重以 Apache 2.0 许可发布在 Hugging Face。

    模型采用早期融合方式,图像和音频以离散 token 与文本进入同一序列,图像用 Emu3.5 tokenizer 编码(512×512 图像为 1,024 token),音频用 WavTokenizer(每秒 40 token),架构不变,模型只输出文本。上下文窗口扩展到 262,144 token,8B 和 70B 分别增加 4 万亿和 2 万亿 token 训练数据,总量达 19T 和 17T。

    关注点

    Apertus 1.5 把 8B/70B 文本模型扩展为多模态并开放全部训练细节,可观察开源模型如何用 tokenizer 方案做多模态。

  2. Google Research 精选AI 评分72

    Google 发布 Deep Review,用智能体审阅技术文档

    Google 公开发布 Deep Review,一个面向复杂文档的智能体审阅系统,可对论文、法律和财务文档做逻辑一致性、数学陈述与事实核查,并给出改进建议。

    系统采用文档分段、自适应算力分配、并行验证和全局综合四阶段流水线,由 Gemini 4 Argon 提供底层能力。

    关注点

    Google 公开了面向长技术文档的智能体审阅系统,并给出四阶段流水线与会议试点规模,可据此判断自动审阅在论文与法律文档中的可用边界。

10月14日周三
  1. Google DeepMind同新闻AI 评分87

    Google DeepMind 发布 Gemini 4 Argon,主打复杂工程与科研任务

    Google DeepMind 发布前沿模型 Gemini 4 Argon,今日起通过 API 在 AI Studio 和 Gemini 平台面向开发者与企业开放,Google AI Ultra 订阅者可在 Google Antigravity 使用,Ultra 和 Pro 订阅者可在 Gemini 应用和 Search 的 AI Mode 使用。

    同一新闻,精选展示《Google DeepMind 发布 Gemini 4 Argon 机器人模型》

  2. Google DeepMind 精选AI 评分87

    Google DeepMind 发布 Gemini 4 Argon 机器人模型

    Google DeepMind 发布 Gemini 4 Argon,主打物理理解、代码生成与视觉语义推理,在测试 3D 环境物理空间问题的 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。

    关注点

    官方给出 Argon 在 ERQA 的 87% 成绩与四类机器人工作流示例,读者可据此判断物理推理模型在机器人栈中的落点。

10月13日周二
10月7日周三
10月6日周二
  1. Mistral AI 精选AI 评分82

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数原生多模态模型

    Mistral 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、52B 激活参数的原生多模态模型,权重将于本月底开放。

    官方称其在编码、智能体工作流和多模态理解上表现突出,在 Artificial Analysis Cyber Index 上进入全球前五,在 Cybench 上解决 93% 的题目,并在 DeepSWE v1.1 上得分 61.7%。

    关注点

    官方给出 1 万亿参数、52B 激活的开放权重模型在编码、智能体与多模态上的具体基准,可对照现有开源模型判断其位置。

10月1日周四
  1. Google DeepMind 精选AI 评分82

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御者开放,后续再面向开发者、企业和消费者推出,起步定价为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入 token 享 95% 折扣。

    关注点

    官方给出 Gemini 4 Argon 的定价、1M 输出上限与多项基准成绩,可据此判断前沿模型在长周期工程与安全防御上的进展。

7月29日周三
  1. Berkeley AI Research 精选AI 评分62

    从 CUDA 到 MLX:K-Search 如何把数十年内核经验带到 Apple Silicon

    IBM Research 与 UC Berkeley Sky Lab 将演化式内核搜索框架 K-Search 扩展到 Apple 的 MLX,并加入结构化 CUDA 到 MLX 翻译层,让已有 CUDA 内核作为知识库适配 Apple Silicon。

    关注点

    读者可看到 CUDA 优化知识如何被结构化迁移到 Apple Silicon,以及翻译层对最终性能的具体贡献。

7月26日周日
  1. Berkeley AI ResearchAI 评分33

    ABBEL:通过信念状态监督让 LLM 高效完成长程交互

    伯克利 AI 研究团队提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,以解决递归摘要带来的性能损失。

    在协作编程基准 CollabBench 上,采用基于重构的信念评分后,ABBEL 将全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值上下文 token 长度也显著低于全上下文设置。

5月8日周五
4月20日周一
  1. Berkeley AI ResearchAI 评分42

    GRASP:面向世界模型的梯度规划器,让长时程规划更稳健

    伯克利 AI 研究团队提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、向状态迭代直接注入随机性以探索、并重塑梯度让动作获得清晰信号,同时避开高维视觉模型中脆弱的"状态-输入"梯度。

    该方法针对长时程规划中梯度爆炸/消失、非贪心结构导致的局部极小值以及高维隐空间失效模式等问题,使基于梯度的规划更加稳健。

3月13日周五