跳到正文
热点事件历史事件

PyTorch 2.15 的 MPS 后端加入 FP8 并加速 LLM 解码

1 篇报道1 个报道来源14 天前更新

先了解这件事

AI 综述

Hugging Face 发文介绍 PyTorch 2.15 的 MPS 后端更新:新增 FP8 支持,并称 MoE 模型解码速度比 2.14 快 5–6.5 倍。 在 M3 Ultra 上配合 torch.compile,Qwen3.6-35B-A3B 从 9.4 tokens/s 提升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 提升到 123.6 tokens/s;稠密模型也受益于矩阵向量内核和约 8 倍加速的 softmax。 使用条件方面,MPS 现要求 macOS 15 或更高版本,PyTorch 2.15 要求 Python 3.11 或更高版本;logspace 尚不支持多元素整数或布尔输出。

AI 根据报道生成 · 13 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. Hugging Face Blog
    PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码

    PyTorch 2.15 在 MPS 后端加入 FP8 支持,并让 MoE 模型解码比 2.14 快 5–6.5 倍。在 M3 Ultra 上配合 torch.compile,Qwen3.6-35B-A3B 从 9.4 tokens/s 提升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 提升到 123.6 tokens/s;稠密模型也受益于矩阵向量内核和约 8 倍加速的 softmax。