PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码
PyTorch 2.15 在 MPS 后端加入 FP8 支持,并让 MoE 模型解码比 2.14 快 5–6.5 倍。
在 M3 Ultra 上配合 torch.compile,Qwen3.6-35B-A3B 从 9.4 tokens/s 提升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 提升到 123.6 tokens/s;稠密模型也受益于矩阵向量内核和约 8 倍加速的 softmax。