热点事件历史事件

AWS 优化 MoE 融合内核并合入 vLLM

1 篇报道1 个报道来源20 天前更新

先了解这件事

AI 综述

AWS 针对 MoE 模型解码阶段 token 批量过小、Hopper GPU 利用率低的问题，采用 Swap-AB 转置让专家维度 N=8192 占据 WGMMA 首个操作数位置。AWS 称该优化在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升。该优化已合入 vLLM，AWS 称 vLLM 0.24.0 及以上版本可用，同一来源另称 0.22.0 及以上版本可用；该改进也随 AWS Large Model Inference (LMI) v28 容器提供。

AI 根据报道生成 · 20 天前更新

最新进展10月13日 23:17

Amazon SageMaker AI 上的 MoE 内核工程优化实践

报道时间线

沿着报道，了解事件的不同侧面。

10月13日

23:17
AWS Machine Learning Blog
Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在解码阶段因 token 批量过小导致 Hopper GPU 利用率低的问题，AWS 通过 Swap-AB 转置让专家维度 N=8192 占据 WGMMA 首个操作数位置，在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升，该优化已合入 vLLM 0.24.0 及以上版本。