事件详情
热点事件历史事件
Deepgram将Nova-3迁移至Trainium2，每美元音频处理量提升11%–70%
1 篇报道1 个报道来源14 天前更新
先了解这件事
AI 综述
Deepgram与AWS FDE团队分享了将Nova-3语音转文字模型迁移到AWS Trainium2的推理优化实践。Deepgram称，在离线、以吞吐量为导向的批处理负载上，该方案每美元处理的音频量比其原有算力方案提升11%–70%，数据按评估时的实例价格计算。 迁移从标准PyTorch代码起步，经TorchNeuron编译后模型全部运算在Trainium2上执行、无CPU回退；团队又通过NKILib融合算子与手写NKI内核调优，FFN内核在batch size 96时延迟降低2.0倍，depthwise conv1d提速1.5倍，自研conv2d内核解锁了32以上的batch size。 Deepgram称，这些收益可延伸至在自有VPC中通过Amazon SageMaker AI自托管其模型的客户。
AI 根据报道生成 · 14 天前更新
最新进展10月20日 00:23
Deepgram 如何用 AWS Trainium 优化大规模语音 AI报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning BlogDeepgram 如何用 AWS Trainium 优化大规模语音 AI
Deepgram 将 Nova-3 语音转文字模型迁移到 AWS Trainium2，在离线批处理负载上每美元处理的音频量比原有算力方案提升 11%–70%。迁移从标准 PyTorch 代码起步，借助 TorchNeuron 编译后模型全部运算均在 Trainium2 上执行、无 CPU 回退，并通过 NKILib 融合算子与手写 NKI 内核继续调优：FFN 内核在 batch size 96 时延迟降低 2.0x，depthwise conv1d 提速 1.5x，自研 conv2d 内核解锁了 32 以上的 batch size。