Hugging Face 发布 TorchNeuron 原生后端
先了解这件事
Hugging Face 发布 TorchNeuron，为 PyTorch 在 AWS Trainium 上提供原生后端，使 Transformers、Diffusers、Accelerate、PEFT 和 TRL 可以直接把 Neuron 当作普通设备使用，用户传入 device_map=neuron 即可把模型移到 Neuron 设备上。该后端支持 eager 模式、torch.compile 以及 FSDP2、DTensor 等原生分布式接口。 Hugging Face 称，在 TorchNeuron 下，前 100 个最常用文本生成模型架构中有 89% 开箱即用，而 Optimum Neuron v0.4.5 为 46%。TorchNeuron 将于 2026 年 10 月 20 日起以公开测试版提供，可通过 pip install torch-neuronx 安装；Hugging Face 建议 Neuron 用户直接使用这些库，而不再经由 Optimum Neuron。 目前 Transformers 内置的异步权重加载在 Neuron 上不受支持，需通过 HF_DEACTIVATE_ASYNC_LOAD=1 关闭。
AI 根据报道生成 · 14 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hugging Face Blog 精选Hugging Face 推出 TorchNeuron，让模型在 AWS Trainium 上原生运行
Hugging Face 发布 TorchNeuron，为 PyTorch 在 AWS Trainium 上提供原生后端，Transformers、Diffusers、Accelerate、PEFT 和 TRL 可直接把 Neuron 当作普通设备使用。该后端支持 eager 模式、torch.compile 以及 FSDP2、DTensor 等原生分布式接口，用户只需传入 device_map=neuron 即可把模型移到 Neuron 设备上。官方称，在 TorchNeuron 下，前 100 个最常用文本生成模型架构中有 89% 开箱即用，而 Optimum Neuron v0.4.5 为 46%。