Hugging Face 宣布 TorchTPU 原生支持 TPU

Hugging Face 宣布接入 TorchTPU 这一 PyTorch 原生 TPU 后端，Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行，不再需要 Optimum TPU 或 torch_xla。加载模型时传入 device_map="tpu" 即可，Diffusers 只需 pipe.to("tpu")，编译模式再加一次 compile 调用；超出单芯片显存的模型可通过 TensorParallelConfig 在加载时分片到多芯片。 在 TPU VM 上安装只需一条命令 pip install torch-tpu --extra-index-url https://download.pytorch.org/whl/cpu，该索引提供 torch 的 CPU 构建。Hugging Face 称，在 TPU 上运行的测试中 96.5% 通过。

AI 根据报道生成 · 13 天前更新