Hugging Face 上线 torch-neuronx 模型支持查询 Space,可查模型能否在 AWS Trainium 上运行
Hugging Face 推出 torch-neuronx 模型支持 Space,用于查询 Hub 上的热门模型能否在 AWS Trainium 上未经修改直接运行,并提供可自行复现的脚本。
每条结果列出模型分片所用的 Trainium 核心数、含编译在内的实际运行耗时和峰值显存。用户可按 Trending 或 Downloads 视图检索指定模型,并选择 neuronx-cc 与 Transformers 版本;被有意跳过的模型会注明原因。目前仅测试 Transformers 的文本生成与图文转文本模型,且只覆盖能放进 4 台 Trainium2 设备(最多 16 核)的模型,PASS 不代表吞吐量或更长生成的表现。