跳到正文

搜索“gpt-oss-20b”

找到 1 条 · 更新于 22:23
10月21日周三
  1. AWS Machine Learning BlogAI 评分36

    在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理

    在 Amazon SageMaker HyperPod 上,团队用 SFT 与 GRPO 微调开源推理模型 GPT-OSS-20B,使其按指定语言进行链式推理。

    该模型原本几乎只用英文思考:在 50 例多语言推理测试中,基础模型仅 22% 的样本用正确目标语言推理,其中英文 100%、法文 0%、德文 10%、西班牙文 0%、意大利文 0%。训练数据为 HuggingFaceH4/Multilingual-Thinking,约 949 条训练样本、50 条验证样本,覆盖英法德西意五种语言。结论是 SFT 承担主要工作,GRPO 在模型已有一定成功概率时带来可测量的增益;团队另用 Qwen2.5-7B 做对照实验验证这一判断。