AWS Machine Learning Blog· Mijanur Palash·· 3 小时前AI 评分36
在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
Fine-tuning GPT-OSS-20B for multilingual reasoning on Amazon SageMaker HyperPod
AI 导读
GPT-OSS-20B 在多语言推理测试中仅 22% 的样本用目标语言推理(英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%),团队在 Amazon SageMaker HyperPod 上用 LoRA 结合 SFT 与 GRPO 进行微调。结论是 SFT 承担主要工作,GRPO 在模型已有一定能力时带来可测量的提升,并另用 Qwen2.5-7B 做了对照实验。
来源:AWS Machine Learning Blog · aws.amazon.com