Hugging Face Blog·· 2024-03-20精选AI 评分62
Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Cosmopedia: how to create large-scale synthetic data for pre-training Large Language Models
AI 导读
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件、250 亿 token，用于从零预训练大语言模型，目标是复现 Phi-1.5 的训练数据。
推荐理由
Hugging Face 公开了从提示词设计到去污染、训练评估的完整合成数据流水线，可迁移到自建预训练数据。
来源：Hugging Face Blog · huggingface.co