Hugging Face Blog·· 2023-08-02AI 评分32
Huggy Lingo：用机器学习改进 Hugging Face Hub 数据集的语言元数据
Huggy Lingo: Using Machine Learning to Improve Language Metadata on the Hugging Face Hub
AI 导读
Hugging Face 用 facebook/fasttext-language-identification 模型为 Hub 上缺少语言标注的数据集预测语言，该模型可识别 217 种语言，通过 dataset viewer API 取每个数据集 20 行文本进行预测，再由 librarian-bots 提交 PR 补充元数据。
来源：Hugging Face Blog · huggingface.co