跳到正文
原文
Hugging Face Blog·· 2025-10-27精选AI 评分62

Hugging Face 改进 datasets 流式加载,请求量减少 100 倍

Streaming datasets: 100x More Efficient

AI 导读

Hugging Face 发布 datasets 库流式加载的性能改进,保持 streaming=True 的原有 API 不变,数据文件解析速度提升 10 倍、启动请求最多减少 100 倍、流式速度最多提升 2 倍。

推荐理由

Hugging Face 官方给出流式加载的性能改进细节与配置方式,读者可据此判断大规模训练的数据读取成本。

来源:Hugging Face Blog · huggingface.co