Hugging Face 如何用内容定义分块提升存储效率

Hugging Face 的 Xet 团队采用内容定义分块（CDC）将文件拆分为可变大小的块，仅传输和存储修改过的块，从而提升存储与迭代效率。在 CORD-19 数据集基准测试中，Xet 后端将平均下载时间从 51 分钟降至 19 分钟，上传从 47 分钟降至 24 分钟，存储占用从 8.9 GB 降至 3.52 GB。