Hugging Face Blog·· 2025-02-12精选AI 评分60
Hugging Face 用块与分片聚合加速 Hub 上传下载
From Chunks to Blocks: Accelerating Uploads and Downloads on the Hub
AI 导读
Hugging Face 的 Xet 团队将内容定义分块（CDC）投入生产，通过把去重后的数据聚合为最大 64MB 的块、并用分片记录文件与块的映射，把 CAS 条目减少约 1000 倍，上传下载速度在部分场景提升 2-3 倍。
推荐理由
Hugging Face 官方解释 Xet 存储如何用块与分片聚合替代逐块传输，并给出量化模型仓库的实测节省数据。
来源：Hugging Face Blog · huggingface.co