跳到正文
原文
Hugging Face Blog·· 2024-11-26AI 评分34

Hugging Face 重构 Hub 上传与下载架构

Rearchitecting Hugging Face Uploads and Downloads

AI 导读

Hugging Face 的 Xet 团队正在重新设计 Hub 的上传与下载架构,计划引入内容寻址存储(CAS)并构建自定义传输协议。新方案按字节级分析文件,上传时仅传输必要的新 chunk,并探索压缩 Safetensors 张量文件,有望将上传速度提升 10-25%。读取路径仍由 S3 存储、CloudFront 作为 CDN,CAS 节点将部署在 AWS 少数区域以平衡成本与延迟。

来源:Hugging Face Blog · huggingface.co