跳到正文
原文
Hugging Face Blog·· 2025-07-25AI 评分34

Hugging Face 用 Parquet 内容定义分块加速 Hub 上传下载

Parquet Content-Defined Chunking

AI 导读

PyArrow 和 Pandas 现已支持 Parquet 内容定义分块(CDC),配合 Hugging Face 的 Xet 存储层,可在重新上传、增删列、改列类型、追加行等场景下只传输变更的数据块,大幅降低传输与存储成本。

来源:Hugging Face Blog · huggingface.co