跳到正文
原文
Hugging Face Blog·· 2023-06-07AI 评分42

Hugging Face Hub 集成 DuckDB:用 SQL 分析 5 万+数据集

DuckDB: analyze 50,000+ datasets stored on the Hugging Face Hub

AI 导读

Hugging Face Hub 新增 DuckDB 集成,用户可直接用 SQL 查询 Hub 上任意公开数据集。数据集查看器会自动将所有公开数据集转换为 Parquet 文件,通过 /parquet 端点获取 URL 后,配合 DuckDB 的 httpfs 扩展即可查询远程文件,大型数据集被分片为 500MB 块。

来源:Hugging Face Blog · huggingface.co