Hugging Face 发布二值与标量嵌入量化方法，检索提速最高 45 倍
Hugging Face 博客介绍嵌入量化方法，将 float32 嵌入转为二值或 int8，内存与磁盘占用分别缩小 32 倍和 4 倍。在 MTEB 检索的 15 个基准上，二值量化配合重排序可保留约 96% 的默认性能，检索速度平均提升 24.76 倍，int8 平均提升 3.66 倍。
推荐理由：Hugging Face 官方给出嵌入量化在检索速度、内存与成本上的实测对比，并附可复用脚本。
#RAG
#RAG
今日 0 条Hugging Face Blog精选AI 评分6262
Hugging Face BlogAI 评分3636 Hugging Face 用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 发布教程，展示如何用 Optimum Intel 与 fastRAG 在基于 Xeon 的 CPU 上加速嵌入模型并接入现有 RAG 流程。
Hugging Face BlogAI 评分5858 Hugging Face 为 TGI 和 Inference Endpoints 推出兼容 OpenAI 的 Messages API
Hugging Face 为 Text Generation Inference（TGI）和 Inference Endpoints 推出 Messages API，从 TGI 1.4.0 起提供与 OpenAI Chat Completion API 兼容的接口，可直接使用 OpenAI 客户端库或 LangChain、LlamaIndex 等第三方工具。
Hugging Face BlogAI 评分3838 用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 发布博客，介绍如何通过 Text Embeddings Inference（TEI）将开源嵌入模型部署到 Hugging Face Inference Endpoints，并支持大规模批量请求。
Hugging Face BlogAI 评分3838 Hugging Face 入门教程：如何使用 Embeddings 构建语义搜索
Hugging Face 发布 Embeddings 入门教程，演示如何用开源库 Sentence Transformers 和 Inference API 构建 FAQ 语义搜索。
OpenAI News精选AI 评分6262 OpenAI API 推出文本与代码 embeddings 端点
OpenAI 在 API 中新增 embeddings 端点，用于自然语言与代码任务，包括语义搜索、聚类、主题建模和分类。
推荐理由：OpenAI 在 API 中新增 embeddings 端点，读者可据此了解语义搜索与分类等任务的接入方式。
Hugging Face BlogAI 评分3434 Hugging Face Transformers 与 Ray 集成：RAG 检索提速 2 倍
Hugging Face Transformers 的 RAG 模型集成 Ray 实现分布式文档检索，每次检索调用相比 torch.distributed 提速 2 倍，并改善了 RAG 分布式微调的可扩展性。