Hugging Face 将 Xet 存储上线 Hub，首批仓库迁移 4.5 TB
Hugging Face 宣布 Xet 存储正式上线 Hub，首批 Model 和 Dataset 仓库已从 LFS 迁移至 Xet，迁移总量 4.5 TB，约占 Hub 下载流量的 6%。
推荐理由：Hugging Face 官方复盘 Xet 存储首次迁移的工程细节，可了解大文件去重与传输优化的实际取舍。
#部署/工程
#部署/工程
今日 7 条Hugging Face Blog精选AI 评分6262
Hugging Face BlogAI 评分3636 如何在手机上通过 React Native 本地运行 LLM：Hugging Face 边缘推理指南
Hugging Face 发布教程，演示如何用 React Native 和 llama.rn（llama.cpp 的绑定）构建可在 Android 与 iOS 上离线运行 LLM 的聊天应用，模型从 Hugging Face hub 下载 GGUF 文件，全程本地推理保证隐私。
Mistral AI精选AI 评分7878 Mistral AI 发布文档理解 API Mistral OCR
Mistral AI 发布光学字符识别 API Mistral OCR，可接收图片和 PDF，按顺序交错提取文本与图像，并已作为 Le Chat 文档理解的默认模型。
推荐理由：官方给出 Mistral OCR 的定价、基准对比与自托管选项，可据此判断它在文档解析与 RAG 流程中的位置。
OpenAI NewsAI 评分2222 OpenAI 如何将工程周期加速 20%
OpenAI 帮助将工程周期加速 20%。
Hugging Face BlogAI 评分2828 用 Arize Phoenix 追踪与评估你的 Agent
Hugging Face 发布教程，演示如何用 Arize Phoenix 配合 OpenTelemetry 与 OpenInference 追踪和评估基于 smolagents 构建的 Agent。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 FastRTC：面向 Python 的实时通信库
Hugging Face 发布 FastRTC，一个面向 Python 的实时通信库，用于构建实时音频和视频 AI 应用。
推荐理由：FastRTC 把 WebRTC 实时音视频通信封装成 Python 库，读者可据此判断实时语音应用的搭建门槛变化。
Hugging Face BlogAI 评分4040 Hugging Face 推出 Remote VAE：用 Inference Endpoints 远程解码扩散模型潜空间
Hugging Face Diffusers 团队实验性推出 Remote VAE，将扩散模型的 VAE 解码过程委托给远程 Inference Endpoints，以缓解高分辨率图像和视频合成中解码器的显存占用问题。
Hugging Face BlogAI 评分3535 Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商，支持 DeepSeek-R1、Flux.1 等模型，并已集成 JS 和 Python 客户端 SDK。用户可在账户设置中配置自有 API key 直连提供商，或通过 HF 路由调用并按标准 API 费率计费，PRO 用户每月获 $2 推理额度。
Mistral AI精选AI 评分6060 Mistral 发布区域语言模型 Mistral Saba
Mistral AI 发布首款区域语言模型 Mistral Saba，24B 参数，基于中东和南亚数据集训练，支持阿拉伯语及多种印度语系语言，在泰米尔语等南印度语言上表现突出。官方称其回答比体量大 5 倍以上的模型更准确，速度更快、成本更低，可通过 API 调用，也能在客户本地单 GPU 系统部署，速度超过 150 tokens/s。
推荐理由：Mistral 首款区域语言模型，24B 参数却对标 5 倍体量模型，并支持单卡本地部署，可据此判断区域化模型的落地路径。
Hugging Face BlogAI 评分2222 Fireworks.ai 成为 HF Hub 支持的推理服务商
Hugging Face 宣布 Fireworks.ai 正式成为 HF Hub 支持的推理服务商，可在模型页面及整个 HF 生态中直接调用其无服务器推理。
Hugging Face BlogAI 评分5050 每天 10 亿次分类：如何用单卡 L4 把成本压到 253 美元
Hugging Face 博客给出每天 10 亿次分类与嵌入推理的成本测算框架，用 Infinity 部署、k6 压测，在 nvidia-L4（$0.8/hr）上跑 10 亿条输入。
Hugging Face Blog精选AI 评分6060 Hugging Face 用块与分片聚合加速 Hub 上传下载
Hugging Face 的 Xet 团队将内容定义分块（CDC）投入生产，通过把去重后的数据聚合为最大 64MB 的块、并用分片记录文件与块的映射，把 CAS 条目减少约 1000 倍，上传下载速度在部分场景提升 2-3 倍。
推荐理由：Hugging Face 官方解释 Xet 存储如何用块与分片聚合替代逐块传输，并给出量化模型仓库的实测节省数据。
OpenAI NewsAI 评分2222 OpenAI 在欧洲推出数据驻留功能
OpenAI 面向欧洲客户推出数据驻留功能，允许将数据存储在欧洲本地。该功能建立在 OpenAI 面向全球客户的企业级数据隐私、安全与合规体系之上。
Mistral AI精选AI 评分7878 Mistral AI 发布 24B 参数模型 Mistral Small 3，Apache 2.0 开源
Mistral AI 发布 Mistral Small 3，一个面向低延迟优化的 24B 参数模型，以 Apache 2.0 许可证开源，同时提供预训练和指令微调两个 checkpoint。
推荐理由：24B 参数在 Apache 2.0 下对标三倍体量模型，并给出单卡本地部署的量化条件，便于判断小模型落点。
Hugging Face BlogAI 评分4848 如何在 AWS 上部署和微调 DeepSeek 模型
Hugging Face 发布指南，介绍如何在 AWS 上部署和微调 DeepSeek-R1 系列模型。
Hugging Face Blog精选AI 评分6060 Hugging Face 在 Hub 上线 Inference Providers，接入 fal、Replicate、SambaNova、Together AI
Hugging Face 在 Hub 的模型页上线 Inference Providers，首批接入 fal、Replicate、SambaNova、Together AI 四家无服务器推理服务商，并集成到 JS 和 Python 客户端 SDK。
推荐理由：Hugging Face 把四家无服务器推理服务商接入模型页与 SDK，读者可据此了解调用方式与计费差异。
Hugging Face Blog精选AI 评分6060 Diffusers 团队梳理开源视频生成模型现状与优化方案
Hugging Face Diffusers 团队发布博客，梳理开源视频生成模型现状，并介绍 Diffusers 对 CogVideoX、Mochi-1、HunyuanVideo、LTX-Video 等模型的支持与优化方案。
推荐理由：梳理开源视频生成模型现状与 Diffusers 的显存优化路径，给出可复用的量化与卸载配置。
Hugging Face BlogAI 评分4242 用 KVPress 掌握 LLM 长上下文：NVIDIA 的 KV Cache 压缩工具包
NVIDIA 推出 Python 工具包 KVPress，通过一系列压缩算法降低长上下文 LLM 的 KV Cache 内存占用。以 Llama 3-70B 在 bfloat16 下处理 1M token 为例，KV Cache 需 327.6GB，占约 470GB 总内存的 70%。
Hugging Face BlogAI 评分2222 Hugging Face 与 FriendliAI 合作，在 Hub 上集成高性能推理部署
Hugging Face 与 FriendliAI 达成合作，将 FriendliAI 的推理基础设施集成进 Hugging Face Hub 的“Deploy this model”按钮，实现一键部署。
OpenAI NewsAI 评分5252 OpenAI 征集 Stargate 数据中心基础设施合作伙伴
OpenAI 发布 Stargate Infrastructure 合作征集，面向数据中心基础设施领域的企业寻求合作。征集范围覆盖电力、土地、建设、设备等环节，目标是推进其 AGI 基础设施愿景。
Hugging Face BlogAI 评分5757 Hugging Face 为 Text Generation Inference 引入多后端支持（TRT-LLM、vLLM）
Hugging Face 为 Text Generation Inference（TGI）引入多后端架构，通过 Rust 的 Backend 接口把 HTTP 服务与调度层同推理引擎解耦，让用户按模型、硬件和性能需求切换后端。
Hugging Face BlogAI 评分4545 Hugging Face 推出 TimmWrapper：在 transformers 中使用任意 timm 模型
Hugging Face 发布 TimmWrapper，让任意 timm 视觉模型可直接接入 transformers 生态，支持 pipeline API、Auto 类和 Trainer 微调。该工具可用约 5 行代码通过 BitsAndBytesConfig 完成 8bit 量化，并支持 torch.compile 加速推理与 LoRA 适配器微调，微调后的模型还能回到 timm 使用。
Mistral AI精选AI 评分6262 Mistral AI 发布 Codestral 25.01 编码模型
Mistral AI 发布 Codestral 25.01，采用更高效的架构和改进的 tokenizer，代码生成与补全速度约为原版 Codestral 的 2 倍，上下文长度提升至 256k。
推荐理由：官方给出 Codestral 25.01 的架构与 tokenizer 变化、256k 上下文和多项基准对比，可据此判断它在 FIM 与低延迟补全场景的位置。
Hugging Face Blog精选AI 评分6262 如何在 PyTorch 中可视化并理解 GPU 显存占用
Hugging Face 博客发布教程，介绍用 torch.cuda.memory._record_memory_history 记录并可视化 PyTorch 训练时的 GPU 显存占用。文章以 Qwen2.5-1.5B 为例拆解模型参数、优化器状态、激活值、梯度和优化器中间值各占多少显存，并给出总显存估算公式和激活值随参数量线性变化的启发式。作者还提供了一个显存估算小工具。
推荐理由：原文用可视化快照拆解训练各阶段显存占用，并给出可复用的显存估算公式与启发式。
Hugging Face BlogAI 评分3838 用 NVIDIA LogitsProcessorZoo 控制语言模型生成
NVIDIA 推出 LogitsProcessorZoo，一组模块化 logits 处理器，可控制序列长度、强制关键短语或引导多选题答案，并与 Hugging Face 的 generate 方法完全兼容。该库通过 pip install logits-processor-zoo 安装，示例基于 meta-llama/Llama-3.2-1B-Instruct 模型演示。
Hugging Face Blog精选AI 评分6060 IBM 等联合发布混合 Mamba2 模型 Bamba-9B
IBM、Princeton、CMU 和 UIUC 联合发布 Bamba-9B，一个在完全开放数据上训练的混合 Mamba2 模型，训练数据量 2.2T tokens。
推荐理由：Bamba-9B 用完全开放数据训练并给出 vLLM 实测吞吐与延迟数据，可对照同尺寸 Transformer 模型判断混合 Mamba2 架构的取舍。
Hugging Face BlogAI 评分2222 在 GCP 第五代 Xeon 上基准测试语言模型性能
Hugging Face 在 Google Cloud 的 N2（第三代 Xeon）与 C4（第五代 Xeon）实例上基准测试了文本嵌入和文本生成两类智能体 AI 负载。
Hugging Face BlogAI 评分2222 Hugging Face 模型上架 Amazon Bedrock Marketplace
Hugging Face 的 83 个开源模型现已通过 Amazon Bedrock Marketplace 提供给 AWS 客户，底层由 Amazon SageMaker JumpStart 托管端点。
Hugging Face BlogAI 评分2222 LLM 修复自身错误的能力如何？基于 Keras 和 TPU 的聊天机器人竞技场实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个聊天机器人竞技场，测试 LLM 能否根据用户的自然语言反馈修正自己生成的代码。实验在 TPU v5e 2x4 上同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型，共 7 个 LLM，以 bfloat16 格式运行，通过 Gradio 界面并行对话并随时切换模型。
Hugging Face BlogAI 评分2727 CFM 如何用 LLM 辅助标注微调小模型，NER 成本最高降低 80 倍
Capital Fund Management（CFM）借助 Hugging Face Inference Endpoints 与 Argilla，用 Llama 3.1 生成标注并经人工复核，再微调小模型完成金融新闻的命名实体识别。
Hugging Face BlogAI 评分3434 Hugging Face 重构 Hub 上传与下载架构
Hugging Face 的 Xet 团队正在重新设计 Hub 的上传与下载架构，计划引入内容寻址存储（CAS）并构建自定义传输协议。新方案按字节级分析文件，上传时仅传输必要的新 chunk，并探索压缩 Safetensors 张量文件，有望将上传速度提升 10-25%。读取路径仍由 S3 存储、CloudFront 作为 CDN，CAS 节点将部署在 AWS 少数区域以平衡成本与延迟。
Hugging Face BlogAI 评分3636 Hugging Face 详解 LayerSkip 自推测解码：用 transformers 加速文本生成
Hugging Face 博客介绍 LayerSkip 提出的自推测解码，用同一 LLM 的早期层生成 draft token、深层网络负责验证，无需额外小模型即可加速文本生成并降低显存占用。
Hugging Face BlogAI 评分4242 Hugging Face 如何用内容定义分块提升存储效率
Hugging Face 的 Xet 团队采用内容定义分块（CDC）将文件拆分为可变大小的块，仅传输和存储修改过的块，从而提升存储与迭代效率。在 CORD-19 数据集基准测试中，Xet 后端将平均下载时间从 51 分钟降至 19 分钟，上传从 47 分钟降至 24 分钟，存储占用从 8.9 GB 降至 3.52 GB。
Mistral AIAI 评分4040 Mistral AI 推出 Batch API，成本比同步调用低 50%
Mistral AI 在 La Plateforme 上线 Batch API，处理高并发请求的成本比同步 API 调用低 50%。该 API 面向批量数据处理场景，用户上传批处理文件后下载输出结果，适用于客户反馈与情感分析、文档批量摘要与翻译、向量嵌入建索引和数据标注。目前覆盖 La Plateforme 上全部模型，每个工作区限制 100 万个进行中请求，后续将登陆其云厂商合作伙伴。
Mistral AIAI 评分5757 Mistral AI 发布内容审核 API
Mistral AI 发布新的内容审核 API，即 Le Chat 中审核服务所用的同一套接口，现开放给用户按自身应用和安全标准定制。该模型是基于 LLM 的分类器，将文本输入分为 9 个类别，提供原始文本和对话内容两个端点，并针对对话场景分类最后一条消息。模型原生支持多语言，训练语料涵盖阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语。
Hugging Face BlogAI 评分4040 Hugging Face 集成 PyCharm：在 IDE 内直接调用模型与查看 Model Card
Hugging Face 与 PyCharm 完成集成，开发者可在 IDE 内右键选择 "Insert HF Model"，按 image-text-to-text 等任务筛选模型并直接插入示例代码，例如 microsoft/Phi-3.5-vision-instruct。
OpenAI NewsAI 评分2222 OpenAI 与 Decagon 如何交付高性能全自动客户支持
Decagon 与 OpenAI 合作，实现大规模、全自动的高性能客户支持。
Hugging Face Blog精选AI 评分6262 Intel Labs 与 Hugging Face 提出 Universal Assisted Generation：任意辅助模型加速解码
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation（UAG），让辅助生成不再要求目标模型与辅助模型共享同一 tokenizer，可跨模型家族配对，对任意 decoder 或 MoE 模型实现 1.5x-2.0x 推理加速。
推荐理由：Intel Labs 与 Hugging Face 提出跨 tokenizer 的辅助生成方法，读者可了解其 2-way tokenizer 翻译思路与实测加速幅度。
Hugging Face Blog精选AI 评分6060 Hugging Face 推出 HUGS 生成式 AI 服务，零配置部署开源模型
Hugging Face 发布 HUGS（Hugging Face Generative AI Services），一套零配置的优化推理微服务，用于在自有基础设施上部署开源模型。
推荐理由：HUGS 把开源模型的推理部署从数周压缩到分钟级，并给出兼容 OpenAI API 的落地路径与定价。
Hugging Face Blog精选AI 评分6262 dottxt 与 Hugging Face 发布 Outlines-core 0.1.0：用 Rust 重写结构化生成核心算法
dottxt 与 Hugging Face 合作发布 outlines-core 0.1.0，这是 outlines 结构化生成核心算法的 Rust 移植版，Python 绑定已同步上线。
推荐理由：原文给出 Rust 重写带来的索引编译提速与轻量化拆分，读者可据此判断结构化生成如何嵌入现有推理栈。