Transformers 现已支持运行 llama.cpp 的 GGUF 量化模型
Hugging Face 为 transformers 加入 GGUF 支持，用户可从 Hub 选取量化检查点，通过 from_pretrained 传入 gguf_file 在本地生成，无需额外配置。
推荐理由：Hugging Face 官方给出在 transformers 中加载 GGUF 的具体方式与性能对比，读者可据此判断本地推理工作流是否值得迁移。
端侧 AI
全部主题跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
最新精选
第 1–20 条 · 共 23 条Hugging Face Blog精选AI 评分6262
Google DeepMind精选AI 评分7272 Google DeepMind 发布 SL2T 手语转文本模型，率先落地 Pixel 11 的 Gboard 与 Live Transcribe
Google DeepMind 发布大规模多语言手语转文本模型 SL2T，首次将手语 AI 带入消费级产品，在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语（ASL）转英文听写，后续将扩展更多设备与语言。
推荐理由：官方披露了 SL2T 的训练规模、隐私设计与基准成绩，可据此判断手语翻译进入消费级产品的可行边界。
Berkeley AI Research精选AI 评分6262 从 CUDA 到 MLX：K-Search 如何把数十年内核经验带到 Apple Silicon
Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX，新增结构化 CUDA-to-MLX 翻译层，让 CUDA 内核作为知识库被改写为 Apple Silicon 内核。
推荐理由：展示了把 CUDA 内核优化经验迁移到 Apple Silicon 的结构化翻译层，读者可了解跨硬件内核迁移的具体做法与实测差距。
Google Research精选AI 评分6262 Google 发布 SensorFM：面向可穿戴健康数据的通用基础模型
Google Research 发布 SensorFM，一个从无标注可穿戴数据中学习的大型传感器基础模型，预训练语料超过一万亿分钟多模态信号，来自 500 万名同意参与者、100 多个国家和 20 多款 Fitbit 与 Pixel Watch 设备。
推荐理由：Google 用一万亿分钟可穿戴数据预训练通用生理表征，并给出跨 35 项健康任务的泛化与标签效率证据。
Google Research精选AI 评分6262 Google 用冻结多 Token 预测加速 Pixel 上的 Gemini Nano 模型
Google Research 发布一种新架构，将多 Token 预测（MTP）头挂载到已冻结的 Gemini Nano v3 模型上，作为端侧推理的即插即用加速方案，已部署到 Pixel 9 和 10 系列。
推荐理由：Google 把 MTP 头挂到冻结的 Gemini Nano v3 上，读者可了解端侧推理在内存与能耗约束下的具体优化路径。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemma 4 12B：统一无编码器多模态模型
Google DeepMind 发布 Gemma 4 12B，一款面向笔记本的智能体多模态模型，采用无编码器统一架构，视觉和音频输入直接进入 LLM 主干。该模型在标准基准上性能接近 26B MoE 模型，内存占用不到其一半，可在 16GB VRAM 或统一内存的消费级笔记本上本地运行，并首次在中等规模模型中支持原生音频输入。
推荐理由：Gemma 4 12B 用无编码器架构把多模态能力压到 16GB 显存，读者可据此判断本地智能体的硬件门槛。
Google Research精选AI 评分6666 Google 研究用手机前摄实现被动心率监测
Google 在 Nature 发表研究，提出 PHRM 系统，利用手机前摄在面部解锁后拍摄 8 秒视频，通过深度学习在后台估算心率和静息心率。在自由生活研究中，PHRM 心率估算整体 MAPE 为 6.09%，静息心率相对 Fitbit Charge 6 的 MAE 为 4.39 bpm，并在所有肤色组别达到 MAPE 低于 10%。
推荐理由：Google 用手机前摄在解锁后被动测心率，并公开最大规模手机视频数据集与预训练模型，可看 rPPG 在真实场景的落地边界。
Hugging Face Blog精选AI 评分7171 H Company 发布 Holo3.1 计算机使用智能体模型家族
H Company 发布 Holo3.1 计算机使用智能体模型家族，基于 Qwen 系列，覆盖 0.8B、4B、9B 和 35B-A3B 四种尺寸，并首次提供 FP8、Q4 GGUF 和 NVFP4 量化权重用于本地推理。
推荐理由：原文给出 Holo3.1 在移动端、跨框架与量化本地部署上的具体提升，可据此判断计算机使用智能体的落地边界。
Hugging Face Blog精选AI 评分8888 Google DeepMind 发布 Gemma 4 多模态模型家族
Google DeepMind 的 Gemma 4 多模态模型家族已在 Hugging Face 上线，采用 Apache 2 许可，支持图像、文本和音频输入并生成文本。
推荐理由：Gemma 4 以 Apache 2 许可开放五个尺寸并覆盖音频与端侧部署，读者可据此判断开源多模态模型的可用边界。
Hugging Face Blog精选AI 评分6767 Transformers.js v4 发布：WebGPU 运行时用 C++ 重写，BERT 嵌入提速约 4 倍
Transformers.js v4 已在 NPM 发布，可通过 npm i @huggingface/transformers 安装。最大变化是采用完全用 C++ 重写的 WebGPU 运行时，与 ONNX Runtime 团队在约 200 个模型架构上测试，同一份代码可运行在浏览器、Node、Bun 和 Deno 等环境。
推荐理由：Transformers.js v4 换用 C++ 重写的 WebGPU 运行时，并给出 BERT 嵌入约 4 倍加速等具体数据，可据此判断浏览器端推理的性能变化。
Mistral AI精选AI 评分8282 Mistral 发布 Mistral 3 系列：Mistral Large 3 与 Ministral 3 全部开源
Mistral 发布 Mistral 3 系列，包含 Mistral Large 3 与 Ministral 3（3B、8B、14B），全部以 Apache 2.0 许可开源。
推荐理由：Mistral 3 同时给出 675B 稀疏 MoE 大模型与 3B 到 14B 端侧系列，并公开 Apache 2.0 权重与部署格式，读者可据此判断开源前沿模型与端侧路线的分工。
Google Research精选AI 评分7575 Google 发布端到端实时语音翻译模型，延迟降至 2 秒
Google Research 介绍一种端到端语音到语音翻译（S2ST）模型，可在保留原说话人音色的同时实现实时翻译，延迟仅 2 秒，而现有系统通常有 4–5 秒延迟且会累积误差。
推荐理由：Google 端到端语音翻译把延迟压到 2 秒并保留原说话人音色，读者可了解其数据管线与流式架构。
Hugging Face Blog精选AI 评分6060 Google 发布 EmbeddingGemma 多语言嵌入模型
Google 发布 EmbeddingGemma，一款面向端侧场景的多语言文本嵌入模型，参数量 308M，上下文窗口 2K，支持超过 100 种语言。该模型基于 Gemma3 骨干改为双向注意力，输出 768 维向量并支持 MRL 截断到 512、256 或 128 维，量化后内存占用低于 200MB。
推荐理由：原文给出 308M 参数、2K 上下文和量化后 200MB 内存等规格，读者可据此判断端侧 RAG 的落地边界。
Hugging Face Blog精选AI 评分7878 Gemma 3n 正式上线开源生态，支持多模态与端侧运行
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama 等主流开源库中可用，并发布 gemma-3n-E2B 与 gemma-3n-E4B 两个尺寸（各含 base 与 instruct 变体）。
推荐理由：原文给出 Gemma 3n 的端侧内存占用、多模态输入与各开源库接入方式，便于判断本地部署可行性。
Hugging Face Blog精选AI 评分6060 Falcon-H1 系列开源模型发布，0.5B 到 34B 采用注意力与 SSM 混合架构
Falcon-LLM 团队发布 Falcon-H1 系列六个开源模型，参数规模从 0.5B 到 34B，每个都提供 base 和 instruct 版本，采用 Apache 2.0 许可。
推荐理由：Falcon-H1 用混合注意力与 SSM 架构覆盖 0.5B 到 34B，读者可据此判断小模型在长上下文与端侧场景的取舍。
Hugging Face Blog精选AI 评分6767 LeRobot 与 Yaak 发布全球最大开源自动驾驶数据集 L2D
Hugging Face 的 LeRobot 团队与 Yaak 联合发布 L2D，号称全球最大的开源自动驾驶数据集，包含 90+ TB 多模态数据、5000+ 小时驾驶记录，来自德国 30 个城市的 60 辆驾校电动车。
推荐理由：L2D 以 90TB 多模态驾驶数据补齐端到端自动驾驶训练集缺口，并给出 LeRobot 接入方式与分阶段发布计划。
Mistral AI精选AI 评分7878 Mistral AI 发布 24B 参数模型 Mistral Small 3，Apache 2.0 开源
Mistral AI 发布 Mistral Small 3，一个面向低延迟优化的 24B 参数模型，以 Apache 2.0 许可证开源，同时提供预训练和指令微调两个 checkpoint。
推荐理由：24B 参数在 Apache 2.0 下对标三倍体量模型，并给出单卡本地部署的量化条件，便于判断小模型落点。
Mistral AI精选AI 评分6262 Mistral AI 发布 Codestral 25.01 编码模型
Mistral AI 发布 Codestral 25.01，采用更高效的架构和改进的 tokenizer，代码生成与补全速度约为原版 Codestral 的 2 倍，上下文长度提升至 256k。
推荐理由：官方给出 Codestral 25.01 的架构与 tokenizer 变化、256k 上下文和多项基准对比，可据此判断它在 FIM 与低延迟补全场景的位置。
Mistral AI精选AI 评分7171 Mistral 发布 Ministral 3B 与 8B 两款端侧模型
Mistral AI 在 Mistral 7B 发布一周年之际推出 Ministral 3B 和 Ministral 8B 两款面向端侧与本地推理的模型，称其在 10B 以下级别刷新了知识、常识、推理、函数调用和效率的表现。
推荐理由：Mistral 在 7B 发布一周年推出两款端侧小模型，给出定价、上下文长度与基准对比，可据此判断本地推理的选型空间。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Swift Transformers，在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers，一个用 Swift 实现类 transformers API 的包，专注文本生成，并同时放出 swift-chat 演示应用、更新版 exporters 与 transformers-to-coreml 转换工具，以及 Llama 2 7B、Falcon 7B 等已转换好的 Core ML 模型。
推荐理由：官方给出在 Apple 设备上跑 Llama 2 等模型的完整工具链与转换路径，可据此评估端侧部署的可行步骤。