跳到正文

#部署/工程

今日 6 条
10月11日周六
10月6日周一
10月2日周四
  1. Hugging Face Blog36

    用 Core ML 和 dots.ocr 实现 SOTA OCR

    Hugging Face 发布教程,介绍如何将小红书 3B 参数 OCR 模型 dots.ocr 转换到端侧运行,该模型在 OmniDocBench 上超过 Gemini 2.5 Pro。方案用 Core ML 跑 1.2B 的 NaViT 视觉编码器、用 MLX 跑 Qwen2.5-1.5B 语言主干,并称 Neural Engine 能效比 CPU 高 12 倍、比 GPU 高 4 倍。

10月1日周三
9月29日周一
9月25日周四
9月23日周二
9月22日周一
9月19日周五
9月17日周三
9月11日周四
9月4日周四
  1. Hugging Face Blog60

    Google 发布 EmbeddingGemma 多语言嵌入模型

    Google 发布 EmbeddingGemma,一款面向端侧场景的多语言文本嵌入模型,参数量 308M,上下文窗口 2K,支持超过 100 种语言。该模型基于 Gemma3 骨干改为双向注意力,输出 768 维向量并支持 MRL 截断到 512、256 或 128 维,量化后内存占用低于 200MB。

    推荐理由:原文给出 308M 参数、2K 上下文和量化后 200MB 内存等规格,读者可据此判断端侧 RAG 的落地边界。

9月2日周二
8月18日周一
8月13日周三
8月12日周二
8月8日周五
8月7日周四
8月5日周二
  1. OpenAI News85

    OpenAI 发布 gpt-oss-120b 与 gpt-oss-20b 开放权重模型

    OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 两款开放权重语言模型,采用 Apache 2.0 许可。官方称这两款模型在推理任务上优于同规模开放模型,具备较强的工具调用能力,并针对消费级硬件的高效部署做了优化。

    推荐理由:OpenAI 开源两款权重模型,给出参数量、许可与部署定位,便于判断本地推理的可用边界。

8月1日周五
7月31日周四
7月30日周三
  1. Mistral AI62

    Mistral 发布 Codestral 25.08 及企业级编码栈

    Mistral AI 发布 Codestral 25.08,并推出覆盖补全、语义检索与智能体工作流的企业级编码栈。官方称 Codestral 25.08 相比此前版本补全采纳率提升 30%、建议后保留代码增加 10%、失控生成减少 50%,chat 模式下指令遵循与代码能力各提升 5%。

    推荐理由:Mistral 官方给出编码栈各组件的能力数字与私有化部署路径,可据此判断企业自建编码助手的可行边界。

7月29日周二
7月25日周五
7月23日周三
  1. Hugging Face Blog62

    用 Diffusers 和 PEFT 加速 Flux 的 LoRA 推理

    Hugging Face 发布教程,介绍如何用 Diffusers 和 PEFT 优化 Flux.1-Dev 的 LoRA 推理速度。方案组合 Flash Attention 3、torch.compile 和 FP8 量化,并通过 hotswap 机制避免切换 LoRA 时触发重新编译,在 H100 上相比基线取得 2.23 倍加速。

    推荐理由:原文给出 Flux LoRA 推理的完整优化配方与实测数据,读者可据此在 H100 或 4090 上复现加速效果。

7月22日周二
  1. OpenAI News62

    OpenAI 与 Oracle 达成协议,为 Stargate 新增 4.5 GW 数据中心容量

    OpenAI 与 Oracle 达成协议,将在美国为 Stargate 开发 4.5 GW 的额外数据中心容量。OpenAI 称这笔投资将创造就业、加速美国再工业化,并推进美国在 AI 领域的领先地位,同时是 Stargate 这一 AI 基础设施平台的重要里程碑。

    推荐理由:OpenAI 与 Oracle 就 Stargate 新增 4.5 GW 数据中心容量达成协议,读者可据此了解其美国 AI 基础设施扩张规模。

  2. Hugging Face Blog60

    NVIDIA NIM 在 Hugging Face 上支持超 10 万个 LLM 部署

    NVIDIA 宣布通过 NIM 推理微服务在 Hugging Face 上解锁超过 10 万个 LLM 的快速部署。NIM 现在提供单个 Docker 容器,可部署 TensorRT-LLM、vLLM 和 SGLang 支持的多种 LLM,自动识别模型格式、架构与量化方式并选择推理后端,无需手动配置。

    推荐理由:NIM 用单个容器自动识别模型格式并选择推理后端,读者可据此判断多模型部署流程能简化到什么程度。

7月15日周二
  1. Hugging Face Blog62

    Hugging Face 将 Hub 存储从 Git LFS 迁移到 Xet

    Hugging Face 官方宣布 Hub 存储后端从 Git LFS 迁移到 Xet,已有 50 万个仓库、20 PB 数据完成迁移,超过 100 万用户在用。迁移依靠 Git LFS Bridge 和后台迁移流程实现无硬切换,旧版客户端仍可正常上传下载。从本月起 Xet 将向所有用户开放,现有仓库会自动迁移,新仓库默认启用 Xet。

    推荐理由:Hugging Face 官方复盘 Hub 从 Git LFS 迁移到 Xet 的工程细节,可了解大规模存储迁移如何做到对用户零打扰。

7月10日周四
  1. Hugging Face Blog48

    Hugging Face 详解异步机器人推理:解耦动作预测与执行,任务完成提速约 2 倍

    Hugging Face 发布博客详解异步机器人推理,将动作预测与动作执行解耦,让机器人在 PolicyServer 计算下一段动作时继续执行当前动作队列,从而消除推理等待。该方案在 SmolVLA 上实现约 2 倍任务完成提速,成功率相当,PolicyServer 与 RobotClient 通过 gRPC 通信,性能约为同类 REST API 的 5 倍。

7月9日周三
7月8日周二
  1. Hugging Face Blog36

    Hugging Face 详解高效多模态数据管道:从朴素填充到背包算法

    Hugging Face 以 nanoVLM 项目为例,分五个阶段构建高效多模态数据管道,解决 GPU 空转与填充浪费问题。朴素填充阶段约 60% 的 batch 被无用 padding token 占据,随后依次采用受限填充、背包算法打包,并推出支持贪心与 binpack 策略的 ConstantLengthDataset,按 token 与图像数量打包样本。