把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation（UAG），让辅助生成不再要求目标模型与辅助模型共享同一 tokenizer，可跨模型家族配对，对任意 decoder 或 MoE 模型实现 1.5x-2.0x 推理加速。
推荐理由：Intel Labs 与 Hugging Face 提出跨 tokenizer 的辅助生成方法，读者可了解其 2-way tokenizer 翻译思路与实测加速幅度。
Hugging Face 发布 HUGS（Hugging Face Generative AI Services），一套零配置的优化推理微服务，用于在自有基础设施上部署开源模型。
推荐理由：HUGS 把开源模型的推理部署从数周压缩到分钟级，并给出兼容 OpenAI API 的落地路径与定价。
dottxt 与 Hugging Face 合作发布 outlines-core 0.1.0，这是 outlines 结构化生成核心算法的 Rust 移植版，Python 绑定已同步上线。
推荐理由：原文给出 Rust 重写带来的索引编译提速与轻量化拆分，读者可据此判断结构化生成如何嵌入现有推理栈。
Hugging Face 发布 Gradio 5 稳定版，开发者用几行 Python 即可构建生产级机器学习 Web 应用，可通过 pip install --upgrade gradio 升级。
推荐理由：官方列出 Gradio 5 在 SSR 加载、实时流式与安全审计上的具体改动，便于判断是否值得升级。
OpenAI 在 API 中推出结构化输出，模型输出现在可以可靠地遵循开发者提供的 JSON Schema。
推荐理由：OpenAI 在 API 中引入结构化输出，开发者可据此判断 JSON Schema 约束对下游解析流程的影响。
Hugging Face 发布教程，介绍如何借助 WWDC 24 的新 Core ML 特性在 Mac 上运行 Mistral 7B，并用不到 4GB 内存完成推理。
推荐理由：Hugging Face 团队给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤，可据此复现端侧 LLM 部署流程。
Hugging Face 为 TGI 推出 Multi-LoRA 服务，只需部署一次基础模型，即可根据请求中的 adapter_id 动态选择对应的 LoRA 适配器，官方称可服务 30 个模型。
推荐理由：原文给出 TGI Multi-LoRA 的部署方式与成本对比，读者可据此判断多微调模型能否合并到一次部署。
Google 发布开源大模型家族 Gemma，包含 2B 和 7B 两种尺寸，各有基础版和指令微调版，上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75，性能接近 Mistral 7B；Hugging Face 提供了 Transformers、Google Cloud、Inference Endpoints 集成以及基于 TRL 的微调示例。
推荐理由：Google 发布 Gemma 开源模型家族，读者可了解其两种尺寸、性能位次及在 Hugging Face 生态中的部署与微调路径。
Hugging Face 官方博客给出教程，把 ComfyUI 工作流转成 Gradio 应用并部署到 Spaces 的 ZeroGPU 上免费运行。
推荐理由：完整给出从 ComfyUI 工作流导出 Python、包成 Gradio 应用并部署到 ZeroGPU 的步骤，可照着复现。
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，同时保证输出与单独使用主模型完全一致。
推荐理由：给出 Whisper 投机解码的完整实现与基准数据，读者可据此在现有管线中获得约 2 倍加速且输出不变。
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可的稀疏混合专家（SMoE）开放权重模型，同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。
推荐理由：官方给出稀疏 MoE 的参数量与推理成本结构，可据此判断开放权重模型在成本与性能间的取舍。
Mistral AI 开放首个平台服务 La Plateforme 的 beta 访问，提供三个 chat 端点和一 个 embedding 端点，各有不同的性能与价格取舍。
推荐理由：Mistral 首次开放平台 API，给出三个 chat 端点与 embedding 端点的性能价格取舍，可据此判断其服务化路线。
Hugging Face 发布长文《Mixture of Experts Explained》，系统讲解 MoE 的构成、训练与推理取舍。文章指出 MoE 用稀疏层替换部分 FFN 层并配路由网络，预训练更快、推理比同参数量稠密模型更快，但需把全部专家载入显存，例如 Mixtral 8x7B 需容纳 47B 参数。
推荐理由：系统梳理 MoE 的构成、训练与推理取舍，并给出并行与部署的实践要点，适合理解稀疏模型为何省算力却吃显存。
Mistral 发布 Mixtral 8x7B，采用 MoE 架构，在多项基准上超过 Llama 2 70B 并追平 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由：Hugging Face 官方给出 Mixtral 在自家生态的完整接入方式，包括推理、量化与单卡微调的具体路径。
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐量和 1200 tokens/秒。
推荐理由：官方给出单行代码接入方式与首 token 延迟、吞吐量对比数据，可据此判断现有 LLaMA 推理流程的改造代价。
Hugging Face 与 AMD 公布合作进展，Transformers 模型现可在 AMD Instinct GPU 上无需修改代码直接运行，并已支持 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速与量化方案。
推荐理由：Hugging Face 与 AMD 公布 ROCm 适配进展，读者可了解在 AMD Instinct 上零改动运行 Transformers 的现状与性能对比。
Hugging Face 在 A100 40GB 上实测了 SDXL 的多项推理优化，未优化时显存占用 28GB、延迟 72.2 秒，使用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由：Hugging Face 官方给出 SDXL 各项推理优化的实测数据，读者可据此按显存和延迟取舍配置。
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用直接在浏览器中运行的 JavaScript 库，无需服务端基础设施。
推荐理由：Gradio 官方给出浏览器端无服务器运行方案，读者可据此判断部署成本与加载延迟的取舍。
Hugging Face 将 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法以 8、4、3 甚至 2-bit 精度量化和运行大语言模型，4-bit 量化精度损失可忽略，小批量下推理速度与 fp16 基线相当。
推荐理由：原文给出了 GPTQ 在 Transformers 中的集成方式与显存、延迟对比数据，读者可据此判断量化部署的可行边界。
Hugging Face 博客介绍如何借助 Core ML 的新压缩与优化能力，在 iPhone、iPad 和 Mac 上更快运行 Stable Diffusion。
推荐理由：文章给出 6-bit palettization 的量化原理与转换命令，读者可据此把 Stable Diffusion 部署到 iPhone 和 Mac 本地运行。