Hugging Face 在 🤗 Evaluate 中加入语言模型偏见评估指标
Hugging Face 为 🤗 Evaluate 库新增偏见指标与测量方法，用于评估 GPT-2、BLOOM 等因果语言模型的偏见。该工作流先用 🤗 Datasets 中的预设提示词引导模型生成文本，再用 🤗 Evaluate 的指标打分，示例覆盖 Toxicity、Polarity 和 Hurtfulness 三类任务，其中 toxicity 指标基于 R4 Target 仇恨检测模型。
全部AI 动态
全部动态
今日 4 条Hugging Face BlogAI 评分4040
Hugging Face BlogAI 评分3636 从 PyTorch DDP 到 Accelerate 再到 Trainer：轻松掌握分布式训练
Hugging Face 发布教程，演示如何通过三个递进抽象层级实现多 GPU 分布式训练：原生 PyTorch DDP（torch.distributed）、🤗 Accelerate 轻量封装，以及 🤗 Transformer 的 Trainer API。Accelerate 无需修改代码即可在单 GPU 和 TPU 上运行，Trainer 则抽象掉所有样板代码并支持多种设备和分布式场景。
Hugging Face Blog精选AI 评分6262 Hugging Face 教程：用 JAX / Flax 在 TPU 上运行 Stable Diffusion
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax，可在 Colab、Kaggle 或 Google Cloud Platform 的 TPU 上实现快速推理。
推荐理由：Hugging Face 官方给出在 TPU 上用 JAX/Flax 跑 Stable Diffusion 的完整流程，含并行与编译耗时数据。
Hugging Face Blog精选AI 评分6262 Hugging Face 复盘 BLOOM 推理优化：延迟降低 5 倍、吞吐提升 50 倍
Hugging Face 团队复盘了为 BLOOM（176B 参数，bf16 下 352GB）构建推理服务器的优化过程，最终实现延迟降低 5 倍、吞吐提升 50 倍。
推荐理由：Hugging Face 团队复盘 BLOOM 推理优化全过程，从 PP 到 TP、自定义 kernel 的取舍细节对部署大模型有参考价值。
Hugging Face Blog精选AI 评分6262 Accelerate 如何借助 PyTorch 运行超大模型
Hugging Face 介绍 Accelerate 如何借助 PyTorch 的 meta device、自动 device map 和分片 checkpoint，在显存和内存有限的设备上加载并推理超大模型。
推荐理由：原文拆解了 Accelerate 借助 PyTorch meta device 与分片加载在有限显存下跑大模型的完整流程，方法可直接迁移。
Hugging Face Blog精选AI 评分6262 用 DeepSpeed 和 Accelerate 实现极快的 BLOOM 推理
Hugging Face 发布教程，展示如何用 DeepSpeed 和 Accelerate 加速 176B 参数的 BLOOM 模型推理。
推荐理由：文章给出 BLOOM 176B 在多种并行与量化方案下的实测吞吐和显存占用，可作为大模型推理部署的选型参考。
Hugging Face BlogAI 评分2828 从零训练你的第一个 Decision Transformer
Hugging Face 发布教程，教你用 transformers 库的 Trainer 和自定义 Data Collator，在 Google Colab 上从零训练一个离线 Decision Transformer，让 HalfCheetah 学会奔跑。
Hugging Face BlogAI 评分3636 如何用 Megatron-LM 训练语言模型
Hugging Face 发布教程，讲解如何在 NVIDIA GPU 上用 Megatron-LM 训练 GPT2 语言模型，并转换到 Transformers 使用。
Hugging Face BlogAI 评分2222 如何在 Hugging Face Spaces 上用 3Dmol.js 可视化蛋白质
Hugging Face Spaces 可通过 3Dmol.js 与 Gradio 的 HTML 组件在浏览器中可视化蛋白质结构，用户输入 4 位 PDB 代码或上传 PDB 文件即可查看。
Hugging Face Blog精选AI 评分7878 如何用 Diffusers 运行 Stable Diffusion
Hugging Face 发布教程，介绍如何用 Diffusers 库运行 Stable Diffusion 文生图模型。文中给出安装 diffusers==0.10.2 与加载 StableDiffusionPipeline 的代码，并说明 guidance_scale、num_inference_steps 等参数对生成结果的影响。
推荐理由：Hugging Face 官方给出 Stable Diffusion 在 Diffusers 中的完整用法与原理拆解，可据此理解潜空间扩散的组件分工。
Hugging Face BlogAI 评分3030 用 Hugging Face Transformers 和 Habana Gaudi 预训练 BERT
Hugging Face 发布教程，演示如何在 AWS DL1 实例上借助 Habana Gaudi 从零预训练 BERT-base，使用 Transformers、Optimum Habana 和 Datasets 库完成掩码语言建模任务。
Hugging Face BlogAI 评分2222 在 Vertex AI 上部署 🤗 ViT
Hugging Face 展示了如何将 🤗 Transformers 中的 ViT B/16 模型部署到 Google Cloud 的 Vertex AI 平台，用比 Kubernetes 方案更少的代码实现同等扩展能力。
Hugging Face BlogAI 评分2222 Hugging Face Optimum Graphcore 深度解析：在 IPU 上微调 Vision Transformer
Hugging Face 发布教程，演示如何用 Optimum Graphcore 库在 Graphcore IPU 上微调预训练的 ViT 模型，并以 ChestX-ray14 数据集为例提供完整 notebook。
Hugging Face BlogAI 评分2222 Hugging Face 的 TensorFlow 哲学
Hugging Face 阐述了其 transformers 库在 TensorFlow 上的设计哲学：所有 TensorFlow 模型都是 Keras Model 对象，所有层都是 Keras Layer 对象，用户可直接调用 fit()、compile() 和 predict()。库通过 TFAutoModel 等类一行代码加载预训练模型，并强调应保留 Keras 高层 API 而非绕开它。
Hugging Face BlogAI 评分2222 用 TF Serving 在 Kubernetes 上部署 🤗 ViT
Hugging Face 发布教程，讲解如何用 Docker 和 Kubernetes 将上一篇文章中的 Vision Transformer（ViT）本地部署扩展为可服务多用户的集群部署。方案以 TensorFlow Serving 基础镜像容器化 SavedModel，并通过 Google Kubernetes Engine（GKE）管理集群，代码已在配套仓库开源。
Hugging Face BlogAI 评分2020 Hugging Face 教程：训练与微调 Sentence Transformers 模型
Hugging Face 发布教程，讲解如何从零构建或从 Hub 微调 Sentence Transformers 模型，架构为预训练 Transformer（如 distilroberta-base）加池化层。
Hugging Face BlogAI 评分2222 Hugging Face 深度强化学习课程：PPO（Proximal Policy Optimization）详解与 PyTorch 实现
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization（PPO），通过将新旧策略的概率比裁剪在 [1−ϵ, 1+ϵ] 区间内，避免策略更新过大，从而提升训练稳定性。文中用 PyTorch 从零实现 PPO，并在 CartPole-v1 和 LunarLander-v2 上验证。
Hugging Face BlogAI 评分2222 Nyströmformer：用 Nyström 方法以线性时间与内存近似自注意力
Nyströmformer 通过 Nyström 方法近似标准自注意力，将时间和内存复杂度从 O(n²) 降至 O(n)。它不直接对 softmax 矩阵采样，而是从 query 和 key 中选取 landmark，用分段均值构造 Q̃、K̃，并据此构建三个矩阵完成近似。实验显示仅选 32 或 64 个 landmark 即可在 n=4096 或 8192 的长序列上取得有竞争力的性能。
Hugging Face BlogAI 评分4040 Hugging Face：用 TensorFlow 和 XLA 加速文本生成，最高快 100 倍
Hugging Face 的 transformers 库在 TensorFlow 下现可通过 XLA 编译文本生成，速度最高提升 100 倍，甚至快于 PyTorch。该功能需 transformers >= 4.21.0，支持采样、贪心解码、Beam Search 及 temperature、max_new_tokens 等参数控制。
Hugging Face BlogAI 评分2222 用 TF Serving 在 Hugging Face 部署 TensorFlow 视觉模型
Hugging Face 与外部贡献者已在 Transformers 中加入多种 TensorFlow 视觉模型，包括 Vision Transformer、Masked Autoencoders、RegNet、ConvNeXt。
Hugging Face BlogAI 评分1717 Hugging Face 深度强化学习课程：Advantage Actor Critic (A2C)
Hugging Face 深度强化学习课程第 7 单元讲解 Advantage Actor Critic（A2C），一种结合策略与价值方法的混合架构，通过 Actor 控制行为、Critic 评估动作好坏来降低 Reinforce 的方差、稳定训练。课程使用 Stable-Baselines3 在 PyBullet 机器人环境中训练双足步行者和蜘蛛两个智能体行走。
Hugging Face BlogAI 评分2626 如何用对抗数据动态训练你的模型
Hugging Face 博客介绍动态对抗数据收集（DADC）：让用户用千奇百怪的手写数字骗过模型，再把骗成功的样本存下来继续训练，循环多轮以提升鲁棒性。教程以 MNIST 手写数字识别为例，用 🤗 Spaces 搭建交互 demo，模型训练 20 个 epoch 后在测试集上达到 89% 准确率，并通过 flag 机制收集对抗样本。
Hugging Face BlogAI 评分4848 BLOOM 训练背后的技术：176B 参数模型如何用 Megatron-DeepSpeed 完成训练
Hugging Face 披露了 176B 参数多语言模型 BLOOM 的训练技术细节，该模型基于 GPT3 架构，使用 Megatron-DeepSpeed 框架在 384 张 80GB A100 GPU 上训练，耗时约 3.5 个月。训练数据为 59 种语言、350B token，模型词表大小 250,680，采用 3D 并行（数据、张量、流水线并行）方案。
Hugging Face BlogAI 评分2222 如何用 Sentence Transformers 构建歌单生成器
作者用 Sentence Transformers 和 Gradio Blocks 搭建了一个歌单生成器，将歌词按段落切分后生成嵌入向量，再对文本提示词做语义搜索来匹配歌曲。
Hugging Face BlogAI 评分2828 Hugging Face 指南：如何在 Twitter 上进行情感分析
Hugging Face 发布 Twitter 情感分析入门指南，面向开发者和非开发者分别给出方案。开发者可用 Tweepy 抓取推文、通过 Inference API 几行代码完成情感分类，并用 Matplotlib 和 WordCloud 可视化结果；非开发者则可借助无代码工具 Zapier 抓取推文、调用 Inference API 分析并将结果发送至 Google Sheets。
Hugging Face BlogAI 评分2222 Hugging Face 深度强化学习课程：用 PyTorch 实现 Policy Gradient
Hugging Face 深度强化学习课程第 5 单元讲解 Policy-Based 方法中的 Policy Gradient，并从头用 PyTorch 实现首个策略梯度算法 Reinforce。
Hugging Face BlogAI 评分2222 如何用 Sentence Transformers 开启你的第一个机器学习项目
Hugging Face 发文介绍如何以 Sentence Transformers（ST）为例从零上手一个新 ML 库并完成首个自驱项目。ST 可将句子、段落和图像转为嵌入向量，并用 util.cos_sim 计算余弦相似度，支持语义搜索、聚类和模型蒸馏等。该库在 GitHub 已获近 8,000 stars，超过 3,000 个项目和包依赖它。
Hugging Face BlogAI 评分4848 如何用 Accelerate 结合 DeepSpeed 加速大模型训练
Hugging Face 展示了用 Accelerate 库调用 DeepSpeed ZeRO 加速大模型训练的方法，无需改动代码即可启用 ZeRO Stage-2。
Hugging Face BlogAI 评分3838 Hugging Face 入门教程：如何使用 Embeddings 构建语义搜索
Hugging Face 发布 Embeddings 入门教程，演示如何用开源库 Sentence Transformers 和 Inference API 构建 FAQ 语义搜索。
Hugging Face BlogAI 评分3030 如何用 Hugging Face Optimum 将 Transformers 模型转换为 ONNX
Hugging Face 介绍了将 Transformers 模型转为 ONNX 的三种方式：底层 torch.onnx、中层 transformers.onnx 和 Optimum 高层 API。
OpenAI NewsAI 评分4040 训练大型神经网络的技术
大型神经网络是近期许多 AI 进展的核心，但训练它们是一项困难的工程与研究挑战，需要编排一组 GPU 集群来完成单次同步计算。
Hugging Face BlogAI 评分2222 Hugging Face 深度强化学习课程：用 Deep Q-Learning 玩 Space Invaders
Hugging Face 深度强化学习课程第三单元讲解 Deep Q-Learning：不再维护 Q-table，而是用神经网络根据状态逼近每个动作的 Q 值，并训练智能体玩 Space Invaders 等 Atari 环境。输入为 4 帧堆叠、缩放至 84x84 的灰度画面，经三层卷积和全连接层输出各动作 Q 值，训练借助基于 Stable-Baselines 的 RL-Zoo 完成。
Hugging Face Blog精选AI 评分6262 图解扩散模型：用 PyTorch 逐步实现 DDPM
Hugging Face 博客发布《The Annotated Diffusion Model》，基于 Ho 等人 2020 年的 DDPM 论文，用 PyTorch 逐步实现去噪扩散概率模型，代码参考 Phil Wang 的实现。
推荐理由：从 DDPM 论文出发逐步用 PyTorch 复现扩散模型，并梳理后续关键改进方向，适合想理解扩散模型原理的读者。
OpenAI NewsAI 评分3838 Cohere、OpenAI 与 AI21 Labs 发布大语言模型部署最佳实践
Cohere、OpenAI 和 AI21 Labs 共同制定了一套初步的大语言模型最佳实践，适用于任何开发或部署大语言模型的组织。
Hugging Face BlogAI 评分1717 Hugging Face 深度强化学习课程：Q-Learning 入门（下）
Hugging Face 深度强化学习课程第二单元第二部分讲解 Q-Learning 算法，并从头实现首个 RL 智能体，在 Frozen Lake v1 和自动驾驶出租车两个环境中训练。
Hugging Face BlogAI 评分1212 Hugging Face 深度强化学习课程：Q-Learning 入门（第一部分）
Hugging Face 深度强化学习课程更新第二单元第一部分，讲解基于价值的方法，并区分蒙特卡洛与时序差分学习。内容涵盖状态价值函数、动作价值函数与贝尔曼方程，为下一部分实现首个 Q-Learning 智能体做铺垫。
Hugging Face BlogAI 评分2222 Hugging Face 深度强化学习课程第一单元：深度强化学习入门
Hugging Face 推出免费深度强化学习课程，第一单元讲解深度强化学习基础，涵盖 RL 框架、马尔可夫性质、观测/状态空间、动作空间、奖励与折扣、探索/利用权衡，以及基于策略和基于价值两类方法。
Hugging Face BlogAI 评分3636 用 PyTorch FullyShardedDataParallel 加速大模型训练：Accelerate 无需改代码即可启用 FSDP
Hugging Face 介绍如何用 Accelerate 库无需改动代码即可启用 PyTorch FullyShardedDataParallel（FSDP）训练大模型。
Hugging Face BlogAI 评分2222 用 Kili 与 HuggingFace AutoTrain 构建意见分类流水线
HuggingFace AutoTrain 与数据标注平台 Kili 可组合成一套主动学习流水线，用于文本分类：在 Kili 中标注数据、用 AutoTrain 自动完成数据清洗、模型选择与超参数优化，再迭代重训模型。
Hugging Face BlogAI 评分2222 如何在 Habana Gaudi 上快速上手 Transformers 微调
Hugging Face 与 Habana Labs 合作，在 Amazon EC2 DL1 实例的 Habana Gaudi 加速器上微调 BERT 模型，Gaudi 相比最新 GPU 版 EC2 实例训练性价比最高提升 40%。