GPT-Neo 与 🤗 Accelerated Inference API 的 Few-Shot Learning 实践指南
Hugging Face 发布博客，介绍如何用 EleutherAI 的 GPT-Neo 配合 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测。
#教程/实践
#教程/实践
今日 5 条Hugging Face BlogAI 评分3838
Hugging Face BlogAI 评分3636 如何在 CPU 上扩展 BERT 推理（上）：Hugging Face 的硬件优化实践
Hugging Face 发布博客，介绍在 CPU 上扩展 BERT 推理的硬件优化方法，基于 AWS c5.metal 实例（Intel Xeon Platinum 8275，48 核/96 线程）测试，使用 transformers 4.5.0、PyTorch 1.8.1 与 TensorFlow 2.4.0。
Hugging Face BlogAI 评分2828 用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 做摘要
Hugging Face 与 Amazon SageMaker 合作推出经优化的 🤗 Transformers 深度学习容器，并在 SageMaker Python SDK 中新增 HuggingFace estimator，一行代码即可启动训练。
Hugging Face BlogAI 评分3131 深入理解 BigBird 的块稀疏注意力机制
Hugging Face 发文详解 BigBird 的块稀疏注意力机制，该模型以块稀疏注意力替代 BERT 的完整注意力，可处理最长 4096 的序列，计算成本远低于 BERT，并已在长文档摘要、长上下文问答等任务上取得 SOTA。BigBird 的 RoBERTa 类模型现已上线 🤗Transformers，其注意力是对 BERT 完整注意力的近似，目标是在更长序列上更高效而非超越 BERT。
Hugging Face BlogAI 评分2222 我的 Google Cloud 无服务器 transformers pipeline 部署之旅
社区成员 Maxence Dominici 在 Google Cloud 上部署了 transformers 情感分析 pipeline，用于自动判断 Discord 中客户评论的正负向。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 Wav2Vec2 实现英文 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 在任意英文 ASR 数据集上微调 Wav2Vec2 预训练检查点。教程以仅含 5 小时训练数据的 Timit 数据集为例，采用 CTC 微调 base 版检查点，并借助 jiwer 以 WER 指标评估模型。
Hugging Face BlogAI 评分2222 Hugging Face 工程师谈构建神经网络时的调试思路
Hugging Face 工程师分享构建和调试神经网络的思考流程，核心观点是先放下机器学习、专注理解数据，再像初学者一样从简单基线做起，并敢于拆解那些"5 行代码"模板。文中建议通过在小批量样本（如 16 条）上过拟合、观察是否达到 0 loss 来验证实现是否正确，并强调要建立合理的对比基线。
Hugging Face BlogAI 评分3434 Hugging Face Transformers 与 Ray 集成：RAG 检索提速 2 倍
Hugging Face Transformers 的 RAG 模型集成 Ray 实现分布式文档检索，每次检索调用相比 torch.distributed 提速 2 倍，并改善了 RAG 分布式微调的可扩展性。
Hugging Face BlogAI 评分5050 Hugging Face 在 PyTorch / XLA TPU 上训练 Transformer
Hugging Face 与 Facebook PyTorch、Google TPU 团队合作，让用户通过 PyTorch / XLA 在 Cloud TPU 上训练 Transformer，并保持与 Hugging Face Trainer 完全相同的接口。
Hugging Face BlogAI 评分2222 Hugging Face Transformers 中的 TensorFlow 模型提速：BERT 等推理性能提升
Hugging Face 在 Transformers v4.2.0 中优化了 TensorFlow 版 BERT、RoBERTa、ELECTRA 和 MPNet，在 GPU V100、序列长度 128 下，BERT 推理速度比 Google 官方实现快约 10%，比 v4.1.1 快一倍。
OpenAI NewsAI 评分3636 OpenAI 将 Kubernetes 集群扩展至 7,500 节点
OpenAI 将 Kubernetes 集群扩展至 7,500 节点，为 GPT-3、CLIP、DALL·E 等大模型提供可扩展基础设施，同时支持小规模快速迭代研究。
Hugging Face Blog精选AI 评分6262 用 DeepSpeed 和 FairScale 的 ZeRO 训练更快、装下更大模型
Hugging Face 的 transformers v4.2.0 起通过 --sharded_ddp 和 --deepspeed 两个 Trainer 参数实验性支持 FairScale 与 DeepSpeed 的 ZeRO 功能。
推荐理由：作者用 t5-large 与 t5-3b 实测对比 FairScale 与 DeepSpeed 的显存与速度差异，并给出可直接复用的 Trainer 参数。
Hugging Face BlogAI 评分4040 Hugging Face 如何为 API 客户将 Transformer 推理提速 100 倍
Hugging Face 通过组合 Transformers 与 Tokenizers 库的优化方法，为 Accelerated Inference API 客户实现了 100 倍推理提速。
Hugging Face BlogAI 评分2828 如何用预训练语言模型检查点热启动编码器-解码器模型
Hugging Face 发布教程，介绍如何用 BERT、GPT2 等预训练检查点热启动编码器-解码器模型，从而跳过昂贵的预训练。基于 Rothe et al. (2020) 的方法，这类热启动模型在多个序列到序列任务上可达到 T5、Pegasus 等大型预训练模型的竞争力，训练成本仅为后者一小部分。教程包含理论、分析及基于 🤗Transformers 的完整代码示例。
Hugging Face BlogAI 评分3434 将 fairseq wmt19 翻译系统移植到 transformers
Hugging Face 博客发布 Stas Bekman 的客座文章，记录将 fairseq wmt19 翻译系统移植到 transformers 的完整过程。作者选用 en-ru / ru-en 预训练模型进行移植，并创建了 configuration_fsmt.py、modeling_fsmt.py、tokenization_fsmt.py 及转换脚本等文件。
Hugging Face BlogAI 评分4040 Hugging Face Transformers 与 Ray Tune 集成实现超参数搜索
Hugging Face Transformers 在 3.1 版本中与 Ray Tune 集成，用户只需几行代码即可调用 HyperBand、Bayesian Optimization、Population-Based Training 等调参算法。
Hugging Face BlogAI 评分2222 基于 Transformer 的编码器-解码器模型详解
Hugging Face 发布博客，详解基于 Transformer 的编码器-解码器架构如何建模序列到序列问题，并说明其在推理中的使用方式。文章将架构拆解为编码器与解码器两部分，结合大量图示建立理论与 🤗Transformers 实际推理用法的联系，并回顾神经编码器-解码器模型的历史。
Hugging Face BlogAI 评分4040 Reformer 如何用不到 8GB 内存训练 50 万 token 长序列
Hugging Face 博客详解 Reformer 模型，它能在不到 8GB 内存下训练长度达 50 万 token 的序列，而 bert-base-uncased 仅支持 512 token。Reformer 通过局部自注意力、LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四项改造降低内存占用，并已集成进 Transformers 库。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 生成文本：不同解码方法详解
Hugging Face 发布教程，介绍用 transformers 库进行自回归语言生成的几种主要解码方法：贪心搜索、beam search 和采样。
推荐理由：系统梳理贪心、beam search 与采样等解码策略的差异，并给出 transformers 中可直接运行的参数配置。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 发布教程，演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数的语言模型 EsperBERTo，并在世界语上完成词性标注微调。
推荐理由：Hugging Face 官方给出从零训练语言模型的完整流程，读者可据此复现分词器训练与下游微调。
OpenAI NewsAI 评分1212 OpenAI 举办首届 Spinning Up 深度强化学习研讨会
OpenAI 于 2 月 2 日举办了首届 Spinning Up 研讨会，这是其新教育计划的一部分。
OpenAI NewsAI 评分5050 OpenAI 发布 Spinning Up in Deep RL 深度强化学习教育资源
OpenAI 发布深度强化学习教育资源 Spinning Up in Deep RL，旨在让任何人都能学习成为深度强化学习的熟练实践者。该资源包含清晰的 RL 代码示例、教学练习、文档和教程。
OpenAI NewsAI 评分3838 OpenAI 解析如何用对抗样本攻击机器学习模型
OpenAI 发文解释对抗样本——攻击者刻意设计、能让机器学习模型出错的输入，相当于机器的视觉错觉。文章展示了对抗样本在不同媒介上的表现，并讨论了为何防御这类攻击十分困难。
OpenAI NewsAI 评分1515 OpenAI 谈深度学习基础设施
OpenAI 认为深度学习是一门经验科学，团队基础设施的质量是进展的倍增器。如今的开源生态让任何人都能搭建出色的深度学习基础设施。