Hugging Face Hub 正式支持 spaCy 模型
Hugging Face Hub 现已集成 spaCy，用户可通过一条命令上传任意 spaCy pipeline 包，自动生成模型卡和元数据。spaCy 官方组织已上线 60 多个来自 3.1 版本的 canonical 模型，Inference API 开箱支持 NER，并可通过 pip install 直接安装使用。
#开源生态
#开源生态
今日 1 条Hugging Face BlogAI 评分4040
Hugging Face BlogAI 评分3838 GPT-Neo 与 🤗 Accelerated Inference API 的 Few-Shot Learning 实践指南
Hugging Face 发布博客，介绍如何用 EleutherAI 的 GPT-Neo 配合 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测。
Hugging Face Blog精选AI 评分6060 Gradio 2.0 发布：一行代码加载并混用 Hugging Face 模型
Gradio 2.0 发布，可用一行代码为 Hugging Face 模型加载 GUI，默认调用 Hugging Face 托管的 Inference API，也可本地运行 transformers。该版本支持把多个模型并联对比或串联组合，例如用 3 行代码搭建翻译并摘要芬兰语新闻的应用，安装方式为 pip install gradio。
推荐理由：原文给出 Gradio 2.0 一行代码加载 Hugging Face 模型并串联、并联组合的方式，读者可据此判断搭建模型演示的成本变化。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Accelerate 库，让原始 PyTorch 训练脚本适配分布式与混合精度
Hugging Face 发布 Accelerate 库，面向希望完全掌控训练循环、又不愿编写分布式训练和混合精度样板代码的 PyTorch 用户。只需在标准训练脚本中加入约五行代码，即可在单机多卡、多节点、TPU 等分布式环境以及有无混合精度的情况下运行，并自动处理设备放置。
推荐理由：官方给出五处代码改动即可切换分布式与混合精度的具体做法，便于评估对现有 PyTorch 训练脚本的改造成本。
Hugging Face BlogAI 评分2828 用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 做摘要
Hugging Face 与 Amazon SageMaker 合作推出经优化的 🤗 Transformers 深度学习容器，并在 SageMaker Python SDK 中新增 HuggingFace estimator，一行代码即可启动训练。
Hugging Face BlogAI 评分3131 深入理解 BigBird 的块稀疏注意力机制
Hugging Face 发文详解 BigBird 的块稀疏注意力机制，该模型以块稀疏注意力替代 BERT 的完整注意力，可处理最长 4096 的序列，计算成本远低于 BERT，并已在长文档摘要、长上下文问答等任务上取得 SOTA。BigBird 的 RoBERTa 类模型现已上线 🤗Transformers，其注意力是对 BERT 完整注意力的近似，目标是在更长序列上更高效而非超越 BERT。
Hugging Face BlogAI 评分5252 Hugging Face 与 Amazon 达成战略合作，推出 SageMaker 深度学习容器
Hugging Face 宣布与 Amazon 建立战略合作，并以 AWS 作为其首选云服务商，双方推出 Hugging Face Deep Learning Containers（DLCs），让用户在 Amazon SageMaker 中训练 Transformer 模型。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 Wav2Vec2 实现英文 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 在任意英文 ASR 数据集上微调 Wav2Vec2 预训练检查点。教程以仅含 5 小时训练数据的 Timit 数据集为例，采用 CTC 微调 base 版检查点，并借助 jiwer 以 WER 指标评估模型。
Hugging Face BlogAI 评分3434 Hugging Face Transformers 与 Ray 集成：RAG 检索提速 2 倍
Hugging Face Transformers 的 RAG 模型集成 Ray 实现分布式文档检索，每次检索调用相比 torch.distributed 提速 2 倍，并改善了 RAG 分布式微调的可扩展性。
Hugging Face BlogAI 评分2222 Hugging Face Transformers 中的 TensorFlow 模型提速：BERT 等推理性能提升
Hugging Face 在 Transformers v4.2.0 中优化了 TensorFlow 版 BERT、RoBERTa、ELECTRA 和 MPNet，在 GPU V100、序列长度 128 下，BERT 推理速度比 Google 官方实现快约 10%，比 v4.1.1 快一倍。
Hugging Face Blog精选AI 评分6262 用 DeepSpeed 和 FairScale 的 ZeRO 训练更快、装下更大模型
Hugging Face 的 transformers v4.2.0 起通过 --sharded_ddp 和 --deepspeed 两个 Trainer 参数实验性支持 FairScale 与 DeepSpeed 的 ZeRO 功能。
推荐理由：作者用 t5-large 与 t5-3b 实测对比 FairScale 与 DeepSpeed 的显存与速度差异，并给出可直接复用的 Trainer 参数。
Hugging Face BlogAI 评分2828 如何用预训练语言模型检查点热启动编码器-解码器模型
Hugging Face 发布教程，介绍如何用 BERT、GPT2 等预训练检查点热启动编码器-解码器模型，从而跳过昂贵的预训练。基于 Rothe et al. (2020) 的方法，这类热启动模型在多个序列到序列任务上可达到 T5、Pegasus 等大型预训练模型的竞争力，训练成本仅为后者一小部分。教程包含理论、分析及基于 🤗Transformers 的完整代码示例。
Hugging Face BlogAI 评分2222 基于 Transformer 的编码器-解码器模型详解
Hugging Face 发布博客，详解基于 Transformer 的编码器-解码器架构如何建模序列到序列问题，并说明其在推理中的使用方式。文章将架构拆解为编码器与解码器两部分，结合大量图示建立理论与 🤗Transformers 实际推理用法的联系，并回顾神经编码器-解码器模型的历史。
Hugging Face BlogAI 评分5050 Hugging Face 发布 pytorch_block_sparse：让语言模型更小更快
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse，其 BlockSparseLinear 可直接替换 torch.nn.Linear，实现块稀疏矩阵运算。
OpenAI NewsAI 评分2222 OpenAI 联合举办 Procgen 与 MineRL 竞赛
OpenAI 宣布与 AIcrowd、卡内基梅隆大学和 DeepMind 联合举办两场 NeurIPS 2020 竞赛，分别基于 Procgen Benchmark 和 MineRL。
OpenAI News精选AI 评分6262 OpenAI 发布音乐生成神经网络 Jukebox
OpenAI 推出 Jukebox，一个能生成音乐（包括初级人声）的神经网络，以原始音频形式输出，覆盖多种曲风和艺术家风格。OpenAI 同时公开了模型权重和代码，并提供用于试听生成样本的工具。
推荐理由：OpenAI 公开 Jukebox 的模型权重与代码，读者可了解其生成原始音频音乐的能力边界。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 生成文本：不同解码方法详解
Hugging Face 发布教程，介绍用 transformers 库进行自回归语言生成的几种主要解码方法：贪心搜索、beam search 和采样。
推荐理由：系统梳理贪心、beam search 与采样等解码策略的差异，并给出 transformers 中可直接运行的参数配置。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 发布教程，演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数的语言模型 EsperBERTo，并在世界语上完成词性标注微调。
推荐理由：Hugging Face 官方给出从零训练语言模型的完整流程，读者可据此复现分词器训练与下游微调。
OpenAI News精选AI 评分7878 OpenAI 发布 GPT-2 1.5B 版本及模型权重
OpenAI 发布 GPT-2 分阶段发布的最后一个版本，即参数量 1.5B 的最大版本，并公开代码与模型权重，以便检测 GPT-2 模型的输出。OpenAI 表示，尽管自 8 月以来已有更大的语言模型发布，仍按原定分阶段发布计划推进，为社区提供一个完整分阶段发布流程的测试案例。
推荐理由：OpenAI 以分阶段发布收尾，公开 GPT-2 最大版本与权重，为后续强模型的负责任发布提供参照。
OpenAI NewsAI 评分2222 OpenAI Scholars 2019 申请开放
OpenAI 开放第二届 OpenAI Scholars 项目申请，面向代表性不足群体提供 6–10 个津贴与导师指导名额，入选者可全职学习深度学习 3 个月并开源一个项目。
OpenAI News精选AI 评分6262 OpenAI 发布可逆生成模型 Glow
OpenAI 发布可逆生成模型 Glow，采用可逆 1x1 卷积，在简化此前可逆生成模型架构的同时支持生成高分辨率图像和高效采样，并能发现可用于操控数据属性的特征。OpenAI 同时开放该模型的代码和一个在线可视化工具，供人们探索并在此基础上继续开发。
推荐理由：OpenAI 介绍可逆生成模型 Glow 的架构简化思路，并开放代码与可视化工具供复现探索。
OpenAI News精选AI 评分6060 OpenAI 发布 Gym Retro 完整版，游戏数量扩展至 1000 多款
OpenAI 发布强化学习游戏平台 Gym Retro 的完整版，公开游戏数量从约 70 款 Atari 游戏和 30 款 Sega 游戏扩展到覆盖多种模拟器的 1000 多款游戏。同时发布的还有用于向该平台添加新游戏的工具。
推荐理由：OpenAI 把强化学习游戏平台从约百款扩展到 1000 多款，并公开添加新游戏的工具，可据此判断其覆盖范围与可扩展性。
OpenAI NewsAI 评分2222 OpenAI Scholars：为 underrepresented 群体提供 6–10 份津贴与导师指导
OpenAI 启动 Scholars 项目，为来自 underrepresented 群体的个人提供 6–10 份津贴和导师指导，支持其全职学习深度学习 3 个月并开源一个项目。
OpenAI News精选AI 评分7575 OpenAI 发布强化学习算法 PPO
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），其表现与当时最先进方法相当或更好，同时实现和调参都更简单。PPO 因易用且性能良好，已成为 OpenAI 的默认强化学习算法。
推荐理由：OpenAI 发布 PPO 强化学习算法，读者可了解它为何成为 OpenAI 默认算法及相比已有方法的简化之处。
OpenAI News精选AI 评分6262 OpenAI 开源强化学习复现项目 Baselines，首批发布 DQN 及三个变体
OpenAI 开源内部项目 OpenAI Baselines，目标是以与已发表结果相当的性能复现强化学习算法。首批发布包含 DQN 及其三个变体，其余算法将在接下来几个月内陆续放出。
推荐理由：OpenAI 开源内部强化学习复现项目 Baselines，首批放出 DQN 及三个变体，可了解其复现思路与后续发布节奏。
OpenAI NewsAI 评分3232 OpenAI 支持 Distill 上线：一本专注机器学习成果传播的新期刊
OpenAI 宣布支持 Distill 上线，这是一本旨在出色传播机器学习成果（无论新成果还是已有成果）的新型期刊。
OpenAI News精选AI 评分7070 OpenAI 发布强化学习工具包 OpenAI Gym 公测版
OpenAI 发布 OpenAI Gym 公测版，这是一个用于开发和对比强化学习（RL）算法的工具包。它包含一套持续扩充的环境（从模拟机器人到 Atari 游戏），以及一个用于对比和复现结果的站点。
推荐理由：OpenAI 公开了强化学习算法开发与对比工具包的测试版，读者可了解其环境套件与结果复现入口。