Hugging Face Transformers 与 Ray 集成：RAG 检索提速 2 倍
Hugging Face Transformers 的 RAG 模型集成 Ray 实现分布式文档检索，每次检索调用相比 torch.distributed 提速 2 倍，并改善了 RAG 分布式微调的可扩展性。
#开源生态
#开源生态
今日 0 条Hugging Face BlogAI 评分3434
Hugging Face BlogAI 评分2222 Hugging Face Transformers 中的 TensorFlow 模型提速：BERT 等推理性能提升
Hugging Face 在 Transformers v4.2.0 中优化了 TensorFlow 版 BERT、RoBERTa、ELECTRA 和 MPNet，在 GPU V100、序列长度 128 下，BERT 推理速度比 Google 官方实现快约 10%，比 v4.1.1 快一倍。
Hugging Face Blog精选AI 评分6262 用 DeepSpeed 和 FairScale 的 ZeRO 训练更快、装下更大模型
Hugging Face 的 transformers v4.2.0 起通过 --sharded_ddp 和 --deepspeed 两个 Trainer 参数实验性支持 FairScale 与 DeepSpeed 的 ZeRO 功能。
推荐理由：作者用 t5-large 与 t5-3b 实测对比 FairScale 与 DeepSpeed 的显存与速度差异，并给出可直接复用的 Trainer 参数。
Hugging Face BlogAI 评分2828 如何用预训练语言模型检查点热启动编码器-解码器模型
Hugging Face 发布教程，介绍如何用 BERT、GPT2 等预训练检查点热启动编码器-解码器模型，从而跳过昂贵的预训练。基于 Rothe et al. (2020) 的方法，这类热启动模型在多个序列到序列任务上可达到 T5、Pegasus 等大型预训练模型的竞争力，训练成本仅为后者一小部分。教程包含理论、分析及基于 🤗Transformers 的完整代码示例。
Hugging Face BlogAI 评分2222 基于 Transformer 的编码器-解码器模型详解
Hugging Face 发布博客，详解基于 Transformer 的编码器-解码器架构如何建模序列到序列问题，并说明其在推理中的使用方式。文章将架构拆解为编码器与解码器两部分，结合大量图示建立理论与 🤗Transformers 实际推理用法的联系，并回顾神经编码器-解码器模型的历史。
Hugging Face BlogAI 评分5050 Hugging Face 发布 pytorch_block_sparse：让语言模型更小更快
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse，其 BlockSparseLinear 可直接替换 torch.nn.Linear，实现块稀疏矩阵运算。
OpenAI NewsAI 评分2222 OpenAI 联合举办 Procgen 与 MineRL 竞赛
OpenAI 宣布与 AIcrowd、卡内基梅隆大学和 DeepMind 联合举办两场 NeurIPS 2020 竞赛，分别基于 Procgen Benchmark 和 MineRL。
OpenAI News精选AI 评分6262 OpenAI 发布音乐生成神经网络 Jukebox
OpenAI 推出 Jukebox，一个能生成音乐（包括初级人声）的神经网络，以原始音频形式输出，覆盖多种曲风和艺术家风格。OpenAI 同时公开了模型权重和代码，并提供用于试听生成样本的工具。
推荐理由：OpenAI 公开 Jukebox 的模型权重与代码，读者可了解其生成原始音频音乐的能力边界。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 生成文本：不同解码方法详解
Hugging Face 发布教程，介绍用 transformers 库进行自回归语言生成的几种主要解码方法：贪心搜索、beam search 和采样。
推荐理由：系统梳理贪心、beam search 与采样等解码策略的差异，并给出 transformers 中可直接运行的参数配置。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 发布教程，演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数的语言模型 EsperBERTo，并在世界语上完成词性标注微调。
推荐理由：Hugging Face 官方给出从零训练语言模型的完整流程，读者可据此复现分词器训练与下游微调。
OpenAI News精选AI 评分7878 OpenAI 发布 GPT-2 1.5B 版本及模型权重
OpenAI 发布 GPT-2 分阶段发布的最后一个版本，即参数量 1.5B 的最大版本，并公开代码与模型权重，以便检测 GPT-2 模型的输出。OpenAI 表示，尽管自 8 月以来已有更大的语言模型发布，仍按原定分阶段发布计划推进，为社区提供一个完整分阶段发布流程的测试案例。
推荐理由：OpenAI 以分阶段发布收尾，公开 GPT-2 最大版本与权重，为后续强模型的负责任发布提供参照。
OpenAI NewsAI 评分2222 OpenAI Scholars 2019 申请开放
OpenAI 开放第二届 OpenAI Scholars 项目申请，面向代表性不足群体提供 6–10 个津贴与导师指导名额，入选者可全职学习深度学习 3 个月并开源一个项目。
OpenAI News精选AI 评分6262 OpenAI 发布可逆生成模型 Glow
OpenAI 发布可逆生成模型 Glow，采用可逆 1x1 卷积，在简化此前可逆生成模型架构的同时支持生成高分辨率图像和高效采样，并能发现可用于操控数据属性的特征。OpenAI 同时开放该模型的代码和一个在线可视化工具，供人们探索并在此基础上继续开发。
推荐理由：OpenAI 介绍可逆生成模型 Glow 的架构简化思路，并开放代码与可视化工具供复现探索。
OpenAI News精选AI 评分6060 OpenAI 发布 Gym Retro 完整版，游戏数量扩展至 1000 多款
OpenAI 发布强化学习游戏平台 Gym Retro 的完整版，公开游戏数量从约 70 款 Atari 游戏和 30 款 Sega 游戏扩展到覆盖多种模拟器的 1000 多款游戏。同时发布的还有用于向该平台添加新游戏的工具。
推荐理由：OpenAI 把强化学习游戏平台从约百款扩展到 1000 多款，并公开添加新游戏的工具，可据此判断其覆盖范围与可扩展性。
OpenAI NewsAI 评分2222 OpenAI Scholars：为 underrepresented 群体提供 6–10 份津贴与导师指导
OpenAI 启动 Scholars 项目，为来自 underrepresented 群体的个人提供 6–10 份津贴和导师指导，支持其全职学习深度学习 3 个月并开源一个项目。
OpenAI News精选AI 评分7575 OpenAI 发布强化学习算法 PPO
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），其表现与当时最先进方法相当或更好，同时实现和调参都更简单。PPO 因易用且性能良好，已成为 OpenAI 的默认强化学习算法。
推荐理由：OpenAI 发布 PPO 强化学习算法，读者可了解它为何成为 OpenAI 默认算法及相比已有方法的简化之处。
OpenAI News精选AI 评分6262 OpenAI 开源强化学习复现项目 Baselines，首批发布 DQN 及三个变体
OpenAI 开源内部项目 OpenAI Baselines，目标是以与已发表结果相当的性能复现强化学习算法。首批发布包含 DQN 及其三个变体，其余算法将在接下来几个月内陆续放出。
推荐理由：OpenAI 开源内部强化学习复现项目 Baselines，首批放出 DQN 及三个变体，可了解其复现思路与后续发布节奏。
OpenAI NewsAI 评分3232 OpenAI 支持 Distill 上线：一本专注机器学习成果传播的新期刊
OpenAI 宣布支持 Distill 上线，这是一本旨在出色传播机器学习成果（无论新成果还是已有成果）的新型期刊。
OpenAI News精选AI 评分7070 OpenAI 发布强化学习工具包 OpenAI Gym 公测版
OpenAI 发布 OpenAI Gym 公测版，这是一个用于开发和对比强化学习（RL）算法的工具包。它包含一套持续扩充的环境（从模拟机器人到 Atari 游戏），以及一个用于对比和复现结果的站点。
推荐理由：OpenAI 公开了强化学习算法开发与对比工具包的测试版，读者可了解其环境套件与结果复现入口。