开源模型、框架与仓库动态：权重开放、社区项目爆火、开源与闭源的力量消长。
Hugging Face 发布 Accelerate 库，面向希望完全掌控训练循环、又不愿编写分布式训练和混合精度样板代码的 PyTorch 用户。只需在标准训练脚本中加入约五行代码，即可在单机多卡、多节点、TPU 等分布式环境以及有无混合精度的情况下运行，并自动处理设备放置。
推荐理由：官方给出五处代码改动即可切换分布式与混合精度的具体做法，便于评估对现有 PyTorch 训练脚本的改造成本。
Hugging Face 的 transformers v4.2.0 起通过 --sharded_ddp 和 --deepspeed 两个 Trainer 参数实验性支持 FairScale 与 DeepSpeed 的 ZeRO 功能。
推荐理由：作者用 t5-large 与 t5-3b 实测对比 FairScale 与 DeepSpeed 的显存与速度差异，并给出可直接复用的 Trainer 参数。
OpenAI 推出 Jukebox，一个能生成音乐（包括初级人声）的神经网络，以原始音频形式输出，覆盖多种曲风和艺术家风格。OpenAI 同时公开了模型权重和代码，并提供用于试听生成样本的工具。
推荐理由：OpenAI 公开 Jukebox 的模型权重与代码，读者可了解其生成原始音频音乐的能力边界。
Hugging Face 发布教程，介绍用 transformers 库进行自回归语言生成的几种主要解码方法：贪心搜索、beam search 和采样。
推荐理由：系统梳理贪心、beam search 与采样等解码策略的差异，并给出 transformers 中可直接运行的参数配置。
Hugging Face 发布教程，演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数的语言模型 EsperBERTo，并在世界语上完成词性标注微调。
推荐理由：Hugging Face 官方给出从零训练语言模型的完整流程，读者可据此复现分词器训练与下游微调。
OpenAI 发布 GPT-2 分阶段发布的最后一个版本，即参数量 1.5B 的最大版本，并公开代码与模型权重，以便检测 GPT-2 模型的输出。OpenAI 表示，尽管自 8 月以来已有更大的语言模型发布，仍按原定分阶段发布计划推进，为社区提供一个完整分阶段发布流程的测试案例。
推荐理由：OpenAI 以分阶段发布收尾，公开 GPT-2 最大版本与权重，为后续强模型的负责任发布提供参照。
OpenAI 发布可逆生成模型 Glow，采用可逆 1x1 卷积，在简化此前可逆生成模型架构的同时支持生成高分辨率图像和高效采样，并能发现可用于操控数据属性的特征。OpenAI 同时开放该模型的代码和一个在线可视化工具，供人们探索并在此基础上继续开发。
推荐理由：OpenAI 介绍可逆生成模型 Glow 的架构简化思路，并开放代码与可视化工具供复现探索。
OpenAI 发布强化学习游戏平台 Gym Retro 的完整版，公开游戏数量从约 70 款 Atari 游戏和 30 款 Sega 游戏扩展到覆盖多种模拟器的 1000 多款游戏。同时发布的还有用于向该平台添加新游戏的工具。
推荐理由：OpenAI 把强化学习游戏平台从约百款扩展到 1000 多款，并公开添加新游戏的工具，可据此判断其覆盖范围与可扩展性。
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），其表现与当时最先进方法相当或更好，同时实现和调参都更简单。PPO 因易用且性能良好，已成为 OpenAI 的默认强化学习算法。
推荐理由：OpenAI 发布 PPO 强化学习算法，读者可了解它为何成为 OpenAI 默认算法及相比已有方法的简化之处。
OpenAI 开源内部项目 OpenAI Baselines，目标是以与已发表结果相当的性能复现强化学习算法。首批发布包含 DQN 及其三个变体，其余算法将在接下来几个月内陆续放出。
推荐理由：OpenAI 开源内部强化学习复现项目 Baselines，首批放出 DQN 及三个变体，可了解其复现思路与后续发布节奏。
OpenAI 发布 OpenAI Gym 公测版，这是一个用于开发和对比强化学习（RL）算法的工具包。它包含一套持续扩充的环境（从模拟机器人到 Atari 游戏），以及一个用于对比和复现结果的站点。
推荐理由：OpenAI 公开了强化学习算法开发与对比工具包的测试版，读者可了解其环境套件与结果复现入口。