Hugging Face 月度阅读：2021 年 2 月长程 Transformer 专题
Hugging Face 博客 2021 年 2 月阅读小组聚焦长程注意力，梳理了 Longformer、Compressive Transformer、Linformer、Performer 四类降低 Transformer 序列长度二次开销的思路。
全部AI 动态
全部动态
今日 2 条Hugging Face BlogAI 评分2222
OpenAI News精选AI 评分6060 OpenAI 在 CLIP 中发现多模态神经元
OpenAI 在 CLIP 中发现了一类多模态神经元，无论概念以文字、符号还是概念形式呈现，这些神经元都会产生响应。这可能解释 CLIP 为何能准确分类出人意料的概念视觉变体，也是理解 CLIP 及类似模型所学关联与偏见的重要一步。
推荐理由：OpenAI 在 CLIP 中发现对同一概念的多模态神经元，为理解其分类准确性与习得偏见提供线索。
OpenAI NewsAI 评分5252 OpenAI 用人类反馈训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
OpenAI News精选AI 评分6060 OpenAI 发布 Image GPT：用 Transformer 生成图像并做无监督分类
OpenAI 发现，正如在语言上训练的大型 Transformer 能生成连贯文本，同一模型在像素序列上训练后也能生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性，表明其最佳生成模型在无监督设定下所含特征可与顶级卷积网络竞争。
推荐理由：原文给出用同一 Transformer 处理像素序列生成图像并做无监督分类的早期思路，可了解生成与表征学习的关联。
OpenAI News精选AI 评分8282 OpenAI 论文：语言模型是少样本学习器
OpenAI 发布题为《Language models are few-shot learners》的论文，提出语言模型具备少样本学习能力。
OpenAI News精选AI 评分6262 OpenAI 分析：ImageNet 训练算力每 16 个月减半
OpenAI 发布一项分析，指出自 2012 年以来，在 ImageNet 分类上训练达到同等性能的神经网络所需算力每 16 个月减少一半。与 2012 年相比，如今训练到 AlexNet 水平所需的算力减少了 44 倍，而同期摩尔定律带来的成本改善约为 11 倍。分析认为，在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 训练算力数据量化算法进步速度，可与摩尔定律对照理解 AI 效率来源。
OpenAI News精选AI 评分7070 OpenAI 发布神经语言模型的缩放定律研究
OpenAI 发布关于神经语言模型缩放定律的研究，探讨模型性能与规模之间的关系。
OpenAI News精选AI 评分6262 OpenAI 发布 Dota 2 大规模深度强化学习研究
OpenAI 发布关于 Dota 2 大规模深度强化学习的研究，标题为 Dota 2 with large scale deep reinforcement learning，正文内容未能获取。
OpenAI NewsAI 评分3838 OpenAI 研究：深度神经网络中的双重下降现象
OpenAI 发现双重下降现象在 CNN、ResNet 和 Transformer 中普遍存在：随着模型规模、数据量或训练时间增加，性能先提升、再变差、然后再次提升。这一效应通常可通过精细的正则化避免，但其成因尚不完全清楚，OpenAI 将其视为重要研究方向。
OpenAI NewsAI 评分3232 OpenAI 发布 Procgen Benchmark：16 个程序化生成环境
OpenAI 发布 Procgen Benchmark，包含 16 个易于使用的程序化生成环境，用于直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI News精选AI 评分7878 OpenAI 用机械手解魔方：纯仿真训练加自动域随机化
OpenAI 训练了一对神经网络，让类人机械手解开魔方。两个网络完全在仿真中训练，使用与 OpenAI Five 相同的强化学习代码，并搭配名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被毛绒长颈鹿戳碰，说明强化学习不只适用于虚拟任务，也能解决需要高灵巧度的物理世界问题。
推荐理由：OpenAI 用仿真训练加自动域随机化让机械手解魔方，可了解强化学习迁移到物理操作任务的思路。
OpenAI News精选AI 评分6262 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调，在多项任务上成功匹配外部人类标注者的偏好，尽管这些偏好并不总与 OpenAI 自身一致。在摘要任务中，标注者偏好直接从输入中整句复制的内容，模型因此学会了复制；摘要任务需要 6 万条人类标注，而按不同风格续写文本等更简单的任务只需 5 千条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：OpenAI 用人类反馈微调 GPT-2 的早期实验，展示了偏好数据如何让模型学会复制而非改写。
OpenAI News精选AI 评分6262 OpenAI 在多智能体交互中观察到涌现式工具使用
OpenAI 在模拟捉迷藏环境中训练智能体，观察到它们逐步学会使用更复杂的工具，并形成六种不同的策略与反策略，其中一些是该环境原本未设计支持的。OpenAI 认为，这种在简单环境中自监督涌现出的复杂性，说明多智能体共同适应未来可能产生极其复杂且智能的行为。
推荐理由：OpenAI 在多智能体捉迷藏环境中观察到智能体自发形成六种策略与反策略，可了解涌现式工具使用的实验设定。
OpenAI NewsAI 评分2626 OpenAI 提出 UAR 指标，评估神经网络对未知对抗攻击的鲁棒性
OpenAI 开发出一种方法，用于评估神经网络分类器能否可靠防御训练中未见的对抗攻击，并提出新指标 UAR（Unforeseen Attack Robustness），可衡量单一模型面对未预期攻击时的鲁棒性。该方法同时指出，有必要在更多样化的未知攻击范围内衡量模型性能。
OpenAI NewsAI 评分3636 OpenAI：为什么负责任的 AI 发展需要安全合作
OpenAI 发布政策研究论文，提出当前可用于推动行业长期安全规范合作的四项策略：沟通风险与收益、技术协作、提升透明度、激励标准。分析指出，行业安全合作对确保 AI 系统安全有益至关重要，但竞争压力可能引发集体行动问题，导致 AI 公司对安全投入不足。
OpenAI News精选AI 评分6262 OpenAI 提出 Sparse Transformer，序列预测长度提升 30 倍
OpenAI 开发了 Sparse Transformer，这是一种深度神经网络，在预测文本、图像或声音序列中下一个内容的任务上创下新纪录。它通过对注意力机制做算法改进，从比以往长 30 倍的序列中提取模式。
推荐理由：OpenAI 用稀疏注意力把序列建模长度提升 30 倍，可了解长序列建模的早期技术路线。
OpenAI NewsAI 评分4242 OpenAI 提出能量模型隐式生成与泛化方法
OpenAI 在能量模型（EBM）的稳定可扩展训练上取得进展，样本质量和泛化能力优于现有模型。EBM 生成时通过投入更多算力持续精修答案，在低温下可生成与 GAN 媲美的样本，同时具备似然类模型的模式覆盖保证。
OpenAI NewsAI 评分4242 OpenAI 与 Google 合作推出 Activation Atlases，可视化神经元交互表征
OpenAI 与 Google 研究人员合作推出 Activation Atlases，一种可视化神经元之间交互所代表内容的新技术。随着 AI 系统被部署到日益敏感的场景，更好地理解其内部决策过程有助于识别弱点和调查失败原因。
OpenAI NewsAI 评分3838 OpenAI 发布 Neural MMO：大规模多智能体游戏环境
OpenAI 发布 Neural MMO，一个面向强化学习智能体的大规模多智能体游戏环境，支持在持久、开放式的任务中容纳大量且数量可变的智能体。该平台引入众多智能体与物种，带来更好的探索、差异化的生态位形成以及整体能力的提升。
OpenAI NewsAI 评分4242 OpenAI 论文：AI 安全研究需要社会科学家参与
OpenAI 发表论文指出，长期 AI 安全研究需要社会科学家参与，才能确保 AI 对齐算法在真实人类参与时有效。论文认为，将先进 AI 系统与人类价值观正确对齐，需解决人类理性、情感与偏见心理学相关的诸多不确定性。OpenAI 计划招聘社会科学家全职从事这一方向的研究。
OpenAI NewsAI 评分4040 OpenAI 研究：AI 训练如何随规模扩展
OpenAI 发现梯度噪声尺度这一统计指标可预测神经网络训练在多种任务上的可并行性。复杂任务的梯度噪声更大，因此未来更大的 batch size 可能变得有用，从而消除 AI 系统继续扩展的一项潜在限制。该结果还表明，神经网络训练并非神秘技艺，而是可以被严谨化和系统化。
OpenAI NewsAI 评分3030 OpenAI 发布 CoinRun：量化强化学习中的泛化能力
OpenAI 发布训练环境 CoinRun，用于衡量智能体将经验迁移到新情境的能力，并已帮助厘清强化学习领域一个长期存在的难题。该环境在复杂度上取得平衡：比《刺猬索尼克》等传统平台游戏更简单，但仍对当前最先进算法构成值得一试的泛化挑战。
OpenAI NewsAI 评分3131 OpenAI 用能量函数模型学习概念，五次演示即可掌握
OpenAI 开发了一种基于能量的模型，仅需五次演示就能学会识别和生成以 2D 点集表达的概念，如 near、above、between、closest 和 furthest。该模型还展示了跨域迁移能力：在 2D 粒子环境中学习的概念可用于解决 3D 物理机器人任务。
OpenAI NewsAI 评分4040 OpenAI 用基于预测的奖励做强化学习，RND 首次在 Montezuma's Revenge 上超越人类平均表现
OpenAI 提出 Random Network Distillation（RND），一种基于预测的奖励方法，通过好奇心鼓励强化学习智能体探索环境。该方法首次在 Montezuma's Revenge 上超越人类平均表现。
OpenAI NewsAI 评分3636 OpenAI 提出迭代放大（iterated amplification）AI 安全技术
OpenAI 提出一种名为迭代放大（iterated amplification）的 AI 安全技术，通过将复杂任务分解为更简单的子任务来指定超出人类规模的行为与目标，而非依赖标注数据或奖励函数。该构想仍处于极早期阶段，目前仅在简单的玩具算法领域完成实验，OpenAI 认为它可能成为可扩展的 AI 安全方案。
OpenAI NewsAI 评分4242 OpenAI 训练出具备前所未有灵巧度的类人机械手
OpenAI 训练出一只类人机械手，能以史无前例的灵巧度操控实体物体。
OpenAI News精选AI 评分6262 OpenAI 发布可逆生成模型 Glow
OpenAI 发布可逆生成模型 Glow，采用可逆 1x1 卷积，在简化此前可逆生成模型架构的同时支持生成高分辨率图像和高效采样，并能发现可用于操控数据属性的特征。OpenAI 同时开放该模型的代码和一个在线可视化工具，供人们探索并在此基础上继续开发。
推荐理由：OpenAI 介绍可逆生成模型 Glow 的架构简化思路，并开放代码与可视化工具供复现探索。
OpenAI News精选AI 评分6262 OpenAI 从单次演示中学会 Montezuma's Revenge
OpenAI 训练出一个智能体，仅凭单次人类演示就在 Montezuma's Revenge 上取得 74,500 分的高分，超过此前所有已发表结果。其算法思路是让智能体从演示中精心挑选的状态出发连续进行多局游戏，并用 PPO 优化游戏得分，PPO 也是 OpenAI Five 所依赖的强化学习算法。
推荐理由：OpenAI 用单次人类演示加 PPO 在 Montezuma's Revenge 上取得 74,500 分，可了解其从演示状态起步的训练思路。
OpenAI NewsAI 评分2222 OpenAI Retro Contest 首届比赛结果公布
OpenAI 首届 Retro Contest 已完成，该比赛旨在探索能够从过往经验中泛化迁移的算法。
OpenAI News精选AI 评分8888 OpenAI 用无监督学习提升语言理解能力
OpenAI 用 Transformer 与无监督预训练结合的可扩展、任务无关系统，在一组多样化的语言任务上取得当时最优结果，并对外发布了该系统。这一结果说明监督学习方法与无监督预训练搭配效果很好，作者希望它推动在更大、更多样数据集上继续探索这一思路。
推荐理由：OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果，并公开了可扩展的任务无关系统。
OpenAI News精选AI 评分8383 OpenAI 分析：2012 年以来最大 AI 训练算力每 3.4 个月翻倍
OpenAI 发布一项分析，指出自 2012 年以来，最大规模 AI 训练所用算力呈指数增长，翻倍周期为 3.4 个月，而摩尔定律的翻倍周期为 2 年。同一时期该指标增长超过 300,000 倍，若按 2 年翻倍则仅增长 7 倍。OpenAI 表示算力提升是 AI 进展的关键组成部分，若这一趋势延续，值得为远超当前能力的系统做准备。
推荐理由：OpenAI 用 3.4 个月翻倍这一量化指标，给出 AI 训练算力增速与摩尔定律的对比参照。
OpenAI NewsAI 评分3838 OpenAI 提出通过辩论实现 AI 安全的技术
OpenAI 提出一种 AI 安全技术，训练智能体就话题相互辩论，由人类判断胜负。该方法旨在借助辩论提升 AI 系统的安全性。
OpenAI NewsAI 评分4242 OpenAI 发布 Evolved Policy Gradients 元学习方法
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），通过进化学习智能体的损失函数，使其能在新任务上快速训练。用 EPG 训练的智能体可在测试时完成训练范围之外的基础任务，例如学会导航到房间中与训练时放置位置相反一侧的物体。
OpenAI NewsAI 评分4242 OpenAI 提出可扩展元学习算法 Reptile
OpenAI 开发出可扩展元学习算法 Reptile，通过反复采样任务、对其执行随机梯度下降，并将初始参数朝该任务最终学到的参数更新。Reptile 是将 Shortest Descent 算法应用于元学习场景，数学上与一阶 MAML 相似，只需对 SGD 或 Adam 等优化器进行黑盒访问，计算效率与性能相近。
OpenAI NewsAI 评分4040 OpenAI 发布八个模拟机器人环境与 HER 基线实现
OpenAI 发布八个模拟机器人环境及 Hindsight Experience Replay 的 Baselines 实现，均为过去一年研究开发，并已用于训练可迁移到实体机器人的模型。同时发布一组机器人研究课题请求。
OpenAI News精选AI 评分6262 OpenAI 等机构联合发布 AI 恶意使用预测论文
OpenAI 与未来人类研究所、存在风险研究中心、新美国安全中心、电子前沿基金会等机构合作，共同撰写了一篇论文，预测恶意行为者可能如何滥用 AI 技术，以及可以预防和缓解这些威胁的潜在方法。该论文是双方近一年持续合作的成果。
推荐理由：OpenAI 与多家机构合作近一年，梳理 AI 被恶意滥用的可能路径与防范思路。
OpenAI NewsAI 评分3333 OpenAI 提出通过教学实现可解释机器学习的方法
OpenAI 设计了一种让 AI 互相教学的方法，所选取的示例同样能被人类理解。该方法自动挑选最具信息量的示例来教授某个概念，例如用最适合描述"狗"这一概念的图像，实验显示其对 AI 教学有效。
OpenAI NewsAI 评分2222 OpenAI 用自动发现的类型实现实体消歧
OpenAI 构建了一套实体消歧系统，通过神经网络判断一个词是否属于约 100 个自动发现的“类型”（非互斥类别），从而自动确定该词指代的是哪个对象。
OpenAI NewsAI 评分2222 OpenAI 发布 Requests for Research 2.0，公布七个未解研究问题
OpenAI 发布 Requests for Research 2.0，公布其在研究过程中遇到的七个未解问题。这是继此前版本之后的新一批问题清单，面向研究社区公开。
OpenAI News精选AI 评分6262 OpenAI 发布块稀疏 GPU kernel
OpenAI 发布针对块稀疏权重神经网络的高度优化 GPU kernel，按所选稀疏度可比 cuBLAS 或 cuSPARSE 快数个数量级。OpenAI 表示已用这些 kernel 在文本情感分析和文本、图像生成建模上取得当时的最优结果。
推荐理由：OpenAI 公开面向块稀疏权重网络的 GPU kernel，并给出相对 cuBLAS 与 cuSPARSE 的加速幅度和落地任务。