OpenAI 用无监督学习提升语言理解能力
OpenAI 用 Transformer 与无监督预训练结合的可扩展、任务无关系统，在一组多样化的语言任务上取得当时最优结果，并对外发布了该系统。这一结果说明监督学习方法与无监督预训练搭配效果很好，作者希望它推动在更大、更多样数据集上继续探索这一思路。
推荐理由：OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果，并公开了可扩展的任务无关系统。
数据与训练
全部主题训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
最新精选
第 101–104 条 · 共 104 条OpenAI News精选AI 评分8888
OpenAI News精选AI 评分8383 OpenAI 分析：2012 年以来最大 AI 训练算力每 3.4 个月翻倍
OpenAI 发布一项分析，指出自 2012 年以来，最大规模 AI 训练所用算力呈指数增长，翻倍周期为 3.4 个月，而摩尔定律的翻倍周期为 2 年。同一时期该指标增长超过 300,000 倍，若按 2 年翻倍则仅增长 7 倍。OpenAI 表示算力提升是 AI 进展的关键组成部分，若这一趋势延续，值得为远超当前能力的系统做准备。
推荐理由：OpenAI 用 3.4 个月翻倍这一量化指标，给出 AI 训练算力增速与摩尔定律的对比参照。
OpenAI News精选AI 评分6262 OpenAI 发布块稀疏 GPU kernel
OpenAI 发布针对块稀疏权重神经网络的高度优化 GPU kernel，按所选稀疏度可比 cuBLAS 或 cuSPARSE 快数个数量级。OpenAI 表示已用这些 kernel 在文本情感分析和文本、图像生成建模上取得当时的最优结果。
推荐理由：OpenAI 公开面向块稀疏权重网络的 GPU kernel，并给出相对 cuBLAS 与 cuSPARSE 的加速幅度和落地任务。
OpenAI News精选AI 评分6262 OpenAI 研究：自博弈让模拟 AI 自行学会身体技能
OpenAI 发现自博弈能让模拟 AI 自行发现擒抱、闪避、假动作、踢球、接球和扑球等身体技能，而无需在设计环境时显式加入这些技能。自博弈还能让环境难度始终与 AI 水平匹配，便于持续提升。结合此前的 Dota 2 自博弈结果，OpenAI 表示对自博弈将成为未来强大 AI 系统的核心部分越来越有信心。
推荐理由：OpenAI 用自博弈让模拟 AI 自行涌现出擒抱、假动作等身体技能，可与 Dota 2 结果对照理解自博弈的训练价值。