OpenAI 将 Kubernetes 集群扩展至 7,500 节点
OpenAI 将 Kubernetes 集群扩展至 7,500 节点，为 GPT-3、CLIP、DALL·E 等大模型提供可扩展基础设施，同时支持小规模快速迭代研究。
#OpenAI
#OpenAI
今日 3 条OpenAI NewsAI 评分3636
OpenAI News精选AI 评分8080 OpenAI 发布 CLIP：用自然语言连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称，即可应用于任意视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：OpenAI 介绍 CLIP 用自然语言监督学习视觉概念，读者可了解零样本视觉分类的思路来源。
OpenAI News精选AI 评分8888 OpenAI 发布 DALL·E：从文本生成图像
OpenAI 训练了一个名为 DALL·E 的神经网络，可根据自然语言文本描述生成图像，覆盖自然语言可表达的多种概念。
推荐理由：OpenAI 公布 DALL·E 这一从文本生成图像的神经网络，可据此了解文生图方向的早期形态。
OpenAI NewsAI 评分2323 OpenAI 组织架构更新
OpenAI 发布组织更新，称过去一年公司经历了剧烈变化与增长。原文未披露具体调整内容。
OpenAI News精选AI 评分6262 OpenAI 将 GPT-3 技术授权给 Microsoft
OpenAI 宣布已同意将 GPT-3 授权给 Microsoft，用于其自有产品和服务。
推荐理由：OpenAI 将 GPT-3 授权给 Microsoft 用于其自有产品和服务，读者可据此了解双方早期的技术授权关系。
OpenAI NewsAI 评分5252 OpenAI 用人类反馈训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
OpenAI NewsAI 评分2020 OpenAI Scholars 2020 公布最终项目
OpenAI Scholars 2020 届学员在线上 Demo Day 展示了最终项目，呈现过去五个多月的研究成果。这是该项目的第三届学员班。
OpenAI NewsAI 评分2222 OpenAI 联合举办 Procgen 与 MineRL 竞赛
OpenAI 宣布与 AIcrowd、卡内基梅隆大学和 DeepMind 联合举办两场 NeurIPS 2020 竞赛，分别基于 Procgen Benchmark 和 MineRL。
OpenAI News精选AI 评分6060 OpenAI 发布 Image GPT：用 Transformer 生成图像并做无监督分类
OpenAI 发现，正如在语言上训练的大型 Transformer 能生成连贯文本，同一模型在像素序列上训练后也能生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性，表明其最佳生成模型在无监督设定下所含特征可与顶级卷积网络竞争。
推荐理由：原文给出用同一 Transformer 处理像素序列生成图像并做无监督分类的早期思路，可了解生成与表征学习的关联。
OpenAI News精选AI 评分7878 OpenAI 发布 API，开放其新 AI 模型的访问接口
OpenAI 发布 API，用于访问 OpenAI 开发的新 AI 模型。
推荐理由：OpenAI 官方发布 API，读者可了解其模型首次以接口形式对外开放这一节点。
OpenAI News精选AI 评分8282 OpenAI 论文：语言模型是少样本学习器
OpenAI 发布题为《Language models are few-shot learners》的论文，提出语言模型具备少样本学习能力。
OpenAI News精选AI 评分6262 OpenAI 分析：ImageNet 训练算力每 16 个月减半
OpenAI 发布一项分析，指出自 2012 年以来，在 ImageNet 分类上训练达到同等性能的神经网络所需算力每 16 个月减少一半。与 2012 年相比，如今训练到 AlexNet 水平所需的算力减少了 44 倍，而同期摩尔定律带来的成本改善约为 11 倍。分析认为，在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 训练算力数据量化算法进步速度，可与摩尔定律对照理解 AI 效率来源。
OpenAI News精选AI 评分6262 OpenAI 发布音乐生成神经网络 Jukebox
OpenAI 推出 Jukebox，一个能生成音乐（包括初级人声）的神经网络，以原始音频形式输出，覆盖多种曲风和艺术家风格。OpenAI 同时公开了模型权重和代码，并提供用于试听生成样本的工具。
推荐理由：OpenAI 公开 Jukebox 的模型权重与代码，读者可了解其生成原始音频音乐的能力边界。
OpenAI NewsAI 评分3131 OpenAI 参与发布 AI 可验证性报告，提出 10 项机制
OpenAI 参与撰写的多利益相关方报告提出 10 项机制，用于提升 AI 系统相关声明的可验证性。该报告由 30 家机构的 58 位合著者共同完成，涵盖 Centre for the Future of Intelligence、Mila、Schwartz Reisman Institute for Technology and Society 等。
OpenAI NewsAI 评分4242 OpenAI 推出 Microscope：八个视觉模型的可视化工具
OpenAI 推出 Microscope，一个收录八个视觉"模式生物"模型中每个重要层与神经元可视化的工具集。它让研究者更易分析这些神经网络内部形成的特征，以推动对复杂系统的理解。
OpenAI NewsAI 评分4040 OpenAI 将深度学习框架标准化为 PyTorch
OpenAI 宣布将其深度学习框架标准化为 PyTorch。
OpenAI News精选AI 评分7070 OpenAI 发布神经语言模型的缩放定律研究
OpenAI 发布关于神经语言模型缩放定律的研究，探讨模型性能与规模之间的关系。
OpenAI News精选AI 评分6262 OpenAI 发布 Dota 2 大规模深度强化学习研究
OpenAI 发布关于 Dota 2 大规模深度强化学习的研究，标题为 Dota 2 with large scale deep reinforcement learning，正文内容未能获取。
OpenAI NewsAI 评分3838 OpenAI 研究：深度神经网络中的双重下降现象
OpenAI 发现双重下降现象在 CNN、ResNet 和 Transformer 中普遍存在：随着模型规模、数据量或训练时间增加，性能先提升、再变差、然后再次提升。这一效应通常可通过精细的正则化避免，但其成因尚不完全清楚，OpenAI 将其视为重要研究方向。
OpenAI NewsAI 评分3232 OpenAI 发布 Procgen Benchmark：16 个程序化生成环境
OpenAI 发布 Procgen Benchmark，包含 16 个易于使用的程序化生成环境，用于直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI NewsAI 评分4040 OpenAI 发布 Safety Gym：衡量强化学习智能体安全约束遵守情况的环境与工具套件
OpenAI 发布 Safety Gym，一套用于衡量强化学习智能体在训练中遵守安全约束进展的环境与工具。该套件面向在训练过程中尊重安全约束的强化学习智能体，提供相应的环境和工具来度量其进展。
OpenAI News精选AI 评分7878 OpenAI 发布 GPT-2 1.5B 版本及模型权重
OpenAI 发布 GPT-2 分阶段发布的最后一个版本，即参数量 1.5B 的最大版本，并公开代码与模型权重，以便检测 GPT-2 模型的输出。OpenAI 表示，尽管自 8 月以来已有更大的语言模型发布，仍按原定分阶段发布计划推进，为社区提供一个完整分阶段发布流程的测试案例。
推荐理由：OpenAI 以分阶段发布收尾，公开 GPT-2 最大版本与权重，为后续强模型的负责任发布提供参照。
OpenAI News精选AI 评分7878 OpenAI 用机械手解魔方：纯仿真训练加自动域随机化
OpenAI 训练了一对神经网络，让类人机械手解开魔方。两个网络完全在仿真中训练，使用与 OpenAI Five 相同的强化学习代码，并搭配名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被毛绒长颈鹿戳碰，说明强化学习不只适用于虚拟任务，也能解决需要高灵巧度的物理世界问题。
推荐理由：OpenAI 用仿真训练加自动域随机化让机械手解魔方，可了解强化学习迁移到物理操作任务的思路。
OpenAI NewsAI 评分2222 OpenAI Scholars 2020 申请开放
OpenAI 已开放第三期 OpenAI Scholars 项目的申请。该项目此前已举办两期，此次面向 2020 年度的招募现已启动。
OpenAI News精选AI 评分6262 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调，在多项任务上成功匹配外部人类标注者的偏好，尽管这些偏好并不总与 OpenAI 自身一致。在摘要任务中，标注者偏好直接从输入中整句复制的内容，模型因此学会了复制；摘要任务需要 6 万条人类标注，而按不同风格续写文本等更简单的任务只需 5 千条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：OpenAI 用人类反馈微调 GPT-2 的早期实验，展示了偏好数据如何让模型学会复制而非改写。
OpenAI News精选AI 评分6262 OpenAI 在多智能体交互中观察到涌现式工具使用
OpenAI 在模拟捉迷藏环境中训练智能体，观察到它们逐步学会使用更复杂的工具，并形成六种不同的策略与反策略，其中一些是该环境原本未设计支持的。OpenAI 认为，这种在简单环境中自监督涌现出的复杂性，说明多智能体共同适应未来可能产生极其复杂且智能的行为。
推荐理由：OpenAI 在多智能体捉迷藏环境中观察到智能体自发形成六种策略与反策略，可了解涌现式工具使用的实验设定。
OpenAI NewsAI 评分2626 OpenAI 提出 UAR 指标，评估神经网络对未知对抗攻击的鲁棒性
OpenAI 开发出一种方法，用于评估神经网络分类器能否可靠防御训练中未见的对抗攻击，并提出新指标 UAR（Unforeseen Attack Robustness），可衡量单一模型面对未预期攻击时的鲁棒性。该方法同时指出，有必要在更多样化的未知攻击范围内衡量模型性能。
OpenAI News精选AI 评分8080 OpenAI 发布 774M 参数 GPT-2 模型
OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已先后发布 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议，便于机构之间建立模型共享合作，并发布技术报告，介绍与更广泛 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 分阶段开放 GPT-2 最大版本，并给出模型共享协议与协作发布经验，可观察大模型发布节奏与风险权衡。
OpenAI NewsAI 评分1212 OpenAI 的 Learning Day：每周四员工自学技术技能
OpenAI 将每周四设为 Learning Day，员工可选择自学日常工作中接触不到的技术技能，以提升工作表现。该制度为可选参与，学习内容聚焦技术能力。
OpenAI News精选AI 评分8282 微软向 OpenAI 投资 10 亿美元并达成合作
微软向 OpenAI 投资 10 亿美元，支持其构建通用人工智能（AGI）并让经济收益广泛分布。双方将在 Microsoft Azure 上合作开发可扩展至 AGI 的硬件和软件平台，联合开发新的 Azure AI 超算技术，微软同时成为 OpenAI 的独家云服务商。
推荐理由：微软以 10 亿美元投资 OpenAI 并成为其独家云服务商，读者可据此了解双方早期算力与平台合作框架。
OpenAI NewsAI 评分3636 OpenAI：为什么负责任的 AI 发展需要安全合作
OpenAI 发布政策研究论文，提出当前可用于推动行业长期安全规范合作的四项策略：沟通风险与收益、技术协作、提升透明度、激励标准。分析指出，行业安全合作对确保 AI 系统安全有益至关重要，但竞争压力可能引发集体行动问题，导致 AI 公司对安全投入不足。
OpenAI NewsAI 评分1212 OpenAI 举办 2019 机器人研讨会
OpenAI 于 2019 年 4 月 27 日举办了首届 OpenAI Robotics Symposium。
OpenAI NewsAI 评分2222 OpenAI Scholars 2019 结业：八位学者展示最终项目
OpenAI Scholars 2019 届八位学者完成最终项目，并在 OpenAI 举办的 Scholars Demo Day 上展示。这是该项目的第二届结业班。
OpenAI NewsAI 评分1818 OpenAI Fellows Fall 2018 结业：第二批学员完成最终项目
OpenAI Fellows 第二批学员完成 6 个月学徒期，从机器学习初学者成长为 OpenAI 核心贡献者，并已提交最终项目。OpenAI Fellows Summer 2019 的申请正在滚动审核中。
OpenAI News精选AI 评分6262 OpenAI 发布 MuseNet，可生成 4 分钟多乐器音乐
OpenAI 发布 MuseNet，这是一个深度神经网络，能生成 4 分钟、包含 10 种乐器的音乐作品，并可融合从乡村到莫扎特再到披头士的多种风格。MuseNet 并未被显式编程音乐知识，而是通过学习预测数十万个 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。
推荐理由：OpenAI 公开 MuseNet 的生成能力与训练方式，读者可了解其与 GPT-2 同源的技术路线。
OpenAI News精选AI 评分6262 OpenAI 提出 Sparse Transformer，序列预测长度提升 30 倍
OpenAI 开发了 Sparse Transformer，这是一种深度神经网络，在预测文本、图像或声音序列中下一个内容的任务上创下新纪录。它通过对注意力机制做算法改进，从比以往长 30 倍的序列中提取模式。
推荐理由：OpenAI 用稀疏注意力把序列建模长度提升 30 倍，可了解长序列建模的早期技术路线。
OpenAI News精选AI 评分8080 OpenAI Five 击败 Dota 2 世界冠军 OG
OpenAI Five 成为首个在电竞游戏中击败世界冠军的 AI，本周末在 Finals 上连续两局战胜 Dota 2 世界冠军战队 OG。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下击败优秀职业选手，但在公开职业比赛中落败，这也是 AI 首次在直播中战胜电竞职业选手。
推荐理由：OpenAI Five 在直播中击败 Dota 2 世界冠军 OG，可了解 AI 在电竞对抗中的里程碑节点。
OpenAI NewsAI 评分3030 OpenAI Five 总决赛
OpenAI 将于 4 月 13 日太平洋时间上午 11:30 举办 OpenAI Five 的最后一场线下活动。
OpenAI NewsAI 评分4242 OpenAI 提出能量模型隐式生成与泛化方法
OpenAI 在能量模型（EBM）的稳定可扩展训练上取得进展，样本质量和泛化能力优于现有模型。EBM 生成时通过投入更多算力持续精修答案，在低温下可生成与 GAN 媲美的样本，同时具备似然类模型的模式覆盖保证。
OpenAI NewsAI 评分2222 OpenAI Scholars 2019：认识我们的学者
OpenAI 公布 2019 届 Scholars 名单，8 位学者从 550 名申请者中入选。他们的专业背景涵盖文学、哲学、细胞生物学、统计学、经济学、量子物理和商业创新。