跳到正文

OpenAI / ChatGPT

OpenAI 的全部动态:GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。

最新精选

第 241–260 条 · 共 270 条
11月5日周二
  1. OpenAI News78

    OpenAI 发布 GPT-2 1.5B 版本及模型权重

    OpenAI 发布 GPT-2 分阶段发布的最后一个版本,即参数量 1.5B 的最大版本,并公开代码与模型权重,以便检测 GPT-2 模型的输出。OpenAI 表示,尽管自 8 月以来已有更大的语言模型发布,仍按原定分阶段发布计划推进,为社区提供一个完整分阶段发布流程的测试案例。

    推荐理由:OpenAI 以分阶段发布收尾,公开 GPT-2 最大版本与权重,为后续强模型的负责任发布提供参照。

10月15日周二
  1. OpenAI News78

    OpenAI 用机械手解魔方:纯仿真训练加自动域随机化

    OpenAI 训练了一对神经网络,让类人机械手解开魔方。两个网络完全在仿真中训练,使用与 OpenAI Five 相同的强化学习代码,并搭配名为 Automatic Domain Randomization(ADR)的新技术。系统能应对训练中从未见过的情况,例如被毛绒长颈鹿戳碰,说明强化学习不只适用于虚拟任务,也能解决需要高灵巧度的物理世界问题。

    推荐理由:OpenAI 用仿真训练加自动域随机化让机械手解魔方,可了解强化学习迁移到物理操作任务的思路。

9月19日周四
  1. OpenAI News62

    OpenAI 用人类偏好微调 774M 参数 GPT-2

    OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调,在多项任务上成功匹配外部人类标注者的偏好,尽管这些偏好并不总与 OpenAI 自身一致。在摘要任务中,标注者偏好直接从输入中整句复制的内容,模型因此学会了复制;摘要任务需要 6 万条人类标注,而按不同风格续写文本等更简单的任务只需 5 千条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。

    推荐理由:OpenAI 用人类反馈微调 GPT-2 的早期实验,展示了偏好数据如何让模型学会复制而非改写。

9月17日周二
  1. OpenAI News62

    OpenAI 在多智能体交互中观察到涌现式工具使用

    OpenAI 在模拟捉迷藏环境中训练智能体,观察到它们逐步学会使用更复杂的工具,并形成六种不同的策略与反策略,其中一些是该环境原本未设计支持的。OpenAI 认为,这种在简单环境中自监督涌现出的复杂性,说明多智能体共同适应未来可能产生极其复杂且智能的行为。

    推荐理由:OpenAI 在多智能体捉迷藏环境中观察到智能体自发形成六种策略与反策略,可了解涌现式工具使用的实验设定。

8月20日周二
  1. OpenAI News80

    OpenAI 发布 774M 参数 GPT-2 模型

    OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已先后发布 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议,便于机构之间建立模型共享合作,并发布技术报告,介绍与更广泛 AI 研究社区协调发布规范的经验。

    推荐理由:OpenAI 分阶段开放 GPT-2 最大版本,并给出模型共享协议与协作发布经验,可观察大模型发布节奏与风险权衡。

7月22日周一
  1. OpenAI News82

    微软向 OpenAI 投资 10 亿美元并达成合作

    微软向 OpenAI 投资 10 亿美元,支持其构建通用人工智能(AGI)并让经济收益广泛分布。双方将在 Microsoft Azure 上合作开发可扩展至 AGI 的硬件和软件平台,联合开发新的 Azure AI 超算技术,微软同时成为 OpenAI 的独家云服务商。

    推荐理由:微软以 10 亿美元投资 OpenAI 并成为其独家云服务商,读者可据此了解双方早期算力与平台合作框架。

4月25日周四
  1. OpenAI News62

    OpenAI 发布 MuseNet,可生成 4 分钟多乐器音乐

    OpenAI 发布 MuseNet,这是一个深度神经网络,能生成 4 分钟、包含 10 种乐器的音乐作品,并可融合从乡村到莫扎特再到披头士的多种风格。MuseNet 并未被显式编程音乐知识,而是通过学习预测数十万个 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。

    推荐理由:OpenAI 公开 MuseNet 的生成能力与训练方式,读者可了解其与 GPT-2 同源的技术路线。

4月23日周二
  1. OpenAI News62

    OpenAI 提出 Sparse Transformer,序列预测长度提升 30 倍

    OpenAI 开发了 Sparse Transformer,这是一种深度神经网络,在预测文本、图像或声音序列中下一个内容的任务上创下新纪录。它通过对注意力机制做算法改进,从比以往长 30 倍的序列中提取模式。

    推荐理由:OpenAI 用稀疏注意力把序列建模长度提升 30 倍,可了解长序列建模的早期技术路线。

4月15日周一
  1. OpenAI News80

    OpenAI Five 击败 Dota 2 世界冠军 OG

    OpenAI Five 成为首个在电竞游戏中击败世界冠军的 AI,本周末在 Finals 上连续两局战胜 Dota 2 世界冠军战队 OG。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下击败优秀职业选手,但在公开职业比赛中落败,这也是 AI 首次在直播中战胜电竞职业选手。

    推荐理由:OpenAI Five 在直播中击败 Dota 2 世界冠军 OG,可了解 AI 在电竞对抗中的里程碑节点。

3月11日周一
  1. OpenAI News62

    OpenAI 成立利润上限公司 OpenAI LP

    OpenAI 宣布成立 OpenAI LP,一家采用 capped-profit(利润上限)结构的新公司,目的是在快速增加算力与人才投入的同时,通过制衡机制推进其使命。

    推荐理由:OpenAI 官方说明其营利实体采用利润上限结构,读者可据此理解该组织在算力与人才投入上的制度安排。

2月14日周四
  1. OpenAI News85

    OpenAI 训练出大规模无监督语言模型并在多项基准取得最优表现

    OpenAI 训练了一个大规模无监督语言模型,能够生成连贯的段落文本,在多项语言建模基准上取得当时最优表现。该模型无需针对特定任务训练,即可完成基础的阅读理解、机器翻译、问答和摘要任务。

    推荐理由:OpenAI 公布一个无监督语言模型在多项语言任务上取得当时最优表现,可了解大模型早期路线。

8月6日周一
7月9日周一
  1. OpenAI News62

    OpenAI 发布可逆生成模型 Glow

    OpenAI 发布可逆生成模型 Glow,采用可逆 1x1 卷积,在简化此前可逆生成模型架构的同时支持生成高分辨率图像和高效采样,并能发现可用于操控数据属性的特征。OpenAI 同时开放该模型的代码和一个在线可视化工具,供人们探索并在此基础上继续开发。

    推荐理由:OpenAI 介绍可逆生成模型 Glow 的架构简化思路,并开放代码与可视化工具供复现探索。

7月4日周三
  1. OpenAI News62

    OpenAI 从单次演示中学会 Montezuma's Revenge

    OpenAI 训练出一个智能体,仅凭单次人类演示就在 Montezuma's Revenge 上取得 74,500 分的高分,超过此前所有已发表结果。其算法思路是让智能体从演示中精心挑选的状态出发连续进行多局游戏,并用 PPO 优化游戏得分,PPO 也是 OpenAI Five 所依赖的强化学习算法。

    推荐理由:OpenAI 用单次人类演示加 PPO 在 Montezuma's Revenge 上取得 74,500 分,可了解其从演示状态起步的训练思路。

6月25日周一
6月11日周一
  1. OpenAI News88

    OpenAI 用无监督学习提升语言理解能力

    OpenAI 用 Transformer 与无监督预训练结合的可扩展、任务无关系统,在一组多样化的语言任务上取得当时最优结果,并对外发布了该系统。这一结果说明监督学习方法与无监督预训练搭配效果很好,作者希望它推动在更大、更多样数据集上继续探索这一思路。

    推荐理由:OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果,并公开了可扩展的任务无关系统。

5月25日周五
  1. OpenAI News60

    OpenAI 发布 Gym Retro 完整版,游戏数量扩展至 1000 多款

    OpenAI 发布强化学习游戏平台 Gym Retro 的完整版,公开游戏数量从约 70 款 Atari 游戏和 30 款 Sega 游戏扩展到覆盖多种模拟器的 1000 多款游戏。同时发布的还有用于向该平台添加新游戏的工具。

    推荐理由:OpenAI 把强化学习游戏平台从约百款扩展到 1000 多款,并公开添加新游戏的工具,可据此判断其覆盖范围与可扩展性。

5月16日周三
  1. OpenAI News83

    OpenAI 分析:2012 年以来最大 AI 训练算力每 3.4 个月翻倍

    OpenAI 发布一项分析,指出自 2012 年以来,最大规模 AI 训练所用算力呈指数增长,翻倍周期为 3.4 个月,而摩尔定律的翻倍周期为 2 年。同一时期该指标增长超过 300,000 倍,若按 2 年翻倍则仅增长 7 倍。OpenAI 表示算力提升是 AI 进展的关键组成部分,若这一趋势延续,值得为远超当前能力的系统做准备。

    推荐理由:OpenAI 用 3.4 个月翻倍这一量化指标,给出 AI 训练算力增速与摩尔定律的对比参照。

2月20日周二
  1. OpenAI News62

    OpenAI 等机构联合发布 AI 恶意使用预测论文

    OpenAI 与未来人类研究所、存在风险研究中心、新美国安全中心、电子前沿基金会等机构合作,共同撰写了一篇论文,预测恶意行为者可能如何滥用 AI 技术,以及可以预防和缓解这些威胁的潜在方法。该论文是双方近一年持续合作的成果。

    推荐理由:OpenAI 与多家机构合作近一年,梳理 AI 被恶意滥用的可能路径与防范思路。

12月6日周三
  1. OpenAI News62

    OpenAI 发布块稀疏 GPU kernel

    OpenAI 发布针对块稀疏权重神经网络的高度优化 GPU kernel,按所选稀疏度可比 cuBLAS 或 cuSPARSE 快数个数量级。OpenAI 表示已用这些 kernel 在文本情感分析和文本、图像生成建模上取得当时的最优结果。

    推荐理由:OpenAI 公开面向块稀疏权重网络的 GPU kernel,并给出相对 cuBLAS 与 cuSPARSE 的加速幅度和落地任务。