跳到正文

#OpenAI

今日 3 条
3月11日周一
  1. OpenAI News62

    OpenAI 成立利润上限公司 OpenAI LP

    OpenAI 宣布成立 OpenAI LP,一家采用 capped-profit(利润上限)结构的新公司,目的是在快速增加算力与人才投入的同时,通过制衡机制推进其使命。

    推荐理由:OpenAI 官方说明其营利实体采用利润上限结构,读者可据此理解该组织在算力与人才投入上的制度安排。

3月6日周三
3月4日周一
2月26日周二
2月19日周二
2月14日周四
  1. OpenAI News85

    OpenAI 训练出大规模无监督语言模型并在多项基准取得最优表现

    OpenAI 训练了一个大规模无监督语言模型,能够生成连贯的段落文本,在多项语言建模基准上取得当时最优表现。该模型无需针对特定任务训练,即可完成基础的阅读理解、机器翻译、问答和摘要任务。

    推荐理由:OpenAI 公布一个无监督语言模型在多项语言任务上取得当时最优表现,可了解大模型早期路线。

12月19日周三
12月14日周五
  1. OpenAI News40

    OpenAI 研究:AI 训练如何随规模扩展

    OpenAI 发现梯度噪声尺度这一统计指标可预测神经网络训练在多种任务上的可并行性。复杂任务的梯度噪声更大,因此未来更大的 batch size 可能变得有用,从而消除 AI 系统继续扩展的一项潜在限制。该结果还表明,神经网络训练并非神秘技艺,而是可以被严谨化和系统化。

12月6日周四
11月8日周四
11月7日周三
10月31日周三
10月22日周一
  1. OpenAI News36

    OpenAI 提出迭代放大(iterated amplification)AI 安全技术

    OpenAI 提出一种名为迭代放大(iterated amplification)的 AI 安全技术,通过将复杂任务分解为更简单的子任务来指定超出人类规模的行为与目标,而非依赖标注数据或奖励函数。该构想仍处于极早期阶段,目前仅在简单的玩具算法领域完成实验,OpenAI 认为它可能成为可扩展的 AI 安全方案。

10月11日周四
10月9日周二
9月10日周一
8月23日周四
8月6日周一
7月30日周一
7月25日周三
7月18日周三
7月9日周一
  1. OpenAI News62

    OpenAI 发布可逆生成模型 Glow

    OpenAI 发布可逆生成模型 Glow,采用可逆 1x1 卷积,在简化此前可逆生成模型架构的同时支持生成高分辨率图像和高效采样,并能发现可用于操控数据属性的特征。OpenAI 同时开放该模型的代码和一个在线可视化工具,供人们探索并在此基础上继续开发。

    推荐理由:OpenAI 介绍可逆生成模型 Glow 的架构简化思路,并开放代码与可视化工具供复现探索。

7月4日周三
  1. OpenAI News62

    OpenAI 从单次演示中学会 Montezuma's Revenge

    OpenAI 训练出一个智能体,仅凭单次人类演示就在 Montezuma's Revenge 上取得 74,500 分的高分,超过此前所有已发表结果。其算法思路是让智能体从演示中精心挑选的状态出发连续进行多局游戏,并用 PPO 优化游戏得分,PPO 也是 OpenAI Five 所依赖的强化学习算法。

    推荐理由:OpenAI 用单次人类演示加 PPO 在 Montezuma's Revenge 上取得 74,500 分,可了解其从演示状态起步的训练思路。

6月25日周一
6月22日周五
6月11日周一
  1. OpenAI News88

    OpenAI 用无监督学习提升语言理解能力

    OpenAI 用 Transformer 与无监督预训练结合的可扩展、任务无关系统,在一组多样化的语言任务上取得当时最优结果,并对外发布了该系统。这一结果说明监督学习方法与无监督预训练搭配效果很好,作者希望它推动在更大、更多样数据集上继续探索这一思路。

    推荐理由:OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果,并公开了可扩展的任务无关系统。

5月30日周三
5月25日周五
  1. OpenAI News60

    OpenAI 发布 Gym Retro 完整版,游戏数量扩展至 1000 多款

    OpenAI 发布强化学习游戏平台 Gym Retro 的完整版,公开游戏数量从约 70 款 Atari 游戏和 30 款 Sega 游戏扩展到覆盖多种模拟器的 1000 多款游戏。同时发布的还有用于向该平台添加新游戏的工具。

    推荐理由:OpenAI 把强化学习游戏平台从约百款扩展到 1000 多款,并公开添加新游戏的工具,可据此判断其覆盖范围与可扩展性。

5月16日周三
  1. OpenAI News83

    OpenAI 分析:2012 年以来最大 AI 训练算力每 3.4 个月翻倍

    OpenAI 发布一项分析,指出自 2012 年以来,最大规模 AI 训练所用算力呈指数增长,翻倍周期为 3.4 个月,而摩尔定律的翻倍周期为 2 年。同一时期该指标增长超过 300,000 倍,若按 2 年翻倍则仅增长 7 倍。OpenAI 表示算力提升是 AI 进展的关键组成部分,若这一趋势延续,值得为远超当前能力的系统做准备。

    推荐理由:OpenAI 用 3.4 个月翻倍这一量化指标,给出 AI 训练算力增速与摩尔定律的对比参照。

5月3日周四
4月18日周三
4月5日周四
3月15日周四
3月7日周三
  1. OpenAI News42

    OpenAI 提出可扩展元学习算法 Reptile

    OpenAI 开发出可扩展元学习算法 Reptile,通过反复采样任务、对其执行随机梯度下降,并将初始参数朝该任务最终学到的参数更新。Reptile 是将 Shortest Descent 算法应用于元学习场景,数学上与一阶 MAML 相似,只需对 SGD 或 Adam 等优化器进行黑盒访问,计算效率与性能相近。

3月6日周二
2月26日周一
2月22日周四
2月20日周二
  1. OpenAI News62

    OpenAI 等机构联合发布 AI 恶意使用预测论文

    OpenAI 与未来人类研究所、存在风险研究中心、新美国安全中心、电子前沿基金会等机构合作,共同撰写了一篇论文,预测恶意行为者可能如何滥用 AI 技术,以及可以预防和缓解这些威胁的潜在方法。该论文是双方近一年持续合作的成果。

    推荐理由:OpenAI 与多家机构合作近一年,梳理 AI 被恶意滥用的可能路径与防范思路。

2月15日周四