OpenAI 发布 GPT-3 与 Codex 新版本,支持编辑和插入内容
OpenAI 发布 GPT-3 和 Codex 的新版本,可在已有文本中编辑或插入内容,而不再只是续写现有文本。
推荐理由:OpenAI 官方说明 GPT-3 与 Codex 新增编辑和插入能力,读者可了解模型从续写扩展到改写已有文本。
OpenAI 的全部动态:GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。
OpenAI 发布 GPT-3 和 Codex 的新版本,可在已有文本中编辑或插入内容,而不再只是续写现有文本。
推荐理由:OpenAI 官方说明 GPT-3 与 Codex 新增编辑和插入能力,读者可了解模型从续写扩展到改写已有文本。
OpenAI 构建了一个面向 Lean 的神经定理证明器,能够求解多道高难度高中数学奥赛题,包括来自 AMC12 和 AIME 的题目,以及两道改编自 IMO 的题目。
推荐理由:OpenAI 用神经定理证明器在 Lean 中解出 AMC12、AIME 及两道改编自 IMO 的题目,可了解形式化数学推理的早期进展。
OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型 InstructGPT,同时更真实、毒性更低,相关技术来自其对齐研究。这些模型采用人类参与的训练方式,现已作为 OpenAI API 的默认语言模型部署。
推荐理由:OpenAI 公布 InstructGPT 的指令跟随与真实性改进,并说明其已替换 API 默认模型。
OpenAI 在 API 中新增 embeddings 端点,用于自然语言与代码任务,包括语义搜索、聚类、主题建模和分类。
推荐理由:OpenAI 在 API 中新增 embeddings 端点,读者可据此了解语义搜索与分类等任务的接入方式。
OpenAI 宣布其 API 不再需要等待名单即可使用,官方称更广泛的开放得益于安全方面的进展。
推荐理由:OpenAI API 取消等待名单,读者可据此了解其开放范围与安全进展的关系。
OpenAI 训练了一个求解小学数学应用题的系统,准确率约为微调 GPT-3 模型的两倍。该系统能解出约 90% 的题目数量,在一组 9-12 岁儿童样本上,儿童在同一数据集测试中得分 60%,该系统得分为 55%。
推荐理由:读者可了解该数学应用题求解系统与微调 GPT-3 及小学生的准确率对比,判断其能力位置。
OpenAI 发布改进版 Codex,这是其将自然语言转换为代码的 AI 系统。该版本从今天起通过 API 以私测形式开放。
推荐理由:OpenAI 官方公布 Codex 改进版本并开放 API 私测,读者可了解自然语言转代码能力的接入方式。
OpenAI 发布 Triton 1.0,这是一门开源的类 Python 编程语言,让没有 CUDA 经验的研究者也能编写高效的 GPU 代码,多数情况下能达到专家水平。
推荐理由:OpenAI 开源 Triton 1.0,让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
OpenAI 表示,已有超过 300 款应用通过其 API 使用 GPT-3,提供搜索、对话、文本补全等 AI 功能。
OpenAI 在 CLIP 中发现了一类多模态神经元,无论概念以文字、符号还是概念形式呈现,这些神经元都会产生响应。这可能解释 CLIP 为何能准确分类出人意料的概念视觉变体,也是理解 CLIP 及类似模型所学关联与偏见的重要一步。
推荐理由:OpenAI 在 CLIP 中发现对同一概念的多模态神经元,为理解其分类准确性与习得偏见提供线索。
OpenAI 发布名为 CLIP 的神经网络,通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称,即可应用于任意视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由:OpenAI 介绍 CLIP 用自然语言监督学习视觉概念,读者可了解零样本视觉分类的思路来源。
OpenAI 训练了一个名为 DALL·E 的神经网络,可根据自然语言文本描述生成图像,覆盖自然语言可表达的多种概念。
推荐理由:OpenAI 公布 DALL·E 这一从文本生成图像的神经网络,可据此了解文生图方向的早期形态。
OpenAI 宣布已同意将 GPT-3 授权给 Microsoft,用于其自有产品和服务。
推荐理由:OpenAI 将 GPT-3 授权给 Microsoft 用于其自有产品和服务,读者可据此了解双方早期的技术授权关系。
OpenAI 发现,正如在语言上训练的大型 Transformer 能生成连贯文本,同一模型在像素序列上训练后也能生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性,表明其最佳生成模型在无监督设定下所含特征可与顶级卷积网络竞争。
推荐理由:原文给出用同一 Transformer 处理像素序列生成图像并做无监督分类的早期思路,可了解生成与表征学习的关联。
OpenAI 发布 API,用于访问 OpenAI 开发的新 AI 模型。
推荐理由:OpenAI 官方发布 API,读者可了解其模型首次以接口形式对外开放这一节点。
OpenAI 发布题为《Language models are few-shot learners》的论文,提出语言模型具备少样本学习能力。
OpenAI 发布一项分析,指出自 2012 年以来,在 ImageNet 分类上训练达到同等性能的神经网络所需算力每 16 个月减少一半。与 2012 年相比,如今训练到 AlexNet 水平所需的算力减少了 44 倍,而同期摩尔定律带来的成本改善约为 11 倍。分析认为,在近期投入较高的 AI 任务上,算法进步带来的收益超过传统硬件效率提升。
推荐理由:OpenAI 用 ImageNet 训练算力数据量化算法进步速度,可与摩尔定律对照理解 AI 效率来源。
OpenAI 推出 Jukebox,一个能生成音乐(包括初级人声)的神经网络,以原始音频形式输出,覆盖多种曲风和艺术家风格。OpenAI 同时公开了模型权重和代码,并提供用于试听生成样本的工具。
推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可了解其生成原始音频音乐的能力边界。
OpenAI 发布关于神经语言模型缩放定律的研究,探讨模型性能与规模之间的关系。
OpenAI 发布关于 Dota 2 大规模深度强化学习的研究,标题为 Dota 2 with large scale deep reinforcement learning,正文内容未能获取。