跳到正文

OpenAI / ChatGPT

OpenAI 的全部动态:GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。

最新精选

第 221–240 条 · 共 270 条
3月15日周二
2月2日周三
1月27日周四
  1. OpenAI News82

    OpenAI 发布 InstructGPT,让语言模型更好遵循用户指令

    OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型 InstructGPT,同时更真实、毒性更低,相关技术来自其对齐研究。这些模型采用人类参与的训练方式,现已作为 OpenAI API 的默认语言模型部署。

    推荐理由:OpenAI 公布 InstructGPT 的指令跟随与真实性改进,并说明其已替换 API 默认模型。

1月25日周二
11月18日周四
10月29日周五
  1. OpenAI News70

    OpenAI 训练数学应用题求解系统,准确率约为微调 GPT-3 的两倍

    OpenAI 训练了一个求解小学数学应用题的系统,准确率约为微调 GPT-3 模型的两倍。该系统能解出约 90% 的题目数量,在一组 9-12 岁儿童样本上,儿童在同一数据集测试中得分 60%,该系统得分为 55%。

    推荐理由:读者可了解该数学应用题求解系统与微调 GPT-3 及小学生的准确率对比,判断其能力位置。

8月10日周二
7月28日周三
3月25日周四
3月4日周四
  1. OpenAI News60

    OpenAI 在 CLIP 中发现多模态神经元

    OpenAI 在 CLIP 中发现了一类多模态神经元,无论概念以文字、符号还是概念形式呈现,这些神经元都会产生响应。这可能解释 CLIP 为何能准确分类出人意料的概念视觉变体,也是理解 CLIP 及类似模型所学关联与偏见的重要一步。

    推荐理由:OpenAI 在 CLIP 中发现对同一概念的多模态神经元,为理解其分类准确性与习得偏见提供线索。

1月5日周二
  1. OpenAI News80

    OpenAI 发布 CLIP:用自然语言连接文本与图像

    OpenAI 发布名为 CLIP 的神经网络,通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称,即可应用于任意视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。

    推荐理由:OpenAI 介绍 CLIP 用自然语言监督学习视觉概念,读者可了解零样本视觉分类的思路来源。

9月22日周二
6月17日周三
  1. OpenAI News60

    OpenAI 发布 Image GPT:用 Transformer 生成图像并做无监督分类

    OpenAI 发现,正如在语言上训练的大型 Transformer 能生成连贯文本,同一模型在像素序列上训练后也能生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性,表明其最佳生成模型在无监督设定下所含特征可与顶级卷积网络竞争。

    推荐理由:原文给出用同一 Transformer 处理像素序列生成图像并做无监督分类的早期思路,可了解生成与表征学习的关联。

6月11日周四
5月28日周四
5月5日周二
  1. OpenAI News62

    OpenAI 分析:ImageNet 训练算力每 16 个月减半

    OpenAI 发布一项分析,指出自 2012 年以来,在 ImageNet 分类上训练达到同等性能的神经网络所需算力每 16 个月减少一半。与 2012 年相比,如今训练到 AlexNet 水平所需的算力减少了 44 倍,而同期摩尔定律带来的成本改善约为 11 倍。分析认为,在近期投入较高的 AI 任务上,算法进步带来的收益超过传统硬件效率提升。

    推荐理由:OpenAI 用 ImageNet 训练算力数据量化算法进步速度,可与摩尔定律对照理解 AI 效率来源。

4月30日周四
  1. OpenAI News62

    OpenAI 发布音乐生成神经网络 Jukebox

    OpenAI 推出 Jukebox,一个能生成音乐(包括初级人声)的神经网络,以原始音频形式输出,覆盖多种曲风和艺术家风格。OpenAI 同时公开了模型权重和代码,并提供用于试听生成样本的工具。

    推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可了解其生成原始音频音乐的能力边界。

1月23日周四
12月13日周五