OpenAI 征集大语言模型经济影响研究意向
OpenAI 发起意向征集，邀请研究者参与研究大语言模型的经济影响。该征集面向有意开展相关研究的各方，具体参与方式与研究方向未在文中进一步说明。
#OpenAI
#OpenAI
今日 6 条OpenAI NewsAI 评分2020 OpenAI NewsAI 评分2222 OpenAI 分享语言模型安全与滥用问题的经验教训
OpenAI 分享了其在语言模型安全与滥用方面的最新思考，旨在帮助其他 AI 开发者应对已部署模型的安全与滥用问题。
OpenAI News精选AI 评分6262 OpenAI 构建神经定理证明器，用 Lean 求解部分数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能够求解多道高难度高中数学奥赛题，包括来自 AMC12 和 AIME 的题目，以及两道改编自 IMO 的题目。
推荐理由：OpenAI 用神经定理证明器在 Lean 中解出 AMC12、AIME 及两道改编自 IMO 的题目，可了解形式化数学推理的早期进展。
OpenAI News精选AI 评分8282 OpenAI 发布 InstructGPT，让语言模型更好遵循用户指令
OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型 InstructGPT，同时更真实、毒性更低，相关技术来自其对齐研究。这些模型采用人类参与的训练方式，现已作为 OpenAI API 的默认语言模型部署。
推荐理由：OpenAI 公布 InstructGPT 的指令跟随与真实性改进，并说明其已替换 API 默认模型。
OpenAI News精选AI 评分6262 OpenAI API 推出文本与代码 embeddings 端点
OpenAI 在 API 中新增 embeddings 端点，用于自然语言与代码任务，包括语义搜索、聚类、主题建模和分类。
推荐理由：OpenAI 在 API 中新增 embeddings 端点，读者可据此了解语义搜索与分类等任务的接入方式。
OpenAI NewsAI 评分5252 OpenAI 发布 WebGPT：通过网页浏览提升语言模型事实准确率
OpenAI 对 GPT-3 进行微调，使其能借助基于文本的网页浏览器更准确地回答开放式问题。
OpenAI NewsAI 评分3838 OpenAI 推出 GPT-3 微调功能：一条命令即可定制
OpenAI 为 GPT-3 推出微调功能，开发者只需一条命令即可针对自己的应用定制模型。该功能面向需要将 GPT-3 适配特定任务的开发者，具体可用方式与价格尚未在文中披露。
OpenAI NewsAI 评分2222 OpenAI 推出 Residency 人才计划
OpenAI 宣布推出 OpenAI Residency，作为其支持和培养 AI 人才努力的一部分。该计划面向有志进入 AI 领域的人才，具体安排与申请细节尚未在公告中披露。
OpenAI News精选AI 评分6767 OpenAI API 取消等待名单，全面开放
OpenAI 宣布其 API 不再需要等待名单即可使用，官方称更广泛的开放得益于安全方面的进展。
推荐理由：OpenAI API 取消等待名单，读者可据此了解其开放范围与安全进展的关系。
OpenAI News精选AI 评分7070 OpenAI 训练数学应用题求解系统，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学数学应用题的系统，准确率约为微调 GPT-3 模型的两倍。该系统能解出约 90% 的题目数量，在一组 9-12 岁儿童样本上，儿童在同一数据集测试中得分 60%，该系统得分为 55%。
推荐理由：读者可了解该数学应用题求解系统与微调 GPT-3 及小学生的准确率对比，判断其能力位置。
Hugging Face BlogAI 评分2222 用遥感（卫星）图像与描述微调 CLIP
一个跨 12 个时区的团队用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP，让模型支持用文本查询检索卫星图像。RSICD 约含 10,000 张来自 Google Earth、百度地图等的图像，每张最多 5 条描述；训练采用对比学习，并用图像增强与 Marian MT 回译文本增强抑制过拟合。模型已开放下载，并提供在线 demo。
OpenAI NewsAI 评分4242 OpenAI 用人类反馈摘要书籍：为难以评估的任务扩展人类监督
OpenAI 提出用人类反馈来扩展 AI 系统在难以评估任务上的监督能力，并以书籍摘要作为测试场景。该方法针对的是评估困难、无法用简单指标衡量的任务，试图让人类监督在规模上可行。
OpenAI NewsAI 评分2020 Helen Toner 加入 OpenAI 董事会
OpenAI 宣布任命 Helen Toner 为董事会成员。Helen Toner 此前担任乔治城大学安全与新兴技术中心（CSET）战略主管，其任命于今日公布。
OpenAI News精选AI 评分6060 OpenAI 发布改进版 Codex，通过 API 开放私测
OpenAI 发布改进版 Codex，这是其将自然语言转换为代码的 AI 系统。该版本从今天起通过 API 以私测形式开放。
推荐理由：OpenAI 官方公布 Codex 改进版本并开放 API 私测，读者可了解自然语言转代码能力的接入方式。
OpenAI News精选AI 评分6262 OpenAI 发布 Triton 1.0：面向神经网络的开源 GPU 编程语言
OpenAI 发布 Triton 1.0，这是一门开源的类 Python 编程语言，让没有 CUDA 经验的研究者也能编写高效的 GPU 代码，多数情况下能达到专家水平。
推荐理由：OpenAI 开源 Triton 1.0，让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
OpenAI NewsAI 评分4040 OpenAI 研究：用精选数据集微调可改善语言模型行为
OpenAI 研究发现，通过在小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。
OpenAI NewsAI 评分2222 OpenAI Scholars 2021 毕业项目发布
OpenAI 宣布 2021 届 OpenAI Scholars 已完成为期六个月的导师计划，并在 OpenAI 提供的津贴与支持下完成了开源研究项目。
OpenAI NewsAI 评分2626 Will Hurd 加入 OpenAI 董事会
美国国会议员 Will Hurd 加入 OpenAI 董事会。OpenAI 表示，实现造福全人类的通用人工智能目标，既需要技术专长，也需要公共政策方面的经验。
OpenAI News精选AI 评分6262 OpenAI 称已有超 300 款应用通过 API 接入 GPT-3
OpenAI 表示，已有超过 300 款应用通过其 API 使用 GPT-3，提供搜索、对话、文本补全等 AI 功能。
OpenAI News精选AI 评分6060 OpenAI 在 CLIP 中发现多模态神经元
OpenAI 在 CLIP 中发现了一类多模态神经元，无论概念以文字、符号还是概念形式呈现，这些神经元都会产生响应。这可能解释 CLIP 为何能准确分类出人意料的概念视觉变体，也是理解 CLIP 及类似模型所学关联与偏见的重要一步。
推荐理由：OpenAI 在 CLIP 中发现对同一概念的多模态神经元，为理解其分类准确性与习得偏见提供线索。
OpenAI NewsAI 评分3636 OpenAI 将 Kubernetes 集群扩展至 7,500 节点
OpenAI 将 Kubernetes 集群扩展至 7,500 节点，为 GPT-3、CLIP、DALL·E 等大模型提供可扩展基础设施，同时支持小规模快速迭代研究。
OpenAI News精选AI 评分8080 OpenAI 发布 CLIP：用自然语言连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称，即可应用于任意视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：OpenAI 介绍 CLIP 用自然语言监督学习视觉概念，读者可了解零样本视觉分类的思路来源。
OpenAI News精选AI 评分8888 OpenAI 发布 DALL·E：从文本生成图像
OpenAI 训练了一个名为 DALL·E 的神经网络，可根据自然语言文本描述生成图像，覆盖自然语言可表达的多种概念。
推荐理由：OpenAI 公布 DALL·E 这一从文本生成图像的神经网络，可据此了解文生图方向的早期形态。
OpenAI NewsAI 评分2323 OpenAI 组织架构更新
OpenAI 发布组织更新，称过去一年公司经历了剧烈变化与增长。原文未披露具体调整内容。
OpenAI News精选AI 评分6262 OpenAI 将 GPT-3 技术授权给 Microsoft
OpenAI 宣布已同意将 GPT-3 授权给 Microsoft，用于其自有产品和服务。
推荐理由：OpenAI 将 GPT-3 授权给 Microsoft 用于其自有产品和服务，读者可据此了解双方早期的技术授权关系。
OpenAI NewsAI 评分5252 OpenAI 用人类反馈训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
OpenAI NewsAI 评分2020 OpenAI Scholars 2020 公布最终项目
OpenAI Scholars 2020 届学员在线上 Demo Day 展示了最终项目，呈现过去五个多月的研究成果。这是该项目的第三届学员班。
OpenAI NewsAI 评分2222 OpenAI 联合举办 Procgen 与 MineRL 竞赛
OpenAI 宣布与 AIcrowd、卡内基梅隆大学和 DeepMind 联合举办两场 NeurIPS 2020 竞赛，分别基于 Procgen Benchmark 和 MineRL。
OpenAI News精选AI 评分6060 OpenAI 发布 Image GPT：用 Transformer 生成图像并做无监督分类
OpenAI 发现，正如在语言上训练的大型 Transformer 能生成连贯文本，同一模型在像素序列上训练后也能生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性，表明其最佳生成模型在无监督设定下所含特征可与顶级卷积网络竞争。
推荐理由：原文给出用同一 Transformer 处理像素序列生成图像并做无监督分类的早期思路，可了解生成与表征学习的关联。
OpenAI News精选AI 评分7878 OpenAI 发布 API，开放其新 AI 模型的访问接口
OpenAI 发布 API，用于访问 OpenAI 开发的新 AI 模型。
推荐理由：OpenAI 官方发布 API，读者可了解其模型首次以接口形式对外开放这一节点。
OpenAI News精选AI 评分8282 OpenAI 论文：语言模型是少样本学习器
OpenAI 发布题为《Language models are few-shot learners》的论文，提出语言模型具备少样本学习能力。
OpenAI News精选AI 评分6262 OpenAI 分析：ImageNet 训练算力每 16 个月减半
OpenAI 发布一项分析，指出自 2012 年以来，在 ImageNet 分类上训练达到同等性能的神经网络所需算力每 16 个月减少一半。与 2012 年相比，如今训练到 AlexNet 水平所需的算力减少了 44 倍，而同期摩尔定律带来的成本改善约为 11 倍。分析认为，在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 训练算力数据量化算法进步速度，可与摩尔定律对照理解 AI 效率来源。
OpenAI News精选AI 评分6262 OpenAI 发布音乐生成神经网络 Jukebox
OpenAI 推出 Jukebox，一个能生成音乐（包括初级人声）的神经网络，以原始音频形式输出，覆盖多种曲风和艺术家风格。OpenAI 同时公开了模型权重和代码，并提供用于试听生成样本的工具。
推荐理由：OpenAI 公开 Jukebox 的模型权重与代码，读者可了解其生成原始音频音乐的能力边界。
OpenAI NewsAI 评分3131 OpenAI 参与发布 AI 可验证性报告，提出 10 项机制
OpenAI 参与撰写的多利益相关方报告提出 10 项机制，用于提升 AI 系统相关声明的可验证性。该报告由 30 家机构的 58 位合著者共同完成，涵盖 Centre for the Future of Intelligence、Mila、Schwartz Reisman Institute for Technology and Society 等。
OpenAI NewsAI 评分4242 OpenAI 推出 Microscope：八个视觉模型的可视化工具
OpenAI 推出 Microscope，一个收录八个视觉"模式生物"模型中每个重要层与神经元可视化的工具集。它让研究者更易分析这些神经网络内部形成的特征，以推动对复杂系统的理解。
OpenAI NewsAI 评分4040 OpenAI 将深度学习框架标准化为 PyTorch
OpenAI 宣布将其深度学习框架标准化为 PyTorch。
OpenAI News精选AI 评分7070 OpenAI 发布神经语言模型的缩放定律研究
OpenAI 发布关于神经语言模型缩放定律的研究，探讨模型性能与规模之间的关系。
OpenAI News精选AI 评分6262 OpenAI 发布 Dota 2 大规模深度强化学习研究
OpenAI 发布关于 Dota 2 大规模深度强化学习的研究，标题为 Dota 2 with large scale deep reinforcement learning，正文内容未能获取。
OpenAI NewsAI 评分3838 OpenAI 研究：深度神经网络中的双重下降现象
OpenAI 发现双重下降现象在 CNN、ResNet 和 Transformer 中普遍存在：随着模型规模、数据量或训练时间增加，性能先提升、再变差、然后再次提升。这一效应通常可通过精细的正则化避免，但其成因尚不完全清楚，OpenAI 将其视为重要研究方向。
OpenAI NewsAI 评分3232 OpenAI 发布 Procgen Benchmark：16 个程序化生成环境
OpenAI 发布 Procgen Benchmark，包含 16 个易于使用的程序化生成环境，用于直接衡量强化学习智能体学习可泛化技能的速度。