OpenAI 用自动发现的类型实现实体消歧
OpenAI 构建了一套实体消歧系统,通过神经网络判断一个词是否属于约 100 个自动发现的“类型”(非互斥类别),从而自动确定该词指代的是哪个对象。
OpenAI 构建了一套实体消歧系统,通过神经网络判断一个词是否属于约 100 个自动发现的“类型”(非互斥类别),从而自动确定该词指代的是哪个对象。
OpenAI 发布针对块稀疏权重神经网络的高度优化 GPU kernel,按所选稀疏度可比 cuBLAS 或 cuSPARSE 快数个数量级。OpenAI 表示已用这些 kernel 在文本情感分析和文本、图像生成建模上取得当时的最优结果。
推荐理由:OpenAI 公开面向块稀疏权重网络的 GPU kernel,并给出相对 cuBLAS 与 cuSPARSE 的加速幅度和落地任务。
OpenAI 发现自博弈能让模拟 AI 自行发现擒抱、闪避、假动作、踢球、接球和扑球等身体技能,而无需在设计环境时显式加入这些技能。自博弈还能让环境难度始终与 AI 水平匹配,便于持续提升。结合此前的 Dota 2 自博弈结果,OpenAI 表示对自博弈将成为未来强大 AI 系统的核心部分越来越有信心。
推荐理由:OpenAI 用自博弈让模拟 AI 自行涌现出擒抱、假动作等身体技能,可与 Dota 2 结果对照理解自博弈的训练价值。
OpenAI 发现,向强化学习算法的参数中加入自适应噪声(参数噪声)往往能提升性能。该方法实现简单,且极少导致性能下降,因此值得在任何问题上尝试。
OpenAI 开发了一个无监督系统,仅通过预测 Amazon 评论中的下一个字符进行训练,就学到了出色的情感表征。该系统无需情感标注数据,即可在文本中捕捉情感信息。
OpenAI 认为深度学习是一门经验科学,团队基础设施的质量是进展的倍增器。如今的开源生态让任何人都能搭建出色的深度学习基础设施。
OpenAI 介绍了四个围绕生成模型的项目,生成模型是机器学习中无监督学习技术的一个分支。文章同时解释了生成模型是什么、为何重要,以及它们可能的发展方向。