OpenAI 提出分层强化学习算法，学习高层动作加速长程任务求解
OpenAI 开发出一种分层强化学习算法，能学习对求解多类任务有用的高层动作，从而快速解决需要数千个 timestep 的任务。在一组导航问题上，该算法发现了向不同方向行走和爬行的高层动作集合，使智能体能够快速掌握新的导航任务。
全部AI 动态
全部动态
今日 2 条OpenAI NewsAI 评分4242
OpenAI NewsAI 评分4040 OpenAI 机器人控制器如何从模拟泛化到真实环境
OpenAI 最新机器人技术让完全在模拟中训练的控制器部署到实体机器人后，能应对环境中的意外变化并完成简单任务。与以往的开环系统不同，这些技术构建的是闭环系统。
OpenAI NewsAI 评分2222 OpenAI 用元学习让机器人摔跤手快速击败更强对手
OpenAI 展示在模拟机器人摔跤任务中，元学习智能体可快速击败更强的非元学习智能体，并能适应自身物理故障。
OpenAI News精选AI 评分6262 OpenAI 研究：自博弈让模拟 AI 自行学会身体技能
OpenAI 发现自博弈能让模拟 AI 自行发现擒抱、闪避、假动作、踢球、接球和扑球等身体技能，而无需在设计环境时显式加入这些技能。自博弈还能让环境难度始终与 AI 水平匹配，便于持续提升。结合此前的 Dota 2 自博弈结果，OpenAI 表示对自博弈将成为未来强大 AI 系统的核心部分越来越有信心。
推荐理由：OpenAI 用自博弈让模拟 AI 自行涌现出擒抱、假动作等身体技能，可与 Dota 2 结果对照理解自博弈的训练价值。
OpenAI NewsAI 评分2626 OpenAI 发布 LOLA 算法：在迭代囚徒困境中建模他方学习
OpenAI 发布 Learning with Opponent-Learning Awareness（LOLA）算法，该算法在建模时考虑其他智能体也在学习，从而在迭代囚徒困境中发现"以牙还牙"这类既自利又合作的策略。OpenAI 称这是迈向能够建模他方心智的智能体的一小步。
OpenAI News精选AI 评分8383 OpenAI 详解 Dota 2：自对弈如何把系统从远低于人类提升到超人水平
OpenAI 发文说明其 Dota 2 结果表明，在算力充足的前提下，自对弈能把机器学习系统的表现从远低于人类水平提升到超人水平。该系统在一个月内从勉强与高排名玩家打平，发展到击败顶尖职业选手，此后仍在持续进步。OpenAI 指出，监督式深度学习系统的上限取决于训练数据集，而自对弈系统的可用数据会随着智能体变强而自动改善。
推荐理由：OpenAI 用 Dota 2 结果说明自对弈在算力充足时能把系统从远低于人类提升到超人水平。
OpenAI NewsAI 评分2020 OpenAI 用参数噪声改进强化学习探索
OpenAI 发现，向强化学习算法的参数中加入自适应噪声（参数噪声）往往能提升性能。该方法实现简单，且极少导致性能下降，因此值得在任何问题上尝试。
OpenAI News精选AI 评分7575 OpenAI 发布强化学习算法 PPO
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），其表现与当时最先进方法相当或更好，同时实现和调参都更简单。PPO 因易用且性能良好，已成为 OpenAI 的默认强化学习算法。
推荐理由：OpenAI 发布 PPO 强化学习算法，读者可了解它为何成为 OpenAI 默认算法及相比已有方法的简化之处。
OpenAI News精选AI 评分6060 OpenAI 发布可稳定欺骗神经网络分类器的对抗样本图像
OpenAI 表示已生成一批图像，在多种尺度和视角下都能稳定欺骗神经网络分类器。这一结果对上周提出的说法构成挑战，即自动驾驶汽车因从多个尺度、角度和视角采集图像而难以被恶意欺骗。
推荐理由：OpenAI 用多尺度多视角仍能骗过分类器的图像，回应了上周关于自动驾驶难以被恶意欺骗的说法。
OpenAI News精选AI 评分6262 OpenAI 与 DeepMind 合作提出从人类偏好中学习的方法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类指出两种候选行为中哪一个更好，来推断人类想要什么。OpenAI 称，构建安全 AI 系统的一步是免去人类编写目标函数的需要，因为用简单代理替代复杂目标、或把复杂目标写偏一点，都可能导致不良甚至危险的行为。
推荐理由：OpenAI 与 DeepMind 安全团队合作提出用人类偏好比较替代手写目标函数，为对齐研究提供了一条早期思路。
OpenAI NewsAI 评分2222 OpenAI 谈多智能体环境：学会合作、竞争与沟通
OpenAI 发文指出，智能体争夺资源的多智能体环境是通往 AGI 的踏脚石。这类环境具备两个有用特性：难度由竞争对手的水平决定，与自身克隆体竞争时难度恰好匹配自身水平；同时不存在稳定均衡，智能体再聪明也始终面临变得更聪明的压力。
OpenAI News精选AI 评分6262 OpenAI 发布可在实体机器人上单次学习新任务的机器人系统
OpenAI 发布一套机器人系统，完全在仿真环境中训练后部署到实体机器人上，能够在看过一次示范后学会一项新任务。
推荐理由：OpenAI 早期机器人研究，展示仿真训练后迁移到实体机器人并实现单次示范学习新任务。
OpenAI NewsAI 评分4343 OpenAI 无监督情感神经元：仅预测下一字符即可学到情感表征
OpenAI 开发了一个无监督系统，仅通过预测 Amazon 评论中的下一个字符进行训练，就学到了出色的情感表征。该系统无需情感标注数据，即可在文本中捕捉情感信息。
OpenAI NewsAI 评分2222 OpenAI 打造全球首个在仿真中训练、部署于实体机器人的垃圾邮件检测 AI
OpenAI 称已打造出全球首个完全在仿真环境中训练、并部署到实体机器人上的垃圾邮件检测 AI。该系统将仿真训练与物理机器人部署结合，用于在物理世界中进行垃圾邮件检测。
OpenAI NewsAI 评分4646 OpenAI 发现进化策略可作为强化学习的可扩展替代方案
OpenAI 发现，已有数十年历史的进化策略（ES）在现代强化学习基准（如 Atari/MuJoCo）上性能可与标准强化学习（RL）技术相媲美，同时克服了 RL 的诸多不便。
OpenAI NewsAI 评分5858 OpenAI 研究：智能体如何学会自己发展出语言
OpenAI 发布一项新研究，介绍智能体在其中发展出自己的语言。该帖仅给出研究概要，未提供完整正文。
OpenAI NewsAI 评分2222 OpenAI 探讨强化学习中的奖励函数设定错误
OpenAI 发文探讨强化学习算法中一种反直觉的失效模式：奖励函数设定错误。当奖励函数被错误指定时，算法会以出人意料的方式出现故障。
OpenAI NewsAI 评分4242 OpenAI 参与合著 Google Brain 主导的 AI 安全论文《Concrete Problems in AI Safety》
OpenAI 与 Berkeley、Stanford 研究人员共同合著了 Google Brain 主导的论文《Concrete Problems in AI Safety》，该论文探讨了确保现代机器学习系统按预期运行的诸多研究问题。
OpenAI NewsAI 评分1818 OpenAI 解读生成模型：四个项目与生成模型的现状与未来
OpenAI 介绍了四个围绕生成模型的项目，生成模型是机器学习中无监督学习技术的一个分支。文章同时解释了生成模型是什么、为何重要，以及它们可能的发展方向。