OpenAI 构建神经定理证明器，用 Lean 求解部分数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能够求解多道高难度高中数学奥赛题，包括来自 AMC12 和 AIME 的题目，以及两道改编自 IMO 的题目。
推荐理由：OpenAI 用神经定理证明器在 Lean 中解出 AMC12、AIME 及两道改编自 IMO 的题目，可了解形式化数学推理的早期进展。
#推理
#推理
今日 2 条OpenAI News精选AI 评分6262
Hugging Face BlogAI 评分2222 Hugging Face 如何用 Intel 软件在现代 CPU 上扩展 BERT 类模型推理（第二部分）
Hugging Face 博客第二部分聚焦软件优化，介绍如何借助 Intel oneAPI 生态提升 BERT 类模型在现代 CPU 上的推理性能。
OpenAI News精选AI 评分7070 OpenAI 训练数学应用题求解系统，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学数学应用题的系统，准确率约为微调 GPT-3 模型的两倍。该系统能解出约 90% 的题目数量，在一组 9-12 岁儿童样本上，儿童在同一数据集测试中得分 60%，该系统得分为 55%。
推荐理由：读者可了解该数学应用题求解系统与微调 GPT-3 及小学生的准确率对比，判断其能力位置。
Hugging Face BlogAI 评分3838 GPT-Neo 与 🤗 Accelerated Inference API 的 Few-Shot Learning 实践指南
Hugging Face 发布博客，介绍如何用 EleutherAI 的 GPT-Neo 配合 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测。
Hugging Face BlogAI 评分3636 如何在 CPU 上扩展 BERT 推理（上）：Hugging Face 的硬件优化实践
Hugging Face 发布博客，介绍在 CPU 上扩展 BERT 推理的硬件优化方法，基于 AWS c5.metal 实例（Intel Xeon Platinum 8275，48 核/96 线程）测试，使用 transformers 4.5.0、PyTorch 1.8.1 与 TensorFlow 2.4.0。
Hugging Face BlogAI 评分3131 深入理解 BigBird 的块稀疏注意力机制
Hugging Face 发文详解 BigBird 的块稀疏注意力机制，该模型以块稀疏注意力替代 BERT 的完整注意力，可处理最长 4096 的序列，计算成本远低于 BERT，并已在长文档摘要、长上下文问答等任务上取得 SOTA。BigBird 的 RoBERTa 类模型现已上线 🤗Transformers，其注意力是对 BERT 完整注意力的近似，目标是在更长序列上更高效而非超越 BERT。
Hugging Face BlogAI 评分2222 Hugging Face 月度阅读：2021 年 2 月长程 Transformer 专题
Hugging Face 博客 2021 年 2 月阅读小组聚焦长程注意力，梳理了 Longformer、Compressive Transformer、Linformer、Performer 四类降低 Transformer 序列长度二次开销的思路。
Hugging Face BlogAI 评分4040 Hugging Face 如何为 API 客户将 Transformer 推理提速 100 倍
Hugging Face 通过组合 Transformers 与 Tokenizers 库的优化方法，为 Accelerated Inference API 客户实现了 100 倍推理提速。
Hugging Face BlogAI 评分2222 基于 Transformer 的编码器-解码器模型详解
Hugging Face 发布博客，详解基于 Transformer 的编码器-解码器架构如何建模序列到序列问题，并说明其在推理中的使用方式。文章将架构拆解为编码器与解码器两部分，结合大量图示建立理论与 🤗Transformers 实际推理用法的联系，并回顾神经编码器-解码器模型的历史。
OpenAI NewsAI 评分4040 OpenAI 用基于预测的奖励做强化学习，RND 首次在 Montezuma's Revenge 上超越人类平均表现
OpenAI 提出 Random Network Distillation（RND），一种基于预测的奖励方法，通过好奇心鼓励强化学习智能体探索环境。该方法首次在 Montezuma's Revenge 上超越人类平均表现。
OpenAI NewsAI 评分4242 OpenAI 提出分层强化学习算法，学习高层动作加速长程任务求解
OpenAI 开发出一种分层强化学习算法，能学习对求解多类任务有用的高层动作，从而快速解决需要数千个 timestep 的任务。在一组导航问题上，该算法发现了向不同方向行走和爬行的高层动作集合，使智能体能够快速掌握新的导航任务。