OpenAI 发布 Triton 1.0：面向神经网络的开源 GPU 编程语言
OpenAI 发布 Triton 1.0，这是一门开源的类 Python 编程语言，让没有 CUDA 经验的研究者也能编写高效的 GPU 代码，多数情况下能达到专家水平。
推荐理由：OpenAI 开源 Triton 1.0，让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
全部AI 动态
全部动态
今日 7 条OpenAI News精选AI 评分6262
Hugging Face Blog精选AI 评分6262 Hugging Face 提出 DeDLOC：40 名志愿者协作预训练孟加拉语模型 sahajBERT
Hugging Face 联合 Yandex Research 等机构提出 DeDLOC 协作式分布式训练方法，可自适应参与者的网络与硬件条件，并通过 40 名志愿者在互联网上预训练出孟加拉语模型 sahajBERT。
推荐理由：Hugging Face 团队用 40 名志愿者在互联网上预训练出孟加拉语模型，给出了分布式协作训练在真实场景中的可行路径。
Hugging Face BlogAI 评分4040 Hugging Face Hub 正式支持 spaCy 模型
Hugging Face Hub 现已集成 spaCy，用户可通过一条命令上传任意 spaCy pipeline 包，自动生成模型卡和元数据。spaCy 官方组织已上线 60 多个来自 3.1 版本的 canonical 模型，Inference API 开箱支持 NER，并可通过 pip install 直接安装使用。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Amazon SageMaker 推理 DLC，一行代码部署 Transformer 模型
Hugging Face 发布面向 Amazon SageMaker 的 Inference DLC 与 Inference Toolkit，只需在 HuggingFaceModel 后加一行 .deploy() 即可部署模型，也可直接选用 Model Hub 上 10,000+ 公开模型。
Hugging Face BlogAI 评分3838 Hugging Face Hub 集成 Sentence Transformers：发布 v2 与两个新组件
Hugging Face Hub 现已集成 Sentence Transformers 框架，并随 Sentence Transformers v2 发布上线 90 多个预训练模型，覆盖 100 多种语言。
OpenAI NewsAI 评分4040 OpenAI 研究：用精选数据集微调可改善语言模型行为
OpenAI 研究发现，通过在小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。
Hugging Face BlogAI 评分3838 GPT-Neo 与 🤗 Accelerated Inference API 的 Few-Shot Learning 实践指南
Hugging Face 发布博客，介绍如何用 EleutherAI 的 GPT-Neo 配合 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测。
Hugging Face Blog精选AI 评分6060 Gradio 2.0 发布：一行代码加载并混用 Hugging Face 模型
Gradio 2.0 发布，可用一行代码为 Hugging Face 模型加载 GUI，默认调用 Hugging Face 托管的 Inference API，也可本地运行 transformers。该版本支持把多个模型并联对比或串联组合，例如用 3 行代码搭建翻译并摘要芬兰语新闻的应用，安装方式为 pip install gradio。
推荐理由：原文给出 Gradio 2.0 一行代码加载 Hugging Face 模型并串联、并联组合的方式，读者可据此判断搭建模型演示的成本变化。
OpenAI NewsAI 评分2222 OpenAI Scholars 2021 毕业项目发布
OpenAI 宣布 2021 届 OpenAI Scholars 已完成为期六个月的导师计划，并在 OpenAI 提供的津贴与支持下完成了开源研究项目。
OpenAI NewsAI 评分2626 Will Hurd 加入 OpenAI 董事会
美国国会议员 Will Hurd 加入 OpenAI 董事会。OpenAI 表示，实现造福全人类的通用人工智能目标，既需要技术专长，也需要公共政策方面的经验。
Hugging Face BlogAI 评分3636 如何在 CPU 上扩展 BERT 推理（上）：Hugging Face 的硬件优化实践
Hugging Face 发布博客，介绍在 CPU 上扩展 BERT 推理的硬件优化方法，基于 AWS c5.metal 实例（Intel Xeon Platinum 8275，48 核/96 线程）测试，使用 transformers 4.5.0、PyTorch 1.8.1 与 TensorFlow 2.4.0。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Accelerate 库，让原始 PyTorch 训练脚本适配分布式与混合精度
Hugging Face 发布 Accelerate 库，面向希望完全掌控训练循环、又不愿编写分布式训练和混合精度样板代码的 PyTorch 用户。只需在标准训练脚本中加入约五行代码，即可在单机多卡、多节点、TPU 等分布式环境以及有无混合精度的情况下运行，并自动处理设备放置。
推荐理由：官方给出五处代码改动即可切换分布式与混合精度的具体做法，便于评估对现有 PyTorch 训练脚本的改造成本。
Hugging Face BlogAI 评分2828 用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 做摘要
Hugging Face 与 Amazon SageMaker 合作推出经优化的 🤗 Transformers 深度学习容器，并在 SageMaker Python SDK 中新增 HuggingFace estimator，一行代码即可启动训练。
Hugging Face BlogAI 评分3131 深入理解 BigBird 的块稀疏注意力机制
Hugging Face 发文详解 BigBird 的块稀疏注意力机制，该模型以块稀疏注意力替代 BERT 的完整注意力，可处理最长 4096 的序列，计算成本远低于 BERT，并已在长文档摘要、长上下文问答等任务上取得 SOTA。BigBird 的 RoBERTa 类模型现已上线 🤗Transformers，其注意力是对 BERT 完整注意力的近似，目标是在更长序列上更高效而非超越 BERT。
OpenAI News精选AI 评分6262 OpenAI 称已有超 300 款应用通过 API 接入 GPT-3
OpenAI 表示，已有超过 300 款应用通过其 API 使用 GPT-3，提供搜索、对话、文本补全等 AI 功能。
Hugging Face BlogAI 评分5252 Hugging Face 与 Amazon 达成战略合作，推出 SageMaker 深度学习容器
Hugging Face 宣布与 Amazon 建立战略合作，并以 AWS 作为其首选云服务商，双方推出 Hugging Face Deep Learning Containers（DLCs），让用户在 Amazon SageMaker 中训练 Transformer 模型。
Hugging Face BlogAI 评分2222 我的 Google Cloud 无服务器 transformers pipeline 部署之旅
社区成员 Maxence Dominici 在 Google Cloud 上部署了 transformers 情感分析 pipeline，用于自动判断 Discord 中客户评论的正负向。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 Wav2Vec2 实现英文 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 在任意英文 ASR 数据集上微调 Wav2Vec2 预训练检查点。教程以仅含 5 小时训练数据的 Timit 数据集为例，采用 CTC 微调 base 版检查点，并借助 jiwer 以 WER 指标评估模型。
Hugging Face BlogAI 评分2222 Hugging Face 月度阅读：2021 年 2 月长程 Transformer 专题
Hugging Face 博客 2021 年 2 月阅读小组聚焦长程注意力，梳理了 Longformer、Compressive Transformer、Linformer、Performer 四类降低 Transformer 序列长度二次开销的思路。
OpenAI News精选AI 评分6060 OpenAI 在 CLIP 中发现多模态神经元
OpenAI 在 CLIP 中发现了一类多模态神经元，无论概念以文字、符号还是概念形式呈现，这些神经元都会产生响应。这可能解释 CLIP 为何能准确分类出人意料的概念视觉变体，也是理解 CLIP 及类似模型所学关联与偏见的重要一步。
推荐理由：OpenAI 在 CLIP 中发现对同一概念的多模态神经元，为理解其分类准确性与习得偏见提供线索。
Hugging Face BlogAI 评分2222 Hugging Face 工程师谈构建神经网络时的调试思路
Hugging Face 工程师分享构建和调试神经网络的思考流程，核心观点是先放下机器学习、专注理解数据，再像初学者一样从简单基线做起，并敢于拆解那些"5 行代码"模板。文中建议通过在小批量样本（如 16 条）上过拟合、观察是否达到 0 loss 来验证实现是否正确，并强调要建立合理的对比基线。
Hugging Face BlogAI 评分3434 Hugging Face Transformers 与 Ray 集成：RAG 检索提速 2 倍
Hugging Face Transformers 的 RAG 模型集成 Ray 实现分布式文档检索，每次检索调用相比 torch.distributed 提速 2 倍，并改善了 RAG 分布式微调的可扩展性。
Hugging Face BlogAI 评分5050 Hugging Face 在 PyTorch / XLA TPU 上训练 Transformer
Hugging Face 与 Facebook PyTorch、Google TPU 团队合作，让用户通过 PyTorch / XLA 在 Cloud TPU 上训练 Transformer，并保持与 Hugging Face Trainer 完全相同的接口。
Hugging Face BlogAI 评分2222 Hugging Face Transformers 中的 TensorFlow 模型提速：BERT 等推理性能提升
Hugging Face 在 Transformers v4.2.0 中优化了 TensorFlow 版 BERT、RoBERTa、ELECTRA 和 MPNet，在 GPU V100、序列长度 128 下，BERT 推理速度比 Google 官方实现快约 10%，比 v4.1.1 快一倍。
OpenAI NewsAI 评分3636 OpenAI 将 Kubernetes 集群扩展至 7,500 节点
OpenAI 将 Kubernetes 集群扩展至 7,500 节点，为 GPT-3、CLIP、DALL·E 等大模型提供可扩展基础设施，同时支持小规模快速迭代研究。
Hugging Face Blog精选AI 评分6262 用 DeepSpeed 和 FairScale 的 ZeRO 训练更快、装下更大模型
Hugging Face 的 transformers v4.2.0 起通过 --sharded_ddp 和 --deepspeed 两个 Trainer 参数实验性支持 FairScale 与 DeepSpeed 的 ZeRO 功能。
推荐理由：作者用 t5-large 与 t5-3b 实测对比 FairScale 与 DeepSpeed 的显存与速度差异，并给出可直接复用的 Trainer 参数。
Hugging Face BlogAI 评分4040 Hugging Face 如何为 API 客户将 Transformer 推理提速 100 倍
Hugging Face 通过组合 Transformers 与 Tokenizers 库的优化方法，为 Accelerated Inference API 客户实现了 100 倍推理提速。
OpenAI News精选AI 评分8080 OpenAI 发布 CLIP：用自然语言连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称，即可应用于任意视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：OpenAI 介绍 CLIP 用自然语言监督学习视觉概念，读者可了解零样本视觉分类的思路来源。
OpenAI News精选AI 评分8888 OpenAI 发布 DALL·E：从文本生成图像
OpenAI 训练了一个名为 DALL·E 的神经网络，可根据自然语言文本描述生成图像，覆盖自然语言可表达的多种概念。
推荐理由：OpenAI 公布 DALL·E 这一从文本生成图像的神经网络，可据此了解文生图方向的早期形态。
OpenAI NewsAI 评分2323 OpenAI 组织架构更新
OpenAI 发布组织更新，称过去一年公司经历了剧烈变化与增长。原文未披露具体调整内容。
Hugging Face BlogAI 评分2828 如何用预训练语言模型检查点热启动编码器-解码器模型
Hugging Face 发布教程，介绍如何用 BERT、GPT2 等预训练检查点热启动编码器-解码器模型，从而跳过昂贵的预训练。基于 Rothe et al. (2020) 的方法，这类热启动模型在多个序列到序列任务上可达到 T5、Pegasus 等大型预训练模型的竞争力，训练成本仅为后者一小部分。教程包含理论、分析及基于 🤗Transformers 的完整代码示例。
Hugging Face BlogAI 评分3434 将 fairseq wmt19 翻译系统移植到 transformers
Hugging Face 博客发布 Stas Bekman 的客座文章，记录将 fairseq wmt19 翻译系统移植到 transformers 的完整过程。作者选用 en-ru / ru-en 预训练模型进行移植，并创建了 configuration_fsmt.py、modeling_fsmt.py、tokenization_fsmt.py 及转换脚本等文件。
Hugging Face BlogAI 评分4040 Hugging Face Transformers 与 Ray Tune 集成实现超参数搜索
Hugging Face Transformers 在 3.1 版本中与 Ray Tune 集成，用户只需几行代码即可调用 HyperBand、Bayesian Optimization、Population-Based Training 等调参算法。
Hugging Face BlogAI 评分2222 基于 Transformer 的编码器-解码器模型详解
Hugging Face 发布博客，详解基于 Transformer 的编码器-解码器架构如何建模序列到序列问题，并说明其在推理中的使用方式。文章将架构拆解为编码器与解码器两部分，结合大量图示建立理论与 🤗Transformers 实际推理用法的联系，并回顾神经编码器-解码器模型的历史。
OpenAI News精选AI 评分6262 OpenAI 将 GPT-3 技术授权给 Microsoft
OpenAI 宣布已同意将 GPT-3 授权给 Microsoft，用于其自有产品和服务。
推荐理由：OpenAI 将 GPT-3 授权给 Microsoft 用于其自有产品和服务，读者可据此了解双方早期的技术授权关系。
Hugging Face BlogAI 评分5050 Hugging Face 发布 pytorch_block_sparse：让语言模型更小更快
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse，其 BlockSparseLinear 可直接替换 torch.nn.Linear，实现块稀疏矩阵运算。
OpenAI NewsAI 评分5252 OpenAI 用人类反馈训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
OpenAI NewsAI 评分2020 OpenAI Scholars 2020 公布最终项目
OpenAI Scholars 2020 届学员在线上 Demo Day 展示了最终项目，呈现过去五个多月的研究成果。这是该项目的第三届学员班。
Hugging Face BlogAI 评分4040 Reformer 如何用不到 8GB 内存训练 50 万 token 长序列
Hugging Face 博客详解 Reformer 模型，它能在不到 8GB 内存下训练长度达 50 万 token 的序列，而 bert-base-uncased 仅支持 512 token。Reformer 通过局部自注意力、LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四项改造降低内存占用，并已集成进 Transformers 库。
OpenAI NewsAI 评分2222 OpenAI 联合举办 Procgen 与 MineRL 竞赛
OpenAI 宣布与 AIcrowd、卡内基梅隆大学和 DeepMind 联合举办两场 NeurIPS 2020 竞赛，分别基于 Procgen Benchmark 和 MineRL。
最多提供 50 页，更早的内容请使用搜索或主题页。