OpenAI 推出新版内容审核工具 Moderation endpoint
OpenAI 发布新版内容审核工具 Moderation endpoint,改进自此前的内容过滤器,即日起面向 OpenAI API 开发者免费开放。
OpenAI 发布新版内容审核工具 Moderation endpoint,改进自此前的内容过滤器,即日起面向 OpenAI API 开发者免费开放。
Hugging Face 发布 Private Hub(PH),为机器学习全生命周期提供统一工具集,支持以安全合规的方式加速从研究到生产的各环节。PH 以 Hugging Face Hub 为核心,后者已托管超 60K 模型、6K 数据集和 6K ML 演示应用,模型覆盖 180 种语言、支持最多 25 个 ML 库。
Hugging Face 为 🤗 Datasets 补充了音频和图像数据集的文档,Quickstart 新增端到端加载与处理示例,并引入 to_tf_dataset 函数,可将数据集转换为 tf.data.Dataset 供 TensorFlow 或 Keras 训练。
OpenAI 宣布 DALL·E 进入测试版,将在未来数周从候补名单中邀请 100 万人使用。用户可用每月重置的免费积分生成图像,也可按 115 次生成 15 美元的价格购买额外积分。
推荐理由:OpenAI 公布 DALL·E 测试版开放节奏与积分定价,读者可据此了解早期图像生成产品的使用门槛。
OpenAI 为 DALL·E 2 部署了一项新技术,使其生成的人物图像能更准确地反映世界人口的多样性,以降低偏见并提升安全性。
OpenAI 公布 DALL·E 2 研究预览进展,来自 118 个以上国家的 3000 多名艺术家已将 DALL·E 纳入自己的创作流程。OpenAI 表示,早期访问组的艺术家帮助发现了 DALL·E 的新用法,并在其决定 DALL·E 功能时提供了关键意见。
推荐理由:官方披露 DALL·E 2 研究预览的艺术家使用规模,可了解早期创作者如何把它接入创作流程。
Hugging Face 推出 Evaluation on the Hub,由 AutoTrain 驱动,用户无需写代码即可在 Hub 上用任意数据集评测任意模型。评测结果会以 PR 形式写入模型卡元数据,并可在数据集排行榜上比较不同模型的表现。官方已用该工具在多个关键数据集上评测了数百个模型,并给出文本分类、命名实体识别和文本摘要等可直接试用的数据集示例。
推荐理由:Hugging Face 把模型评测做成 Hub 上的零代码流程,读者可据此了解评测结果如何进入模型卡与排行榜。
Graphcore 与 Hugging Face 扩展了开源库 Optimum 中的模型阵容,新增覆盖 NLP、语音和计算机视觉的 10 个 IPU 优化 Transformer 模型,均附带 IPU 配置文件和预训练、微调权重。
Hugging Face 在 Hub 上线 Pull Requests 和 Discussions,覆盖 models、datasets 和 Spaces 三类仓库,任何社区成员都可在 Community 标签页发起和参与。
OpenAI Codex 现已通过 OpenAI API 为 70 款不同应用提供支持,覆盖多种使用场景。
Sempre Health 借助 Hugging Face 专家加速计划部署了新的 NLP 流水线,用于自动分类并回复患者短信,上线数周后近 20% 的入站消息被自动处理。此前其基于规则的系统只能覆盖约 80% 的短信,Hugging Face 团队在标注、模型选型和方法上提供了指导,缩短了研发时间。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从候补名单中新增最多 1000 名用户。
推荐理由:官方披露 DALL·E 2 预览期用户产出与安全流程改进,并给出每周扩量节奏,可据此判断其开放进度。
Hugging Face 发布 Gradio 3.0,对 Gradio 库进行彻底重设计,前端改用 Svelte 等现代技术,页面体积更小、加载更快,并新增 Gallery 组件和 TabbedInterface 类。
推荐理由:Gradio 3.0 重写前端并推出 Blocks 低层 API,读者可了解它如何让 Python 直接搭建复杂自定义 ML 演示。
Hugging Face 开源库 Optimum 发布 1.2 版本,新增对 Transformers pipelines 的推理支持,首批接入 ONNX Runtime,用户可将 AutoModelForXxx 替换为对应的 ORTModelForXxx 类。
fastai 现已接入 Hugging Face Hub,开发者用一行 Python 的 push_to_hub_fastai 就能把 Learner 上传到 Hub,并通过 from_pretrained_fastai 加载他人模型。
Hugging Face Hub 推出 emissions_threshold 参数,可按训练碳排放量筛选模型,例如搜索排放不超过 100 克的模型可返回 191 个结果。Transformers 集成 codecarbon,训练时自动记录排放数据并生成 emissions.csv,方便写入模型卡。
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hugging Face Hub,并发布 9 个 Gym 环境连续控制任务的预训练 checkpoint,覆盖 Hopper、Walker2D 和 Halfcheetah,Atari 环境 checkpoint 即将推出。
OpenAI 在 API 中新增 embeddings 端点,用于自然语言与代码任务,包括语义搜索、聚类、主题建模和分类。
推荐理由:OpenAI 在 API 中新增 embeddings 端点,读者可据此了解语义搜索与分类等任务的接入方式。
huggingface_hub 库新增 ModelSearchArguments 和 ModelFilter 类,让用户无需离开 IDE 即可通过 Python API 搜索 Hub 上的模型和数据集。
Hugging Face 将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hugging Face Hub,用户可通过 huggingface_sb3 库上传和加载已保存的智能体模型。
Hugging Face 公布 Infinity 在第三代 Intel Xeon 可扩展处理器(Ice Lake)上的端到端推理基准:优化后的 DistilBERT 序列分类容器相比 Ice Lake 上原生 Transformers 延迟与吞吐最高提升 800%,相比 Cascade Lake 实例提升最高 34%。
OpenAI 为 GPT-3 推出微调功能,开发者只需一条命令即可针对自己的应用定制模型。该功能面向需要将 GPT-3 适配特定任务的开发者,具体可用方式与价格尚未在文中披露。
Hugging Face 发布首个自研深度强化学习环境 Snowball Fight 1vs1,基于 Unity ML-Agents 构建,玩家可与深度强化学习智能体对战扔雪球,游戏已托管在 Hugging Face Spaces 并可在线游玩。训练环境已在 Hugging Face Hub 开源,后续将推出 2vs2 版本,使用 MA-POCA 算法训练智能体团队协作。
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool,基于 Dataset 和 Spaces Hub 及 Streamlit 构建,可在线构建、测量和比较数据集。该工具提供数据集基础信息、描述性统计和分布统计三类指标,包括缺失值、词汇量、标签分布、实例长度及 Zipf 定律拟合度等,帮助开发者在无需编程的情况下审查数据集质量与偏差。
OpenAI 宣布其 API 不再需要等待名单即可使用,官方称更广泛的开放得益于安全方面的进展。
推荐理由:OpenAI API 取消等待名单,读者可据此了解其开放范围与安全进展的关系。
Hugging Face 发布开源库 Optimum,目标是简化 Transformers 在特定硬件上的训练与推理性能优化,首个合作方为 Intel。
推荐理由:Hugging Face 官方发布 Optimum 开源库,读者可了解其与 Intel 合作在特定硬件上做模型量化的思路。
OpenAI 发布改进版 Codex,这是其将自然语言转换为代码的 AI 系统。该版本从今天起通过 API 以私测形式开放。
推荐理由:OpenAI 官方公布 Codex 改进版本并开放 API 私测,读者可了解自然语言转代码能力的接入方式。
OpenAI 发布 Triton 1.0,这是一门开源的类 Python 编程语言,让没有 CUDA 经验的研究者也能编写高效的 GPU 代码,多数情况下能达到专家水平。
推荐理由:OpenAI 开源 Triton 1.0,让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
Hugging Face Hub 现已集成 spaCy,用户可通过一条命令上传任意 spaCy pipeline 包,自动生成模型卡和元数据。spaCy 官方组织已上线 60 多个来自 3.1 版本的 canonical 模型,Inference API 开箱支持 NER,并可通过 pip install 直接安装使用。
Hugging Face 发布面向 Amazon SageMaker 的 Inference DLC 与 Inference Toolkit,只需在 HuggingFaceModel 后加一行 .deploy() 即可部署模型,也可直接选用 Model Hub 上 10,000+ 公开模型。
Hugging Face Hub 现已集成 Sentence Transformers 框架,并随 Sentence Transformers v2 发布上线 90 多个预训练模型,覆盖 100 多种语言。
Gradio 2.0 发布,可用一行代码为 Hugging Face 模型加载 GUI,默认调用 Hugging Face 托管的 Inference API,也可本地运行 transformers。该版本支持把多个模型并联对比或串联组合,例如用 3 行代码搭建翻译并摘要芬兰语新闻的应用,安装方式为 pip install gradio。
推荐理由:原文给出 Gradio 2.0 一行代码加载 Hugging Face 模型并串联、并联组合的方式,读者可据此判断搭建模型演示的成本变化。
Hugging Face 发布 Accelerate 库,面向希望完全掌控训练循环、又不愿编写分布式训练和混合精度样板代码的 PyTorch 用户。只需在标准训练脚本中加入约五行代码,即可在单机多卡、多节点、TPU 等分布式环境以及有无混合精度的情况下运行,并自动处理设备放置。
推荐理由:官方给出五处代码改动即可切换分布式与混合精度的具体做法,便于评估对现有 PyTorch 训练脚本的改造成本。
OpenAI 表示,已有超过 300 款应用通过其 API 使用 GPT-3,提供搜索、对话、文本补全等 AI 功能。
Hugging Face 通过组合 Transformers 与 Tokenizers 库的优化方法,为 Accelerated Inference API 客户实现了 100 倍推理提速。
OpenAI 发布 API,用于访问 OpenAI 开发的新 AI 模型。
推荐理由:OpenAI 官方发布 API,读者可了解其模型首次以接口形式对外开放这一节点。
OpenAI 推出 Microscope,一个收录八个视觉"模式生物"模型中每个重要层与神经元可视化的工具集。它让研究者更易分析这些神经网络内部形成的特征,以推动对复杂系统的理解。
OpenAI 发布 Safety Gym,一套用于衡量强化学习智能体在训练中遵守安全约束进展的环境与工具。该套件面向在训练过程中尊重安全约束的强化学习智能体,提供相应的环境和工具来度量其进展。
OpenAI 发布强化学习游戏平台 Gym Retro 的完整版,公开游戏数量从约 70 款 Atari 游戏和 30 款 Sega 游戏扩展到覆盖多种模拟器的 1000 多款游戏。同时发布的还有用于向该平台添加新游戏的工具。
推荐理由:OpenAI 把强化学习游戏平台从约百款扩展到 1000 多款,并公开添加新游戏的工具,可据此判断其覆盖范围与可扩展性。
OpenAI Baselines 发布 ACKTR 和 A2C 两个新实现。A2C 是 A3C 的同步确定性变体,性能与之相当;ACKTR 比 TRPO 和 A2C 更具样本效率,每次更新仅比 A2C 略多计算量。