OpenAI 宣布 DALL·E 取消等待名单,新用户可直接使用
OpenAI 宣布 DALL·E 不再需要等待名单,新用户可以直接开始创作。官方表示,部署中积累的经验以及安全系统的改进使更广泛的开放成为可能。
推荐理由:OpenAI 官方说明 DALL·E 取消等待名单,并给出安全系统改进这一放开依据。
OpenAI 宣布 DALL·E 不再需要等待名单,新用户可以直接开始创作。官方表示,部署中积累的经验以及安全系统的改进使更广泛的开放成为可能。
推荐理由:OpenAI 官方说明 DALL·E 取消等待名单,并给出安全系统改进这一放开依据。
Hugging Face AutoTrain 新增图像分类任务,用户无需编写代码即可训练模型。上传数据后选择模型候选数量即可开始训练,5 个候选模型、500 张以内图片免费;示例中最佳模型达到 84% 准确率。
Hugging Face 介绍 Accelerate 如何借助 PyTorch 的 meta device、自动 device map 和分片 checkpoint,在显存和内存有限的设备上加载并推理超大模型。
推荐理由:原文拆解了 Accelerate 借助 PyTorch meta device 与分片加载在有限显存下跑大模型的完整流程,方法可直接迁移。
Hugging Face 联合 Intel Labs 和 UKP Lab 发布 SetFit,一个用于 Sentence Transformers 少样本微调的框架,无需提示词或 verbaliser。
推荐理由:原文给出 SetFit 的两阶段训练流程与 RAFT 基准对比,读者可据此判断少样本分类的成本与精度取舍。
Hugging Face 发布首期 Ethics and Society 通讯,计划按季节在春分、秋分、夏至、冬至发布,由公司内部跨部门开放小组“Ethics and Society regulars”撰写。该通讯聚焦如何将伦理价值落地到机器学习开发中,并介绍了模型与 Spaces 仓库“flag”举报功能、Private Hub、评估库、数据偏差分析代码及训练碳排放追踪工具等近期工作。
OpenAI 宣布训练并开源神经网络 Whisper,其在英文语音识别上接近人类水平的稳健性和准确度。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可了解其在英文语音识别上的稳健性与准确度定位。
Hugging Face 发布教程,展示如何用 DeepSpeed 和 Accelerate 加速 176B 参数的 BLOOM 模型推理。
推荐理由:文章给出 BLOOM 176B 在多种并行与量化方案下的实测吞吐和显存占用,可作为大模型推理部署的选型参考。
Hugging Face 发布 diffusers 0.3,新增图生图 pipeline、Textual Inversion、实验性 inpainting 与 ONNX 导出等能力。
推荐理由:diffusers 0.3 集中放出图生图、Textual Inversion 与显存优化,可据此判断扩散模型工具链的成熟度。
Hugging Face 发布教程,教你用 transformers 库的 Trainer 和自定义 Data Collator,在 Google Colab 上从零训练一个离线 Decision Transformer,让 HalfCheetah 学会奔跑。
Hugging Face 发布教程,讲解如何在 NVIDIA GPU 上用 Megatron-LM 训练 GPT2 语言模型,并转换到 Transformers 使用。
OpenAI 为 DALL·E 推出 outpainting 功能,可生成任意尺寸的图像,用于延展创作并讲述更大的故事。
推荐理由:OpenAI 为 DALL·E 加入 outpainting,读者可了解图像生成从单张出图扩展到任意尺寸延展的能力变化。
RAIL Initiative 推出 OpenRAIL 许可框架,并获 Hugging Face 支持,允许 AI 模型免版税开放获取、下游使用与再分发,同时嵌入针对特定关键场景的使用限制条款。该框架主张开源许可证不适配 ML 模型,需在开放与负责任使用之间划界,被视为迈向开放且负责任 ML 开发、使用与获取的许可工具。
OpenAI 正在提升 AI 系统从人类反馈中学习、以及协助人类评估 AI 的能力。其目标是构建一个足够对齐的 AI 系统,进而帮助解决其余所有对齐问题。
Hugging Face Spaces 可通过 3Dmol.js 与 Gradio 的 HTML 组件在浏览器中可视化蛋白质结构,用户输入 4 位 PDB 代码或上传 PDB 文件即可查看。
Hugging Face 发布教程,介绍如何用 Diffusers 库运行 Stable Diffusion 文生图模型。文中给出安装 diffusers==0.10.2 与加载 StableDiffusionPipeline 的代码,并说明 guidance_scale、num_inference_steps 等参数对生成结果的影响。
推荐理由:Hugging Face 官方给出 Stable Diffusion 在 Diffusers 中的完整用法与原理拆解,可据此理解潜空间扩散的组件分工。
Hugging Face 发布教程,演示如何在 AWS DL1 实例上借助 Habana Gaudi 从零预训练 BERT-base,使用 Transformers、Optimum Habana 和 Datasets 库完成掩码语言建模任务。
Hugging Face 展示了如何将 🤗 Transformers 中的 ViT B/16 模型部署到 Google Cloud 的 Vertex AI 平台,用比 Kubernetes 方案更少的代码实现同等扩展能力。
Hugging Face 发布教程,演示如何用 Optimum Graphcore 库在 Graphcore IPU 上微调预训练的 ViT 模型,并以 ChestX-ray14 数据集为例提供完整 notebook。
Hugging Face 阐述了其 transformers 库在 TensorFlow 上的设计哲学:所有 TensorFlow 模型都是 Keras Model 对象,所有层都是 Keras Layer 对象,用户可直接调用 fit()、compile() 和 predict()。库通过 TFAutoModel 等类一行代码加载预训练模型,并强调应保留 Keras 高层 API 而非绕开它。
Hugging Face 发布新库 Skops,支持将 scikit-learn 模型托管到 Hugging Face Hub,并可为模型创建 model card 进行文档化与协作。Skops 通过 hub_utils.init 生成含模型与环境配置的本地仓库,后端使用 joblib 加载模型,Card 类可自动填充超参数、模型结构图及推理组件所需元数据。
Hugging Face 发布教程,讲解如何用 Docker 和 Kubernetes 将上一篇文章中的 Vision Transformer(ViT)本地部署扩展为可服务多用户的集群部署。方案以 TensorFlow Serving 基础镜像容器化 SavedModel,并通过 Google Kubernetes Engine(GKE)管理集群,代码已在配套仓库开源。
OpenAI 发布新版内容审核工具 Moderation endpoint,改进自此前的内容过滤器,即日起面向 OpenAI API 开发者免费开放。
Hugging Face 发布教程,讲解如何从零构建或从 Hub 微调 Sentence Transformers 模型,架构为预训练 Transformer(如 distilroberta-base)加池化层。
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization(PPO),通过将新旧策略的概率比裁剪在 [1−ϵ, 1+ϵ] 区间内,避免策略更新过大,从而提升训练稳定性。文中用 PyTorch 从零实现 PPO,并在 CartPole-v1 和 LunarLander-v2 上验证。
Hugging Face 发布 Private Hub(PH),为机器学习全生命周期提供统一工具集,支持以安全合规的方式加速从研究到生产的各环节。PH 以 Hugging Face Hub 为核心,后者已托管超 60K 模型、6K 数据集和 6K ML 演示应用,模型覆盖 180 种语言、支持最多 25 个 ML 库。
Nyströmformer 通过 Nyström 方法近似标准自注意力,将时间和内存复杂度从 O(n²) 降至 O(n)。它不直接对 softmax 矩阵采样,而是从 query 和 key 中选取 landmark,用分段均值构造 Q̃、K̃,并据此构建三个矩阵完成近似。实验显示仅选 32 或 64 个 landmark 即可在 n=4096 或 8192 的长序列上取得有竞争力的性能。
Hugging Face 于 2022 年 6 月下旬就美国国家 AI 研究资源(NAIRR)中期报告提交了回应,建议任命技术与伦理专家担任顾问、制定模型与数据文档标准、为非技术专家提供低代码或无代码工具。其还建议 NAIRR 监测开源与开放科学的高风险滥用,并通过多语言工具与资源支持多元研究者视角。
Hugging Face 为 🤗 Datasets 补充了音频和图像数据集的文档,Quickstart 新增端到端加载与处理示例,并引入 to_tf_dataset 函数,可将数据集转换为 tf.data.Dataset 供 TensorFlow 或 Keras 训练。
Hugging Face 的 transformers 库在 TensorFlow 下现可通过 XLA 编译文本生成,速度最高提升 100 倍,甚至快于 PyTorch。该功能需 transformers >= 4.21.0,支持采样、贪心解码、Beam Search 及 temperature、max_new_tokens 等参数控制。
Hugging Face 与外部贡献者已在 Transformers 中加入多种 TensorFlow 视觉模型,包括 Vision Transformer、Masked Autoencoders、RegNet、ConvNeXt。
Hugging Face 深度强化学习课程第 7 单元讲解 Advantage Actor Critic(A2C),一种结合策略与价值方法的混合架构,通过 Actor 控制行为、Critic 评估动作好坏来降低 Reinforce 的方差、稳定训练。课程使用 Stable-Baselines3 在 PyBullet 机器人环境中训练双足步行者和蜘蛛两个智能体行走。
OpenAI 宣布 DALL·E 进入测试版,将在未来数周从候补名单中邀请 100 万人使用。用户可用每月重置的免费积分生成图像,也可按 115 次生成 15 美元的价格购买额外积分。
推荐理由:OpenAI 公布 DALL·E 测试版开放节奏与积分定价,读者可据此了解早期图像生成产品的使用门槛。
OpenAI 为 DALL·E 2 部署了一项新技术,使其生成的人物图像能更准确地反映世界人口的多样性,以降低偏见并提升安全性。
Hugging Face 博客介绍动态对抗数据收集(DADC):让用户用千奇百怪的手写数字骗过模型,再把骗成功的样本存下来继续训练,循环多轮以提升鲁棒性。教程以 MNIST 手写数字识别为例,用 🤗 Spaces 搭建交互 demo,模型训练 20 个 epoch 后在测试集上达到 89% 准确率,并通过 flag 机制收集对抗样本。
OpenAI 公布 DALL·E 2 研究预览进展,来自 118 个以上国家的 3000 多名艺术家已将 DALL·E 纳入自己的创作流程。OpenAI 表示,早期访问组的艺术家帮助发现了 DALL·E 的新用法,并在其决定 DALL·E 功能时提供了关键意见。
推荐理由:官方披露 DALL·E 2 研究预览的艺术家使用规模,可了解早期创作者如何把它接入创作流程。
Hugging Face 披露了 176B 参数多语言模型 BLOOM 的训练技术细节,该模型基于 GPT3 架构,使用 Megatron-DeepSpeed 框架在 384 张 80GB A100 GPU 上训练,耗时约 3.5 个月。训练数据为 59 种语言、350B token,模型词表大小 250,680,采用 3D 并行(数据、张量、流水线并行)方案。
作者用 Sentence Transformers 和 Gradio Blocks 搭建了一个歌单生成器,将歌词按段落切分后生成嵌入向量,再对文本提示词做语义搜索来匹配歌曲。
Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,可生成 46 种自然语言和 13 种编程语言的文本,由 70 多个国家 1000 多名研究者协作完成,在法国 Jean Zay 超算上训练 117 天。
推荐理由:BLOOM 以 176B 参数覆盖 46 种自然语言,并公开训练中间检查点与优化器状态,为研究大模型内部行为提供了少见的开放样本。
Hugging Face 发布 Twitter 情感分析入门指南,面向开发者和非开发者分别给出方案。开发者可用 Tweepy 抓取推文、通过 Inference API 几行代码完成情感分类,并用 Matplotlib 和 WordCloud 可视化结果;非开发者则可借助无代码工具 Zapier 抓取推文、调用 Inference API 分析并将结果发送至 Google Sheets。
Hugging Face 深度强化学习课程第 5 单元讲解 Policy-Based 方法中的 Policy Gradient,并从头用 PyTorch 实现首个策略梯度算法 Reinforce。
最多提供 50 页,更早的内容请使用搜索或主题页。