OpenAI 发起成立 Frontier Model Forum
OpenAI 正在组建一个新的行业机构 Frontier Model Forum,以推动前沿 AI 系统的安全与负责任开发。该机构将推进 AI 安全研究、确定最佳实践与标准,并促进政策制定者与行业之间的信息共享。
OpenAI 正在组建一个新的行业机构 Frontier Model Forum,以推动前沿 AI 系统的安全与负责任开发。该机构将推进 AI 安全研究、确定最佳实践与标准,并促进政策制定者与行业之间的信息共享。
Hugging Face 与微软合作,在 Azure Machine Learning Studio 内推出 Hugging Face Hub 模型目录,收录数千个热门 Transformers 模型,用户可在托管端点上一键部署。该目录已在所有提供 Azure Machine Learning 的 Azure 区域开放公开预览。
Hugging Face 博客发布教程,演示如何用 Transformers 库(版本 >= 4.27.2)进行图分类,目前该库中唯一的图 Transformer 模型是微软的 Graphormer。
红队测试通过构造自然语言提示词诱导大语言模型输出有害内容,从而暴露其漏洞,与对抗攻击不同,其提示词对人类而言是正常可读的。红队测试可由人工或另一个语言模型执行,针对经 RLHF 或 SFT 对齐的模型需借助角色扮演等创造性手段。随着模型能力增强,开发可持续适配的红队方法并推动多方协作共享数据集与最佳实践变得至关重要。
Hugging Face 宣布 SpeechT5 已集成进 Transformers,论文作者发布的官方 checkpoint 可在 Hugging Face Hub 获取,并提供语音合成、音色转换和自动语音识别三个 Spaces 演示。
推荐理由:SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR,读者可据此了解多任务语音模型在 Transformers 中的接入方式。
Hugging Face 在 diffusers 中正式支持 LoRA 微调 Stable Diffusion,训练脚本最低可在 11 GB 显存上运行,无需 8-bit 优化器等技巧。由于原模型权重被冻结,只需保存新注入层的权重,单个文件约 3 MB,比原 UNet 小约一千倍,便于分享和下载。文章给出了完整的训练命令、推理时加载 LoRA 权重的代码,以及结合 Dreambooth 的用法。
推荐理由:原文给出 LoRA 微调 Stable Diffusion 的完整脚本与推理流程,读者可据此在 11 GB 显存上复现训练。
Hugging Face 与微软 ONNX Runtime 团队合作,在 Optimum 库中集成 ONNX Runtime 训练后端,为多种 Hugging Face 模型带来 35% 以上的训练提速。
OpenAI 宣布与 Microsoft 延长双方的合作关系,未披露具体条款与期限。
中国科学技术大学与微软提出的 VQ-Diffusion 是一种在量化隐空间上做加噪与去噪的条件隐扩散模型,其隐空间由离散向量集合构成。Hugging Face 现已支持通过 Diffusers 用几行代码运行该模型,加载 microsoft/vq-diffusion-ithq,并可选 FP16 权重。
Hugging Face 发文梳理 Document AI 的六大用例及对应开源模型,涵盖 OCR、文档图像分类、版面分析、文档解析等任务。
Hugging Face 披露了 176B 参数多语言模型 BLOOM 的训练技术细节,该模型基于 GPT3 架构,使用 Megatron-DeepSpeed 框架在 384 张 80GB A100 GPU 上训练,耗时约 3.5 个月。训练数据为 59 种语言、350B token,模型词表大小 250,680,采用 3D 并行(数据、张量、流水线并行)方案。
微软提出 TAPEX,通过让 BART 学习执行合成 SQL 查询来实现表格预训练,无需真实数据。在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准上均取得 SOTA,其中 WikiSQL 准确率达 89.6%,WikiTableQuestions 达 57.5%。
Hugging Face 发布机器学习专家访谈,嘉宾 Margaret Mitchell 曾创立并联合领导 Google 伦理 AI 团队,现于 Hugging Face 制定伦理 AI 研究协议与包容性招聘体系。
Hugging Face 发文质疑微软与 NVIDIA 发布的 Megatron-Turing NLG 530B 这类超大模型趋势,指出复现该实验需花费近 1 亿美元,且训练 BERT 的碳排放已相当于一次跨美飞行。文章主张改用预训练模型、更小模型(如 DistilBERT 保留 97% 语言理解能力、体积小 40%、速度快 60%)和微调等务实方案。
Hugging Face 的 transformers v4.2.0 起通过 --sharded_ddp 和 --deepspeed 两个 Trainer 参数实验性支持 FairScale 与 DeepSpeed 的 ZeRO 功能。
推荐理由:作者用 t5-large 与 t5-3b 实测对比 FairScale 与 DeepSpeed 的显存与速度差异,并给出可直接复用的 Trainer 参数。
OpenAI 宣布已同意将 GPT-3 授权给 Microsoft,用于其自有产品和服务。
推荐理由:OpenAI 将 GPT-3 授权给 Microsoft 用于其自有产品和服务,读者可据此了解双方早期的技术授权关系。
微软向 OpenAI 投资 10 亿美元,支持其构建通用人工智能(AGI)并让经济收益广泛分布。双方将在 Microsoft Azure 上合作开发可扩展至 AGI 的硬件和软件平台,联合开发新的 Azure AI 超算技术,微软同时成为 OpenAI 的独家云服务商。
推荐理由:微软以 10 亿美元投资 OpenAI 并成为其独家云服务商,读者可据此了解双方早期算力与平台合作框架。
OpenAI 正与 Microsoft 合作,将其大部分大规模实验放到 Azure 上运行。