Hugging Face 用 bitsandbytes 与 QLoRA 支持 4-bit 量化模型
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持以 4-bit 精度加载和运行模型,覆盖文本、视觉、多模态等大多数 HF 模型,并可在 4bit 模型上训练适配器。
推荐理由:Hugging Face 把 4-bit 量化与 QLoRA 集成进 transformers,读者可据此判断消费级硬件微调大模型的门槛变化。
AI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持以 4-bit 精度加载和运行模型,覆盖文本、视觉、多模态等大多数 HF 模型,并可在 4bit 模型上训练适配器。
推荐理由:Hugging Face 把 4-bit 量化与 QLoRA 集成进 transformers,读者可据此判断消费级硬件微调大模型的门槛变化。
OpenAI 发布 ChatGPT 的 iOS 应用,可同步用户的对话记录,并支持语音输入。该应用同时带来 OpenAI 最新的模型改进。
推荐理由:OpenAI 官方发布 ChatGPT iOS 应用,给出对话同步与语音输入两项核心能力。
ChatGPT 用户现在可以关闭聊天记录,自行选择哪些对话可以被用于训练模型。
推荐理由:ChatGPT 新增关闭聊天记录开关,读者可据此了解对话数据是否用于模型训练的自主控制方式。
OpenAI 宣布为 ChatGPT 实现插件的初步支持。插件是专为语言模型设计的工具,以安全为核心原则,可帮助 ChatGPT 获取最新信息、执行计算或使用第三方服务。
推荐理由:OpenAI 官方给出 ChatGPT 插件的最初支持范围,读者可据此了解模型接入外部工具与实时信息的早期形态。
Hugging Face 在 Diffusers 中推出 StableDiffusionControlNetPipeline,把 ControlNet 的空间条件控制接入扩散模型生成流程,支持 canny 边缘、深度图、分割图、scribble、关键点等 8 种条件模型。
推荐理由:Diffusers 集成 ControlNet 并给出多种条件控制的完整代码示例,读者可据此复现并评估显存与速度开销。
Hugging Face 发布 PEFT 库,提供 LoRA、Prefix Tuning、Prompt Tuning、P-Tuning 等参数高效微调方法,并与 Transformers 和 Accelerate 集成。
推荐理由:原文给出 PEFT 库支持的方法与消费级硬件上的微调示例,读者可据此判断低成本微调的可行路径。
Hugging Face 宣布 SpeechT5 已集成进 Transformers,论文作者发布的官方 checkpoint 可在 Hugging Face Hub 获取,并提供语音合成、音色转换和自动语音识别三个 Spaces 演示。
推荐理由:SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR,读者可据此了解多任务语音模型在 Transformers 中的接入方式。
OpenAI 宣布为 ChatGPT 推出试点订阅方案 ChatGPT Plus。ChatGPT 是一款对话式 AI,可与用户聊天、回答追问并指出错误假设。
推荐理由:OpenAI 官方公布 ChatGPT 付费订阅试点,读者可据此了解其早期商业化路径的起点。
OpenAI 发布一款经过训练的分类器,用于区分 AI 生成文本与人类撰写文本。
推荐理由:OpenAI 官方发布 AI 文本检测分类器,读者可了解其用途与官方定位。
OpenAI 发布 Point-E,一个可根据复杂提示词生成 3D 点云的系统。
Hugging Face 在 transformers 4.24.0 中集成了 Contrastive Search 解码方法,PyTorch 和 TensorFlow 均可用。
推荐理由:Hugging Face 把对比搜索集成进 transformers,读者可据此替换现有解码方式并对比生成质量。
OpenAI 宣布 DALL·E API 进入公开测试,开发者从即日起可以基于该 API 构建应用。
推荐理由:OpenAI 官方开放 DALL·E API 公测,开发者可据此判断图像生成能力接入自家应用的门槛变化。
OpenAI 宣布 DALL·E 不再需要等待名单,新用户可以直接开始创作。官方表示,部署中积累的经验以及安全系统的改进使更广泛的开放成为可能。
推荐理由:OpenAI 官方说明 DALL·E 取消等待名单,并给出安全系统改进这一放开依据。
Hugging Face 联合 Intel Labs 和 UKP Lab 发布 SetFit,一个用于 Sentence Transformers 少样本微调的框架,无需提示词或 verbaliser。
推荐理由:原文给出 SetFit 的两阶段训练流程与 RAFT 基准对比,读者可据此判断少样本分类的成本与精度取舍。
Hugging Face 发布 diffusers 0.3,新增图生图 pipeline、Textual Inversion、实验性 inpainting 与 ONNX 导出等能力。
推荐理由:diffusers 0.3 集中放出图生图、Textual Inversion 与显存优化,可据此判断扩散模型工具链的成熟度。
OpenAI 为 DALL·E 推出 outpainting 功能,可生成任意尺寸的图像,用于延展创作并讲述更大的故事。
推荐理由:OpenAI 为 DALL·E 加入 outpainting,读者可了解图像生成从单张出图扩展到任意尺寸延展的能力变化。
OpenAI 宣布 DALL·E 进入测试版,将在未来数周从候补名单中邀请 100 万人使用。用户可用每月重置的免费积分生成图像,也可按 115 次生成 15 美元的价格购买额外积分。
推荐理由:OpenAI 公布 DALL·E 测试版开放节奏与积分定价,读者可据此了解早期图像生成产品的使用门槛。
OpenAI 公布 DALL·E 2 研究预览进展,来自 118 个以上国家的 3000 多名艺术家已将 DALL·E 纳入自己的创作流程。OpenAI 表示,早期访问组的艺术家帮助发现了 DALL·E 的新用法,并在其决定 DALL·E 功能时提供了关键意见。
推荐理由:官方披露 DALL·E 2 研究预览的艺术家使用规模,可了解早期创作者如何把它接入创作流程。
Hugging Face 推出 Evaluation on the Hub,由 AutoTrain 驱动,用户无需写代码即可在 Hub 上用任意数据集评测任意模型。评测结果会以 PR 形式写入模型卡元数据,并可在数据集排行榜上比较不同模型的表现。官方已用该工具在多个关键数据集上评测了数百个模型,并给出文本分类、命名实体识别和文本摘要等可直接试用的数据集示例。
推荐理由:Hugging Face 把模型评测做成 Hub 上的零代码流程,读者可据此了解评测结果如何进入模型卡与排行榜。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从候补名单中新增最多 1000 名用户。
推荐理由:官方披露 DALL·E 2 预览期用户产出与安全流程改进,并给出每周扩量节奏,可据此判断其开放进度。