Hugging Face 发布 Diffusers 库开发伦理准则
Hugging Face 为 Diffusers 库发布了一套伦理框架,用于指导维护者处理社区贡献时的技术决策。该准则包含透明度、一致性、简洁性、可访问性、可复现性和责任六项价值观,并列出 Community tab、Tag 功能、偏见探索与评估等安全机制,以及 Safe Stable Diffusion、Hub 分阶段发布和 OpenRAILs 许可等部署安全措施。
Hugging Face 为 Diffusers 库发布了一套伦理框架,用于指导维护者处理社区贡献时的技术决策。该准则包含透明度、一致性、简洁性、可访问性、可复现性和责任六项价值观,并列出 Community tab、Tag 功能、偏见探索与评估等安全机制,以及 Safe Stable Diffusion、Hub 分阶段发布和 OpenRAILs 许可等部署安全措施。
Hugging Face 在 Mac App Store 上线 Diffusers for Mac 1.1,基于 Core ML 转换的 Stable Diffusion 等文生图模型,官方称出图速度最高可达此前两倍。
Hugging Face 博客"AI for Game Development"系列第 4 篇讲解如何用 Stable Diffusion 的 Image2Image 生成 2D 游戏资产,并以 farming game 的玉米和镰刀图标为例演示完整流程。
Hugging Face 在 diffusers 中正式支持 LoRA 微调 Stable Diffusion,训练脚本最低可在 11 GB 显存上运行,无需 8-bit 优化器等技巧。由于原模型权重被冻结,只需保存新注入层的权重,单个文件约 3 MB,比原 UNet 小约一千倍,便于分享和下载。文章给出了完整的训练命令、推理时加载 LoRA 权重的代码,以及结合 Dreambooth 的用法。
推荐理由:原文给出 LoRA 微调 Stable Diffusion 的完整脚本与推理流程,读者可据此在 11 GB 显存上复现训练。
Hugging Face 博客"AI for Game Development"系列第 3 天聚焦 3D 资产生成,结论是 text-to-3D 目前还无法实际用于游戏开发。文章梳理了 DreamFusion、Point-E、CLIP-NeRF 等近期方案,指出它们多基于 NeRF 视图合成,生成的 mesh 需大量人工后处理才能达到游戏可用标准。作者因此在本作中改用不同颜色的立方体代表农作物。
Mask2Former 和 OneFormer 两款统一图像分割模型现已集成到 Hugging Face 开源库 transformers 中。Mask2Former 用同一套架构解决实例、语义和全景分割,但每个任务仍需单独训练;OneFormer 加入文本编码器,仅在全景数据集上训练一次即可在三个任务上达到 SOTA,精度更高但延迟更大。
Hugging Face 发布教程,演示如何用 Transformers 和 Datasets 库构建图像相似度系统,实现反向图像搜索等信息检索场景。
Hugging Face 博客推出"AI for Game Development"系列,演示如何在 5 天内用 AI 工具做出一个完整农场游戏。
Hugging Face 发布指南,介绍如何通过 transformers 使用零样本图像分割模型 CLIPSeg。CLIPSeg 在冻结的 CLIP 之上训练 Transformer 解码器,可生成粗略分割掩码,用于机器人感知、图像修复等任务,并支持以文本或示例图像作为提示词的"视觉提示"。
借助 Apple 工程师提供的转换脚本和推理代码,Stable Diffusion 现在可以通过 Core ML 在 Apple Silicon 上运行,Hugging Face 已将 v1.4、v1.5、v2 base 和 v2.1 base 的官方权重转换并上传到 Hub。
推荐理由:Hugging Face 与 Apple 合作把 Stable Diffusion 转成 Core ML 权重,读者可据此在 Apple Silicon 上本地跑图并了解不同变体的取舍。
中国科学技术大学与微软提出的 VQ-Diffusion 是一种在量化隐空间上做加噪与去噪的条件隐扩散模型,其隐空间由离散向量集合构成。Hugging Face 现已支持通过 Diffusers 用几行代码运行该模型,加载 microsoft/vq-diffusion-ithq,并可选 FP16 权重。
Hugging Face 与 Jonathan Whitaker 合作的扩散模型课程将于 11 月 28 日发布,免费讲解扩散模型理论与应用。配合课程上线,11 月 30 日将举办社区直播活动,Stable Diffusion 创作者及 Stability AI、Meta 等机构的研究者将带来演讲,聚焦扩散模型概览及构建应用的工具。
Hugging Face 发布用 Diffusers 的 Dreambooth 脚本微调 Stable Diffusion 的实验总结,给出推荐设置:低学习率配合逐步增加训练步数,人脸需要 800-1200 步、batch size 2、LR 1e-6,并建议使用 prior preservation 避免过拟合。
推荐理由:基于大量实验给出 Dreambooth 微调 Stable Diffusion 的超参数建议,可直接用于复现和调参。
OpenAI 宣布 DALL·E API 进入公开测试,开发者从即日起可以基于该 API 构建应用。
推荐理由:OpenAI 官方开放 DALL·E API 公测,开发者可据此判断图像生成能力接入自家应用的门槛变化。
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax,可在 Colab、Kaggle 或 Google Cloud Platform 的 TPU 上实现快速推理。
推荐理由:Hugging Face 官方给出在 TPU 上用 JAX/Flax 跑 Stable Diffusion 的完整流程,含并行与编译耗时数据。
rinna 通过对 Stable Diffusion 进行微调,开发出日文文生图模型 Japanese Stable Diffusion,可理解日语特有词汇、拟声词与专有名词并生成日式风格图像。
OpenAI 宣布 DALL·E 不再需要等待名单,新用户可以直接开始创作。官方表示,部署中积累的经验以及安全系统的改进使更广泛的开放成为可能。
推荐理由:OpenAI 官方说明 DALL·E 取消等待名单,并给出安全系统改进这一放开依据。
Hugging Face AutoTrain 新增图像分类任务,用户无需编写代码即可训练模型。上传数据后选择模型候选数量即可开始训练,5 个候选模型、500 张以内图片免费;示例中最佳模型达到 84% 准确率。
Hugging Face 发布 diffusers 0.3,新增图生图 pipeline、Textual Inversion、实验性 inpainting 与 ONNX 导出等能力。
推荐理由:diffusers 0.3 集中放出图生图、Textual Inversion 与显存优化,可据此判断扩散模型工具链的成熟度。
OpenAI 为 DALL·E 推出 outpainting 功能,可生成任意尺寸的图像,用于延展创作并讲述更大的故事。
推荐理由:OpenAI 为 DALL·E 加入 outpainting,读者可了解图像生成从单张出图扩展到任意尺寸延展的能力变化。
Hugging Face 发布教程,介绍如何用 Diffusers 库运行 Stable Diffusion 文生图模型。文中给出安装 diffusers==0.10.2 与加载 StableDiffusionPipeline 的代码,并说明 guidance_scale、num_inference_steps 等参数对生成结果的影响。
推荐理由:Hugging Face 官方给出 Stable Diffusion 在 Diffusers 中的完整用法与原理拆解,可据此理解潜空间扩散的组件分工。
Hugging Face 发布教程,演示如何用 Optimum Graphcore 库在 Graphcore IPU 上微调预训练的 ViT 模型,并以 ChestX-ray14 数据集为例提供完整 notebook。
Hugging Face 与外部贡献者已在 Transformers 中加入多种 TensorFlow 视觉模型,包括 Vision Transformer、Masked Autoencoders、RegNet、ConvNeXt。
OpenAI 宣布 DALL·E 进入测试版,将在未来数周从候补名单中邀请 100 万人使用。用户可用每月重置的免费积分生成图像,也可按 115 次生成 15 美元的价格购买额外积分。
推荐理由:OpenAI 公布 DALL·E 测试版开放节奏与积分定价,读者可据此了解早期图像生成产品的使用门槛。
OpenAI 为 DALL·E 2 部署了一项新技术,使其生成的人物图像能更准确地反映世界人口的多样性,以降低偏见并提升安全性。
OpenAI 公布 DALL·E 2 研究预览进展,来自 118 个以上国家的 3000 多名艺术家已将 DALL·E 纳入自己的创作流程。OpenAI 表示,早期访问组的艺术家帮助发现了 DALL·E 的新用法,并在其决定 DALL·E 功能时提供了关键意见。
推荐理由:官方披露 DALL·E 2 研究预览的艺术家使用规模,可了解早期创作者如何把它接入创作流程。
OpenAI 为向大众开放 DALL·E 2,在预训练阶段采取了一系列缓解措施,以降低强大图像生成模型带来的风险。为此,OpenAI 设置了多种防护机制,防止生成图像违反其内容政策。
Hugging Face 博客发布《The Annotated Diffusion Model》,基于 Ho 等人 2020 年的 DDPM 论文,用 PyTorch 逐步实现去噪扩散概率模型,代码参考 Phil Wang 的实现。
推荐理由:从 DDPM 论文出发逐步用 PyTorch 复现扩散模型,并梳理后续关键改进方向,适合想理解扩散模型原理的读者。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从候补名单中新增最多 1000 名用户。
推荐理由:官方披露 DALL·E 2 预览期用户产出与安全流程改进,并给出每周扩量节奏,可据此判断其开放进度。
Hugging Face 发布教程,演示如何用自建人行道数据集 segments/sidewalk-semantic 微调 SegFormer 语义分割模型,并借助 transformers 与 Hugging Face Hub 完成训练。
Hugging Face 展示了如何用 🤗 datasets 的 Image 特征类型结合 sentence_transformers 和 faiss,为图像数据集构建相似度搜索应用。
Hugging Face 发布教程,演示如何用 🤗 datasets 加载 beans 图像分类数据集,并借助 🤗 transformers 微调预训练 ViT 模型。教程使用 google/vit-base-patch16-224-in21k 及其配套 ViTImageProcessor,将图像处理为 (1, 3, 224, 224) 的 pixel_values 张量后送入模型训练。
OpenAI 训练了一个名为 DALL·E 的神经网络,可根据自然语言文本描述生成图像,覆盖自然语言可表达的多种概念。
推荐理由:OpenAI 公布 DALL·E 这一从文本生成图像的神经网络,可据此了解文生图方向的早期形态。
OpenAI 发现,正如在语言上训练的大型 Transformer 能生成连贯文本,同一模型在像素序列上训练后也能生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性,表明其最佳生成模型在无监督设定下所含特征可与顶级卷积网络竞争。
推荐理由:原文给出用同一 Transformer 处理像素序列生成图像并做无监督分类的早期思路,可了解生成与表征学习的关联。
OpenAI 发布可逆生成模型 Glow,采用可逆 1x1 卷积,在简化此前可逆生成模型架构的同时支持生成高分辨率图像和高效采样,并能发现可用于操控数据属性的特征。OpenAI 同时开放该模型的代码和一个在线可视化工具,供人们探索并在此基础上继续开发。
推荐理由:OpenAI 介绍可逆生成模型 Glow 的架构简化思路,并开放代码与可视化工具供复现探索。