跳到正文

#图像生成

今日 1 条
3月2日周四
  1. Hugging Face Blog22

    Hugging Face 发布 Diffusers 库开发伦理准则

    Hugging Face 为 Diffusers 库发布了一套伦理框架,用于指导维护者处理社区贡献时的技术决策。该准则包含透明度、一致性、简洁性、可访问性、可复现性和责任六项价值观,并列出 Community tab、Tag 功能、偏见探索与评估等安全机制,以及 Safe Stable Diffusion、Hub 分阶段发布和 OpenRAILs 许可等部署安全措施。

2月24日周五
1月26日周四
  1. Hugging Face Blog75

    用 LoRA 高效微调 Stable Diffusion

    Hugging Face 在 diffusers 中正式支持 LoRA 微调 Stable Diffusion,训练脚本最低可在 11 GB 显存上运行,无需 8-bit 优化器等技巧。由于原模型权重被冻结,只需保存新注入层的权重,单个文件约 3 MB,比原 UNet 小约一千倍,便于分享和下载。文章给出了完整的训练命令、推理时加载 LoRA 权重的代码,以及结合 Dreambooth 的用法。

    推荐理由:原文给出 LoRA 微调 Stable Diffusion 的完整脚本与推理流程,读者可据此在 11 GB 显存上复现训练。

1月20日周五
  1. Hugging Face Blog22

    3D 资产生成:AI 用于游戏开发 #3

    Hugging Face 博客"AI for Game Development"系列第 3 天聚焦 3D 资产生成,结论是 text-to-3D 目前还无法实际用于游戏开发。文章梳理了 DreamFusion、Point-E、CLIP-NeRF 等近期方案,指出它们多基于 NeRF 视图合成,生成的 mesh 需大量人工后处理才能达到游戏可用标准。作者因此在本作中改用不同颜色的立方体代表农作物。

1月19日周四
  1. Hugging Face Blog42

    Hugging Face transformers 集成 Mask2Former 与 OneFormer,统一图像分割

    Mask2Former 和 OneFormer 两款统一图像分割模型现已集成到 Hugging Face 开源库 transformers 中。Mask2Former 用同一套架构解决实例、语义和全景分割,但每个任务仍需单独训练;OneFormer 加入文本编码器,仅在全景数据集上训练一次即可在三个任务上达到 SOTA,精度更高但延迟更大。

1月16日周一
1月2日周一
12月21日周三
  1. Hugging Face Blog42

    用 CLIPSeg 实现零样本图像分割

    Hugging Face 发布指南,介绍如何通过 transformers 使用零样本图像分割模型 CLIPSeg。CLIPSeg 在冻结的 CLIP 之上训练 Transformer 解码器,可生成粗略分割掩码,用于机器人感知、图像修复等任务,并支持以文本或示例图像作为提示词的"视觉提示"。

12月1日周四
  1. Hugging Face Blog67

    在 Apple Silicon 上用 Core ML 运行 Stable Diffusion

    借助 Apple 工程师提供的转换脚本和推理代码,Stable Diffusion 现在可以通过 Core ML 在 Apple Silicon 上运行,Hugging Face 已将 v1.4、v1.5、v2 base 和 v2.1 base 的官方权重转换并上传到 Hub。

    推荐理由:Hugging Face 与 Apple 合作把 Stable Diffusion 转成 Core ML 权重,读者可据此在 Apple Silicon 上本地跑图并了解不同变体的取舍。

11月30日周三
11月25日周五
11月7日周一
  1. Hugging Face Blog62

    用 Diffusers 和 Dreambooth 训练 Stable Diffusion 的实验与调参建议

    Hugging Face 发布用 Diffusers 的 Dreambooth 脚本微调 Stable Diffusion 的实验总结,给出推荐设置:低学习率配合逐步增加训练步数,人脸需要 800-1200 步、batch size 2、LR 1e-6,并建议使用 prior preservation 避免过拟合。

    推荐理由:基于大量实验给出 Dreambooth 微调 Stable Diffusion 的超参数建议,可直接用于复现和调参。

11月3日周四
10月13日周四
10月5日周三
9月28日周三
9月12日周一
8月31日周三
8月22日周一
  1. Hugging Face Blog78

    如何用 Diffusers 运行 Stable Diffusion

    Hugging Face 发布教程,介绍如何用 Diffusers 库运行 Stable Diffusion 文生图模型。文中给出安装 diffusers==0.10.2 与加载 StableDiffusionPipeline 的代码,并说明 guidance_scale、num_inference_steps 等参数对生成结果的影响。

    推荐理由:Hugging Face 官方给出 Stable Diffusion 在 Diffusers 中的完整用法与原理拆解,可据此理解潜空间扩散的组件分工。

8月18日周四
7月25日周一
7月20日周三
  1. OpenAI News88

    OpenAI 将 DALL·E 开放测试版,未来数周邀请 100 万候补用户

    OpenAI 宣布 DALL·E 进入测试版,将在未来数周从候补名单中邀请 100 万人使用。用户可用每月重置的免费积分生成图像,也可按 115 次生成 15 美元的价格购买额外积分。

    推荐理由:OpenAI 公布 DALL·E 测试版开放节奏与积分定价,读者可据此了解早期图像生成产品的使用门槛。

7月18日周一
7月14日周四
  1. OpenAI News62

    OpenAI 公布 DALL·E 2 研究预览:超 3000 名艺术家接入创作流程

    OpenAI 公布 DALL·E 2 研究预览进展,来自 118 个以上国家的 3000 多名艺术家已将 DALL·E 纳入自己的创作流程。OpenAI 表示,早期访问组的艺术家帮助发现了 DALL·E 的新用法,并在其决定 DALL·E 功能时提供了关键意见。

    推荐理由:官方披露 DALL·E 2 研究预览的艺术家使用规模,可了解早期创作者如何把它接入创作流程。

6月28日周二
6月7日周二
  1. Hugging Face Blog62

    图解扩散模型:用 PyTorch 逐步实现 DDPM

    Hugging Face 博客发布《The Annotated Diffusion Model》,基于 Ho 等人 2020 年的 DDPM 论文,用 PyTorch 逐步实现去噪扩散概率模型,代码参考 Phil Wang 的实现。

    推荐理由:从 DDPM 论文出发逐步用 PyTorch 复现扩散模型,并梳理后续关键改进方向,适合想理解扩散模型原理的读者。

5月18日周三
3月17日周四
3月16日周三
2月11日周五
1月5日周二
6月17日周三
  1. OpenAI News60

    OpenAI 发布 Image GPT:用 Transformer 生成图像并做无监督分类

    OpenAI 发现,正如在语言上训练的大型 Transformer 能生成连贯文本,同一模型在像素序列上训练后也能生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性,表明其最佳生成模型在无监督设定下所含特征可与顶级卷积网络竞争。

    推荐理由:原文给出用同一 Transformer 处理像素序列生成图像并做无监督分类的早期思路,可了解生成与表征学习的关联。

7月9日周一
  1. OpenAI News62

    OpenAI 发布可逆生成模型 Glow

    OpenAI 发布可逆生成模型 Glow,采用可逆 1x1 卷积,在简化此前可逆生成模型架构的同时支持生成高分辨率图像和高效采样,并能发现可用于操控数据属性的特征。OpenAI 同时开放该模型的代码和一个在线可视化工具,供人们探索并在此基础上继续开发。

    推荐理由:OpenAI 介绍可逆生成模型 Glow 的架构简化思路,并开放代码与可视化工具供复现探索。