跳到正文

#开源生态

今日 0 条
1月26日周四
  1. Hugging Face Blog75

    用 LoRA 高效微调 Stable Diffusion

    Hugging Face 在 diffusers 中正式支持 LoRA 微调 Stable Diffusion,训练脚本最低可在 11 GB 显存上运行,无需 8-bit 优化器等技巧。由于原模型权重被冻结,只需保存新注入层的权重,单个文件约 3 MB,比原 UNet 小约一千倍,便于分享和下载。文章给出了完整的训练命令、推理时加载 LoRA 权重的代码,以及结合 Dreambooth 的用法。

    推荐理由:原文给出 LoRA 微调 Stable Diffusion 的完整脚本与推理流程,读者可据此在 11 GB 显存上复现训练。

1月24日周二
1月19日周四
  1. Hugging Face Blog42

    Hugging Face transformers 集成 Mask2Former 与 OneFormer,统一图像分割

    Mask2Former 和 OneFormer 两款统一图像分割模型现已集成到 Hugging Face 开源库 transformers 中。Mask2Former 用同一套架构解决实例、语义和全景分割,但每个任务仍需单独训练;OneFormer 加入文本编码器,仅在全景数据集上训练一次即可在三个任务上达到 SOTA,精度更高但延迟更大。

1月17日周二
1月2日周一
12月21日周三
  1. Hugging Face Blog42

    用 CLIPSeg 实现零样本图像分割

    Hugging Face 发布指南,介绍如何通过 transformers 使用零样本图像分割模型 CLIPSeg。CLIPSeg 在冻结的 CLIP 之上训练 Transformer 解码器,可生成粗略分割掩码,用于机器人感知、图像修复等任务,并支持以文本或示例图像作为提示词的"视觉提示"。

12月20日周二
12月15日周四
12月9日周五
  1. Hugging Face Blog62

    图解 RLHF:从预训练、奖励模型到 PPO 微调的三步流程

    Hugging Face 博客图解 RLHF 的完整训练流程,将其拆为预训练语言模型、收集人类偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文中说明奖励模型输出标量奖励,训练时用 KL 散度惩罚策略偏离初始模型,并给出 OpenAI、Anthropic、DeepMind 在模型与奖励模型规模上的不同选择。

    推荐理由:把 RLHF 拆成预训练、奖励模型、PPO 微调三步,并列出 TRL、TRLX、RL4LMs 等开源工具与数据成本。

12月2日周五
12月1日周四
  1. Hugging Face Blog67

    在 Apple Silicon 上用 Core ML 运行 Stable Diffusion

    借助 Apple 工程师提供的转换脚本和推理代码,Stable Diffusion 现在可以通过 Core ML 在 Apple Silicon 上运行,Hugging Face 已将 v1.4、v1.5、v2 base 和 v2.1 base 的官方权重转换并上传到 Hub。

    推荐理由:Hugging Face 与 Apple 合作把 Stable Diffusion 转成 Core ML 权重,读者可据此在 Apple Silicon 上本地跑图并了解不同变体的取舍。

11月29日周二
  1. Hugging Face Blog8

    Hugging Face 启动 2023 年实习生招聘,开放 8 个 AI 方向岗位

    Hugging Face 宣布启动 2023 年实习生项目,开放 8 个岗位,涵盖 Accelerate、Text to Speech、Embodied AI、大语言模型分布式训练框架、LLM 数据集、生成式 ML 社会影响评估和 AI 艺术工具等方向。实习生将与 Hugging Face 导师及对应开源库维护者合作,申请需通过官方招聘门户并注册 Hugging Face 账号。

11月25日周五
11月21日周一
11月17日周四
11月8日周二
11月7日周一
  1. Hugging Face Blog62

    用 Diffusers 和 Dreambooth 训练 Stable Diffusion 的实验与调参建议

    Hugging Face 发布用 Diffusers 的 Dreambooth 脚本微调 Stable Diffusion 的实验总结,给出推荐设置:低学习率配合逐步增加训练步数,人脸需要 800-1200 步、batch size 2、LR 1e-6,并建议使用 prior preservation 避免过拟合。

    推荐理由:基于大量实验给出 Dreambooth 微调 Stable Diffusion 的超参数建议,可直接用于复现和调参。

11月3日周四
  1. Hugging Face Blog62

    用 🤗 Transformers 微调 Whisper 实现多语种 ASR

    Hugging Face 发布教程,介绍如何用 🤗 Transformers 在任意多语种 ASR 数据集上微调 Whisper。教程以 Common Voice 11.0 的印地语为例,用约 8 小时训练数据微调 Whisper small,在测试集上把 WER 从预训练模型的 63.5% 降到 32.0%。

    推荐理由:以印地语为例给出 Whisper 多语种 ASR 微调全流程,8 小时数据即可把 WER 从 63.5% 降到 32.0%。

11月2日周三
10月24日周一
  1. Hugging Face Blog40

    Hugging Face 在 🤗 Evaluate 中加入语言模型偏见评估指标

    Hugging Face 为 🤗 Evaluate 库新增偏见指标与测量方法,用于评估 GPT-2、BLOOM 等因果语言模型的偏见。该工作流先用 🤗 Datasets 中的预设提示词引导模型生成文本,再用 🤗 Evaluate 的指标打分,示例覆盖 Toxicity、Polarity 和 Hurtfulness 三类任务,其中 toxicity 指标基于 R4 Target 仇恨检测模型。

10月21日周五
  1. Hugging Face Blog36

    从 PyTorch DDP 到 Accelerate 再到 Trainer:轻松掌握分布式训练

    Hugging Face 发布教程,演示如何通过三个递进抽象层级实现多 GPU 分布式训练:原生 PyTorch DDP(torch.distributed)、🤗 Accelerate 轻量封装,以及 🤗 Transformer 的 Trainer API。Accelerate 无需修改代码即可在单 GPU 和 TPU 上运行,Trainer 则抽象掉所有样板代码并支持多种设备和分布式场景。

10月19日周三
  1. Hugging Face Blog62

    Hugging Face 发布 MTEB:大规模文本嵌入基准

    Hugging Face 发布 MTEB(Massive Text Embedding Benchmark),用于在多种嵌入任务上衡量文本嵌入模型性能,包含 56 个数据集、8 类任务,覆盖最多 112 种语言,榜单已汇总超过 2000 条结果。

    推荐理由:MTEB 把 56 个数据集、8 类任务和 112 种语言汇总成统一榜单,读者可据此理解文本嵌入模型的评测口径与选型依据。

10月12日周三
10月7日周五
  1. Hugging Face Blog33

    Hugging Face 为模型和数据集引入 DOI

    Hugging Face 宣布用户可直接在 Hub 上为模型或数据集生成 DOI,其他人在模型或数据集页面点击“Cite this model/dataset”即可引用。该功能通过与 DataCite 合作实现,注册用户填写元数据后即可获得 DOI,新版本发布时 DOI 可更新、旧版本随之失效。带 DOI 的数据集和模型将永久保存,仅能通过向官方支持提交请求删除。

10月3日周一
9月27日周二
9月22日周四
  1. Hugging Face Blog12

    Hugging Face 推出 Ethics and Society 通讯,探讨 AI 伦理落地

    Hugging Face 发布首期 Ethics and Society 通讯,计划按季节在春分、秋分、夏至、冬至发布,由公司内部跨部门开放小组“Ethics and Society regulars”撰写。该通讯聚焦如何将伦理价值落地到机器学习开发中,并介绍了模型与 Spaces 仓库“flag”举报功能、Private Hub、评估库、数据偏差分析代码及训练碳排放追踪工具等近期工作。

9月21日周三
9月16日周五
9月12日周一
9月7日周三
8月31日周三
  1. Hugging Face Blog42

    Hugging Face 支持的 OpenRAIL:面向开放且负责任 AI 的许可框架

    RAIL Initiative 推出 OpenRAIL 许可框架,并获 Hugging Face 支持,允许 AI 模型免版税开放获取、下游使用与再分发,同时嵌入针对特定关键场景的使用限制条款。该框架主张开源许可证不适配 ML 模型,需在开放与负责任使用之间划界,被视为迈向开放且负责任 ML 开发、使用与获取的许可工具。

8月24日周三
8月22日周一
  1. Hugging Face Blog78

    如何用 Diffusers 运行 Stable Diffusion

    Hugging Face 发布教程,介绍如何用 Diffusers 库运行 Stable Diffusion 文生图模型。文中给出安装 diffusers==0.10.2 与加载 StableDiffusionPipeline 的代码,并说明 guidance_scale、num_inference_steps 等参数对生成结果的影响。

    推荐理由:Hugging Face 官方给出 Stable Diffusion 在 Diffusers 中的完整用法与原理拆解,可据此理解潜空间扩散的组件分工。

8月12日周五
  1. Hugging Face Blog22

    Hugging Face 的 TensorFlow 哲学

    Hugging Face 阐述了其 transformers 库在 TensorFlow 上的设计哲学:所有 TensorFlow 模型都是 Keras Model 对象,所有层都是 Keras Layer 对象,用户可直接调用 fit()、compile() 和 predict()。库通过 TFAutoModel 等类一行代码加载预训练模型,并强调应保留 Keras 高层 API 而非绕开它。

8月11日周四
8月10日周三
8月3日周三