如何在 Hugging Face 上微调 Gemma 模型
Hugging Face 发布教程，介绍如何用 Transformers 和 PEFT 库对 Google DeepMind 的开源模型 Gemma（2B 和 7B 参数）进行 LoRA 微调。
全部AI 动态
全部动态
今日 11 条Hugging Face BlogAI 评分4242
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 全面集成
Google 发布开源大模型家族 Gemma，包含 2B 和 7B 两种尺寸，各有基础版和指令微调版，上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75，性能接近 Mistral 7B；Hugging Face 提供了 Transformers、Google Cloud、Inference Endpoints 集成以及基于 TRL 的微调示例。
推荐理由：Google 发布 Gemma 开源模型家族，读者可了解其两种尺寸、性能位次及在 Hugging Face 生态中的部署与微调路径。
Hugging Face BlogAI 评分2222 Hugging Face 与 Upstage 推出 Open Ko-LLM Leaderboard：韩国大语言模型评测生态
Upstage 于 2023 年 9 月发起 Open Ko-LLM Leaderboard，为韩语 LLM 提供公开评测平台，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA 和 Ko-CommonGEN V2 五项任务，并使用不公开的私有测试集防止数据污染。
Hugging Face Blog精选AI 评分6262 Hugging Face PEFT 新增多种 LoRA 适配器合并方法
Hugging Face 在 PEFT 中新增面向 LoRA 适配器的合并方法，包括 cat、linear、svd、TIES、DARE 和 magnitude_prune 等，可通过 add_weighted_adapter() 调用。
推荐理由：PEFT 新增多种 LoRA 合并方法并给出选型顺序，读者可据此判断不同适配器组合该用哪种策略。
Hugging Face Blog精选AI 评分6262 用开源 LLM 合成数据训练专用模型：省钱、省时、减碳
Hugging Face 博客给出用开源 LLM 生成合成数据、再蒸馏出专用小模型的完整流程，并以金融新闻投资者情绪识别为案例。
推荐理由：用开源 LLM 生成合成数据再蒸馏小模型的完整流程，附可复用 notebook 与成本、延迟、碳排放对比。
OpenAI News精选AI 评分8383 OpenAI 研究：视频生成模型可作为世界模拟器
OpenAI 发布研究，探索在视频数据上大规模训练生成模型，联合在可变时长、分辨率和宽高比的视频与图像上训练文本条件扩散模型，并采用在视频和图像 latent code 的时空 patch 上运行的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频，结果表明扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由：OpenAI 首次公开 Sora 的技术路线，说明视频生成模型可扩展为物理世界模拟器。
OpenAI News精选AI 评分6262 OpenAI 称已阻断国家关联威胁行为者对 AI 的恶意使用
OpenAI 发布公告，称已阻断国家关联威胁行为者对 AI 的恶意使用。原文正文未能抓取，仅标题可用。
Hugging Face BlogAI 评分2020 AMD 与 Hugging Face 联合举办 Pervasive AI 开发者大赛
AMD 与 Hugging Face 联合启动 Pervasive AI Developer Contest，面向全球开发者开放生成式 AI、机器人 AI 和 PC AI 三个赛道，总奖金 16 万美元，单个获奖者最高可得 1 万美元，并提供 700 个 AMD 平台供参赛者使用。
OpenAI News精选AI 评分7474 OpenAI 为 ChatGPT 测试记忆功能并加入新控制项
OpenAI 正在测试让 ChatGPT 记住用户讨论过的内容，以便让后续对话更有帮助。用户对 ChatGPT 的记忆拥有控制权。
推荐理由：OpenAI 官方说明 ChatGPT 记忆功能的测试范围与用户控制方式，可据此了解该能力如何改变多轮对话体验。
Hugging Face BlogAI 评分5858 Hugging Face 为 TGI 和 Inference Endpoints 推出兼容 OpenAI 的 Messages API
Hugging Face 为 Text Generation Inference（TGI）和 Inference Endpoints 推出 Messages API，从 TGI 1.4.0 起提供与 OpenAI Chat Completion API 兼容的接口，可直接使用 OpenAI 客户端库或 LangChain、LlamaIndex 等第三方工具。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 SegMoE：从零构建混合专家扩散模型
Hugging Face 发布 SegMoE 框架，可从零创建混合专家（MoE）扩散模型，并已集成 diffusers。同时发布 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型，采用 Apache 2.0 许可，并提供 GitHub 仓库和 segmoe 包用于自建 MoE 模型。
推荐理由：原文给出从零构建 MoE 扩散模型的完整流程与配置示例，读者可据此判断能否把已有模型合并成新模型。
Hugging Face BlogAI 评分2222 Hugging Face 上线 NPHardEval 排行榜：用复杂度类动态评测 LLM 推理能力
Hugging Face 推出 NPHardEval 排行榜，基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准，通过计算复杂度类评估 LLM 推理能力。
Hugging Face BlogAI 评分4242 Hugging Face Text Generation Inference 上线 AWS Inferentia2 与 Amazon SageMaker
Hugging Face Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，为生产级 LLM 部署提供 GPU 之外的替代方案。
Hugging Face BlogAI 评分2222 Hugging Face 上的 PatchTST 时间序列 Transformer 实战
Hugging Face 博客给出 PatchTST 的上手示例，先在 Electricity 数据集上做预测，再用预训练模型对 ETTh1 数据集做零样本预测，随后进行线性探测与微调。PatchTST 由 Yuqi Nie 等人提出、发表于 ICLR 2023，通过将时间序列切分为 patch 作为输入 token，并采用通道独立设计，在保留局部语义的同时二次方降低注意力计算与内存开销。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布开源模型 Constitutional AI 完整配方
Hugging Face 发布了一套用开源模型实现 Constitutional AI 的端到端配方，并开源了 llm-swarm 工具，用于在 Slurm 集群上基于 TGI 和 vLLM 做可扩展的合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与 Slurm 集群推理工具，可迁移到自定义对齐流程。
OpenAI NewsAI 评分5757 OpenAI 构建 LLM 辅助生物威胁的早期预警系统
OpenAI 正在为评估大语言模型可能协助制造生物威胁的风险制定蓝图。在一项有生物学专家和学生参与的评测中，OpenAI 发现 GPT-4 对生物威胁制造准确率的提升最多只是轻微的。这一提升幅度尚不足以得出确定结论，但该发现是后续研究和社区讨论的起点。
Hugging Face BlogAI 评分3838 Hugging Face 与 Patronus 推出 Enterprise Scenarios Leaderboard：面向真实企业用例的 LLM 排行榜
Patronus 团队基于 Hugging Face Leaderboard Template 推出 Enterprise Scenarios Leaderboard，用于评估语言模型在真实企业场景中的表现。
Hugging Face BlogAI 评分3030 在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码
Hugging Face 在 Intel 第四代 Xeon 上通过 8bit/4bit 量化结合辅助生成，让 StarCoder-15B 推理加速超过 7 倍。
Hugging Face BlogAI 评分3636 Hugging Face 发布 Hallucinations Leaderboard，开放评测大语言模型幻觉
Hugging Face 推出 Hallucinations Leaderboard，基于 EleutherAI Language Model Evaluation Harness 在 NQ Open、TriviaQA、TruthfulQA、XSum、CNN/DM、RACE、SQuADv2、FEVER、FaithDial、HaluEval 等基准上评测 LLM 的幻觉表现。
Hugging Face BlogAI 评分3838 Hugging Face 推出 AI Secure LLM Safety Leaderboard
Hugging Face 发布 LLM Safety Leaderboard，基于 DecodingTrust 对 LLM 安全性进行评估，该平台曾获 NeurIPS 2023 杰出论文奖。评估覆盖毒性、刻板印象偏见、对抗鲁棒性、OOD 鲁棒性、隐私、机器伦理和公平性等八个可信度维度，并提供针对各维度的红队测试算法。用户可将模型权重转为 safetensors 格式后通过排行榜提交评估。
Hugging Face BlogAI 评分4242 Hugging Face 与 Google Cloud 达成战略合作，共建开放 AI
Hugging Face 宣布与 Google Cloud 达成战略合作，在开放科学、开源、云和硬件领域展开协作，帮助企业在 Hugging Face 开放模型与 Google Cloud 的 Vertex AI、TPU 等基础设施上构建自己的 AI。
Hugging Face Blog精选AI 评分6262 开源 LLM 作为 LangChain 智能体：ReAct 原理、搭建与基准对比
Hugging Face 发布博客，介绍如何用新集成的 ChatHuggingFace 在 LangChain 中把开源模型搭建成 ReAct 智能体，并给出完整代码示例。
推荐理由：原文给出 ReAct 智能体的完整搭建代码与开源模型对比基准，读者可据此判断哪些模型适合驱动智能体工作流。
Hugging Face BlogAI 评分2222 IBM Research 与 Hugging Face 在 Transformers 库中发布 PatchTSMixer
IBM Research 与 Hugging Face 团队合作，在 Transformers 库中发布了轻量级时序建模模型 PatchTSMixer。该模型基于 MLP-Mixer 架构，支持跨 patch、通道和隐藏特征的轻量混合，可预训练后用于预测、分类和回归等下游任务。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 W2V2-BERT 实现低资源 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 将 facebook/w2v-bert-2.0 微调至低资源 ASR 任务。
Hugging Face BlogAI 评分3434 用 DPO、IPO 与 KTO 做偏好微调：Hugging Face 的实证对比
Hugging Face 在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上，用 MT-Bench 对比了 DPO、IPO、KTO 三种无需强化学习的偏好对齐方法，并扫描 β 等关键超参数。结果显示其中一种方法明显优于其他两种，但需调好关键超参数才能达到最佳效果；相关代码已在 alignment-handbook 开源。
OpenAI NewsAI 评分2222 OpenAI 公布"AI 民主输入"资助计划经验与实施计划
OpenAI 为 10 支来自全球的团队提供资助，用于设计集体治理 AI 的想法与工具。OpenAI 总结了这些团队的创新成果与自身经验，并公开招募研究人员和工程师加入后续工作。
OpenAI NewsAI 评分3838 OpenAI 如何应对 2024 年全球选举
OpenAI 正从三方面应对 2024 年全球选举：防止滥用、为 AI 生成内容提供透明度，以及改善选民获取准确投票信息的渠道。
Hugging Face BlogAI 评分3636 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 发布经 Olive 优化的 SD Turbo 和 SDXL Turbo 模型，在 NVIDIA GPU 上通过 ONNX Runtime CUDA 与 TensorRT 执行提供程序加速推理，吞吐量最高较 PyTorch 提升 229%（SDXL Turbo）和 120%（SD Turbo）。
Hugging Face Blog精选AI 评分6262 如何在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 官方博客给出教程，把 ComfyUI 工作流转成 Gradio 应用并部署到 Spaces 的 ZeroGPU 上免费运行。
推荐理由：完整给出从 ComfyUI 工作流导出 Python、包成 Gradio 应用并部署到 ZeroGPU 的步骤，可照着复现。
OpenAI NewsAI 评分2020 OpenAI 助力 Digital Green 构建农业数据库，提升农民收入
Digital Green 使用 OpenAI 构建农业数据库，以提升农民收入。
Hugging Face BlogAI 评分2828 如何用 Hugging Face 排行榜模板搭建自己的 LLM 排行榜：以 Vectara 幻觉排行榜为例
Vectara 基于 Hugging Face 开源的排行榜模板，搭建了全新的 HHEM 幻觉评测排行榜，用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 在文档摘要中的幻觉频率。该排行榜支持动态提交新模型评测请求并自动更新结果，相关源码已公开在其 Hugging Face Space 仓库中。
OpenAI News精选AI 评分7070 OpenAI 推出 GPT Store
OpenAI 发布 GPT Store。
OpenAI News精选AI 评分6262 OpenAI 推出 ChatGPT Team 团队套餐
OpenAI 推出面向各类规模团队的新 ChatGPT 套餐 ChatGPT Team，提供安全、可协作的工作空间，帮助团队在工作中充分利用 ChatGPT。
推荐理由：OpenAI 面向各类规模团队推出 ChatGPT 新套餐，读者可了解其安全协作工作区的定位。
Hugging Face Blog精选AI 评分6262 Unsloth 与 TRL 集成：LLM 微调提速 2 倍、显存最多降 74%
Hugging Face 博客介绍社区开发的轻量库 Unsloth，与 TRL 的 SFTTrainer、DPOTrainer 等配合可将 LLM 微调提速约 2 倍，显存占用最多降低 74%，且相对标准 QLoRA 精度损失为 0%。
推荐理由：原文给出 Unsloth 与 TRL 集成的实测加速与显存数据，读者可据此判断微调成本能降到什么程度。
OpenAI NewsAI 评分4242 OpenAI 回应《纽约时报》诉讼：支持新闻业，诉讼缺乏依据
OpenAI 就《纽约时报》提起的诉讼作出回应，称该诉讼缺乏依据，同时表示支持新闻业并与新闻机构保持合作。
OpenAI NewsAI 评分2222 WHOOP 用 GPT-4 提供个性化健身与健康指导
WHOOP 借助 GPT-4 为用户提供个性化的健身与健康指导。该健康解决方案由 LLM 驱动，将大语言模型能力引入个人健康教练场景。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 aMUSEd：高效非扩散文生图模型
Hugging Face 发布 aMUSEd，这是对 Google MUSE 的开源复现，采用 Masked Image Model（MIM）而非主流潜在扩散方法，以研究预览形式在宽松许可下开放。
推荐理由：Hugging Face 开源复现 Google MUSE 的非扩散文生图模型，读者可了解 MIM 路线在推理步数与体积上的取舍。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SDXL Dreambooth LoRA 高级训练脚本
Hugging Face 发布新的 diffusers 训练脚本，把 Pivotal Tuning 与 Prodigy 优化器结合，用于 SDXL 的 Dreambooth LoRA 微调。
推荐理由：汇总社区 SDXL Dreambooth LoRA 微调的 SOTA 实践，并给出可直接运行的 diffusers 训练脚本与参数。
Hugging Face Blog精选AI 评分6262 用投机解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，同时保证输出与单独使用主模型完全一致。
推荐理由：给出 Whisper 投机解码的完整实现与基准数据，读者可据此在现有管线中获得约 2 倍加速且输出不变。
Hugging Face BlogAI 评分3838 2023：开源大语言模型之年
Hugging Face 回顾 2023 年开源 LLM 进展，指出公众对开源与闭源之争的关注度大幅上升。文章梳理了预训练大模型的构成要素，包括架构、训练数据、tokenizer、训练超参数与模型权重，并回顾 2022 年的代表模型：176B 参数的 BLOOM、175B 参数的 OPT 以及 GLM-130B。