Hugging Face 发布 Idefics2：8B 多模态视觉语言模型
Hugging Face 发布 Idefics2，一个 8B 参数、Apache 2.0 许可的通用多模态模型，可处理任意文本与图像序列并生成文本回复，支持图像问答、文档信息抽取和基础算术。
推荐理由：8B 参数、Apache 2.0 许可并同步开源指令微调数据集，读者可据此判断多模态微调的门槛变化。
#Hugging Face
#Hugging Face
今日 1 条Hugging Face Blog精选AI 评分6262
Hugging Face BlogAI 评分5252 视觉语言模型解析：从原理、选型到用 TRL 微调
Hugging Face 发布视觉语言模型入门文章，介绍其图像编码器、嵌入投影与文本解码器的常见结构，并盘点 LLaVA 1.6、DeepSeek-VL、CogVLM、Qwen-VL 等开源模型。
Hugging Face BlogAI 评分4242 Hugging Face 与 Google Cloud 合作：数千个开源 LLM 一键部署至 Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud，可将数千个开源模型通过 Vertex AI 或 GKE 部署为自有 Google Cloud 账户内的 API Endpoint。
Hugging Face Blog精选AI 评分6060 Google 发布代码专用模型 CodeGemma，含 2B 与 7B 三个版本
Google 发布代码专用模型系列 CodeGemma，基于预训练的 2B 和 7B Gemma checkpoint，额外用 5000 亿 token 的英文、数学和代码数据训练，包含 2B base、7B base 和 7B instruct 三个版本，均保持 8K token 上下文。
推荐理由：Google 与 Hugging Face 联合发布三款代码专用 Gemma 模型，读者可据此了解其规格、基准表现与部署方式。
Hugging Face BlogAI 评分4242 Hugging Face 与 Wiz Research 合作提升 AI 安全
Hugging Face 宣布与云安全公司 Wiz 合作提升平台及 AI/ML 生态安全，Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码，发现了平台安全短板，相关问题已全部修复。Hugging Face 已将 Wiz 用于漏洞管理和云安全态势管理（CSPM），并基于其工具自动修复 Spaces 等产品中的问题。
Hugging Face BlogAI 评分3232 用 Hugging Face Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出 DuckDB-NSQL-7B，一个专为 DuckDB SQL 打造的大语言模型，基于 Meta Llama-2-7b 微调并进一步用 DuckDB text-to-SQL 数据对精调，可生成包括官方文档和扩展在内的多种有效 DuckDB SQL 语句。
Hugging Face BlogAI 评分3636 在 Intel Xeon 上用 🤗 Optimum Intel 实现极速 SetFit 推理
借助 🤗 Optimum Intel 对 SetFit 模型做训练后静态量化（PTQ），可在 Intel Xeon CPU 上把推理速度提升 7.8 倍，实现生产级部署。该量化基于 Intel Neural Compressor，只需约 100 条无标注校准样本、无需训练，即可在保持精度的同时降低内存占用与延迟，Optimum Intel 版本需不低于 1.14.0。
Hugging Face BlogAI 评分5050 Hugging Face 将无服务器 GPU 推理引入 Cloudflare Workers AI
Hugging Face 与 Cloudflare 合作推出 Deploy on Cloudflare Workers AI，让开发者以无服务器 API 方式调用 Hugging Face 上的开源模型，由部署在 Cloudflare 边缘数据中心的 GPU 和 Text Generation Inference 提供支持，按请求付费。
Hugging Face BlogAI 评分4040 Pollen Robotics 开源 pollen-vision：面向机器人零样本视觉模型的统一接口
Pollen Robotics 开源 pollen-vision 库，为机器人提供零样本视觉模型的统一接口，首个版本聚焦 3D 物体检测，通过组合 OWL-ViT、Mobile Sam 和 RAM 等模型输出物体的 (x, y, z) 坐标，无需训练即可开箱使用。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布二值与标量嵌入量化方法，检索提速最高 45 倍
Hugging Face 博客介绍嵌入量化方法，将 float32 嵌入转为二值或 int8，内存与磁盘占用分别缩小 32 倍和 4 倍。在 MTEB 检索的 15 个基准上，二值量化配合重排序可保留约 96% 的默认性能，检索速度平均提升 24.76 倍，int8 平均提升 3.66 倍。
推荐理由：Hugging Face 官方给出嵌入量化在检索速度、内存与成本上的实测对比，并附可复用脚本。
Hugging Face BlogAI 评分2020 Hugging Face Transformers 完全新手入门指南
Hugging Face 发布面向非技术读者的 Transformers 入门指南，从零讲解这一开源 Python 库如何调用数千个预训练 Transformer 模型，并区分了 Hub 与 Spaces 的用途。
Hugging Face BlogAI 评分4040 Hugging Face 与 Lighthouz AI 推出 Chatbot Guardrails Arena，压力测试 LLM 隐私护栏
Hugging Face 与 Lighthouz AI 联合推出 Chatbot Guardrails Arena，让用户与两个匿名 LLM 聊天，尝试诱导其泄露虚构银行 XYZ001 客户的敏感信息，并投票选出隐私保护更强的模型。
Hugging Face Blog精选AI 评分6262 Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件、250 亿 token，用于从零预训练大语言模型，目标是复现 Phi-1.5 的训练数据。
推荐理由：Hugging Face 公开了从提示词设计到去污染、训练评估的完整合成数据流水线，可迁移到自建预训练数据。
Hugging Face Blog精选AI 评分6262 Hugging Face 博客介绍 GaLore：在消费级硬件上训练大模型
Hugging Face 博客介绍 GaLore 优化器，通过将梯度投影到低秩子空间，可把优化器状态显存占用降低 82.5% 以上，从而在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 70 亿参数的 Llama 架构模型。
推荐理由：原文给出 GaLore 与 8-bit 优化器结合的训练流程和可运行代码，读者可据此在消费级显卡上复现大模型训练。
Hugging Face BlogAI 评分3636 在 Intel Meteor Lake 笔记本上运行 Phi-2：基于 OpenVINO 的 4-bit 量化实践
Hugging Face 与 Intel 合作，通过 Optimum Intel 中的 OpenVINO 集成对微软 Phi-2 模型权重做 4-bit 量化，并在搭载 Core Ultra 7 155H 的中端笔记本上完成本地推理。
Hugging Face BlogAI 评分5757 Hugging Face 上线 Train on DGX Cloud，可在 Hub 内用 H100 微调模型
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud，可在 Hub 内通过 AutoTrain 无代码创建训练任务，直接使用 NVIDIA DGX Cloud 的 H100 GPU。
Hugging Face BlogAI 评分3636 Hugging Face 推出 Quanto：面向 Optimum 的 PyTorch 量化后端
Hugging Face 发布 Quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8 和 float8 权重以及 int8、float8 激活，可在 CUDA 和 MPS 等任意设备上运行。
Hugging Face BlogAI 评分3636 Hugging Face 用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 发布教程，展示如何用 Optimum Intel 与 fastRAG 在基于 Xeon 的 CPU 上加速嵌入模型并接入现有 RAG 流程。
Hugging Face BlogAI 评分4040 Hugging Face 发布 WebSight 数据集，用 VLM 将网页截图转为 HTML 代码
Hugging Face 推出 WebSight 数据集，用于训练视觉语言模型将网页截图转换为 HTML 代码。该数据集从 v0.1 的 823,000 对截图/HTML 样本扩展至 v0.2 的 200 万例，改用真实截图和 Tailwind CSS。基于该数据集微调的模型 Sightseer 可将网页截图转为可用的 HTML 代码，并还原截图中的图像。
Hugging Face BlogAI 评分3636 Hugging Face 发布 ConTextual：评测多模态模型在文本密集场景中的图文联合推理能力
加州大学洛杉矶分校研究者推出 ConTextual，一个包含 506 条指令的文本密集视觉推理数据集，覆盖时间阅读、购物、导航、信息图等 8 类真实场景，并同步上线排行榜。初步评测 13 个模型显示，GPT-4V 表现最佳，在抽象推理上超过人类，但在时间相关任务上落后；开源模型在多个领域表现不佳，用 OCR 加 caption 增强 LLM 的方案人类通过率仅 17.2%。
Hugging Face BlogAI 评分2828 Argilla 与 Hugging Face 发起 Data is Better Together，共建偏好数据集并招募首批社区
Argilla 与 Hugging Face 推出 Data is Better Together 实验，几天内吸引 350 名社区贡献者完成超 11,000 条 prompt 评分，并发布含 10,000 条 prompt 用户评分的 10k_prompts_ranked 数据集。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 展示了如何用 Optimum Habana 的自定义 pipeline 类在 Intel Gaudi 2 加速器上运行 Llama 2 系列模型（7b、13b、70b）进行文本生成，只需几行代码即可完成端到端推理。
Hugging Face Blog精选AI 评分7878 BigCode 发布 StarCoder2 系列代码模型与 The Stack v2 数据集
BigCode 发布 StarCoder2，这是新一代透明训练的开放代码大语言模型，包含 3B、7B、15B 三个参数规模，分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由：BigCode 公开了 StarCoder2 三个尺寸的模型、数据集与训练代码，读者可据此了解开源代码模型在参数规模与训练数据上的具体取舍。
Hugging Face BlogAI 评分5252 Hugging Face 发布 TTS Arena，用盲测投票给语音合成模型排名
Hugging Face 发布 TTS Arena，借鉴 LMSys 的 Chatbot Arena，让用户输入文本后听两个模型朗读并投票选出更自然的一个，投票前不显示模型名以避免偏见。
Hugging Face BlogAI 评分3636 Hugging Face 详解 AI 水印：工具与技术
Hugging Face 发布 AI 水印入门指南，介绍在内容生成时嵌入水印和生成后添加水印两种主要方法，并盘点 Hub 上的相关工具。文中还提及 Glaze、Photoguard、Nightshade、Fawkes 等图像防护工具，以及 Truepic 基于 C2PA 标准的内容签名方案。
Hugging Face BlogAI 评分3636 Haize Labs 联合 Hugging Face 推出红队抵抗基准测试排行榜
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark，用人类越狱提示词测试前沿模型的安全鲁棒性，最终得分为判定为 Safe 的提示词百分比。
Hugging Face BlogAI 评分3434 Hugging Face 详解 Matryoshka 嵌入模型：可截断的多维度嵌入
Hugging Face 发布 Matryoshka 嵌入模型入门指南，这类模型可将嵌入截断到多种维度而性能损失不大，灵感来自俄罗斯套娃。
Hugging Face BlogAI 评分4242 如何在 Hugging Face 上微调 Gemma 模型
Hugging Face 发布教程，介绍如何用 Transformers 和 PEFT 库对 Google DeepMind 的开源模型 Gemma（2B 和 7B 参数）进行 LoRA 微调。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 全面集成
Google 发布开源大模型家族 Gemma，包含 2B 和 7B 两种尺寸，各有基础版和指令微调版，上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75，性能接近 Mistral 7B；Hugging Face 提供了 Transformers、Google Cloud、Inference Endpoints 集成以及基于 TRL 的微调示例。
推荐理由：Google 发布 Gemma 开源模型家族，读者可了解其两种尺寸、性能位次及在 Hugging Face 生态中的部署与微调路径。
Hugging Face BlogAI 评分2222 Hugging Face 与 Upstage 推出 Open Ko-LLM Leaderboard：韩国大语言模型评测生态
Upstage 于 2023 年 9 月发起 Open Ko-LLM Leaderboard，为韩语 LLM 提供公开评测平台，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA 和 Ko-CommonGEN V2 五项任务，并使用不公开的私有测试集防止数据污染。
Hugging Face Blog精选AI 评分6262 Hugging Face PEFT 新增多种 LoRA 适配器合并方法
Hugging Face 在 PEFT 中新增面向 LoRA 适配器的合并方法，包括 cat、linear、svd、TIES、DARE 和 magnitude_prune 等，可通过 add_weighted_adapter() 调用。
推荐理由：PEFT 新增多种 LoRA 合并方法并给出选型顺序，读者可据此判断不同适配器组合该用哪种策略。
Hugging Face Blog精选AI 评分6262 用开源 LLM 合成数据训练专用模型：省钱、省时、减碳
Hugging Face 博客给出用开源 LLM 生成合成数据、再蒸馏出专用小模型的完整流程，并以金融新闻投资者情绪识别为案例。
推荐理由：用开源 LLM 生成合成数据再蒸馏小模型的完整流程，附可复用 notebook 与成本、延迟、碳排放对比。
Hugging Face BlogAI 评分2020 AMD 与 Hugging Face 联合举办 Pervasive AI 开发者大赛
AMD 与 Hugging Face 联合启动 Pervasive AI Developer Contest，面向全球开发者开放生成式 AI、机器人 AI 和 PC AI 三个赛道，总奖金 16 万美元，单个获奖者最高可得 1 万美元，并提供 700 个 AMD 平台供参赛者使用。
Hugging Face BlogAI 评分5858 Hugging Face 为 TGI 和 Inference Endpoints 推出兼容 OpenAI 的 Messages API
Hugging Face 为 Text Generation Inference（TGI）和 Inference Endpoints 推出 Messages API，从 TGI 1.4.0 起提供与 OpenAI Chat Completion API 兼容的接口，可直接使用 OpenAI 客户端库或 LangChain、LlamaIndex 等第三方工具。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 SegMoE：从零构建混合专家扩散模型
Hugging Face 发布 SegMoE 框架，可从零创建混合专家（MoE）扩散模型，并已集成 diffusers。同时发布 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型，采用 Apache 2.0 许可，并提供 GitHub 仓库和 segmoe 包用于自建 MoE 模型。
推荐理由：原文给出从零构建 MoE 扩散模型的完整流程与配置示例，读者可据此判断能否把已有模型合并成新模型。
Hugging Face BlogAI 评分2222 Hugging Face 上线 NPHardEval 排行榜：用复杂度类动态评测 LLM 推理能力
Hugging Face 推出 NPHardEval 排行榜，基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准，通过计算复杂度类评估 LLM 推理能力。
Hugging Face BlogAI 评分4242 Hugging Face Text Generation Inference 上线 AWS Inferentia2 与 Amazon SageMaker
Hugging Face Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，为生产级 LLM 部署提供 GPU 之外的替代方案。
Hugging Face BlogAI 评分2222 Hugging Face 上的 PatchTST 时间序列 Transformer 实战
Hugging Face 博客给出 PatchTST 的上手示例，先在 Electricity 数据集上做预测，再用预训练模型对 ETTh1 数据集做零样本预测，随后进行线性探测与微调。PatchTST 由 Yuqi Nie 等人提出、发表于 ICLR 2023，通过将时间序列切分为 patch 作为输入 token，并采用通道独立设计，在保留局部语义的同时二次方降低注意力计算与内存开销。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布开源模型 Constitutional AI 完整配方
Hugging Face 发布了一套用开源模型实现 Constitutional AI 的端到端配方，并开源了 llm-swarm 工具，用于在 Slurm 集群上基于 TGI 和 vLLM 做可扩展的合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与 Slurm 集群推理工具，可迁移到自定义对齐流程。
Hugging Face BlogAI 评分3838 Hugging Face 与 Patronus 推出 Enterprise Scenarios Leaderboard：面向真实企业用例的 LLM 排行榜
Patronus 团队基于 Hugging Face Leaderboard Template 推出 Enterprise Scenarios Leaderboard，用于评估语言模型在真实企业场景中的表现。