Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式评测基准与榜单
Hugging Face 发布面向阿拉伯语 LLM 的生成式任务基准与榜单 AraGen，采用新的 3C3H 评测指标，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度由 LLM-as-judge 打分。
#数据/训练
#数据/训练
今日 1 条Hugging Face BlogAI 评分2222
Hugging Face BlogAI 评分2727 CFM 如何用 LLM 辅助标注微调小模型，NER 成本最高降低 80 倍
Capital Fund Management（CFM）借助 Hugging Face Inference Endpoints 与 Argilla，用 Llama 3.1 生成标注并经人工复核，再微调小模型完成金融新闻的命名实体识别。
Hugging Face BlogAI 评分2222 如何一步步推导出 SOTA 位置编码 RoPE
Hugging Face 博客通过逐步迭代改进位置编码方案，最终推导出被 Llama 3.2 及多数现代 Transformer 采用的旋转位置编码（RoPE）。
Hugging Face BlogAI 评分2222 在 Hugging Face Hub 上分享你的开放机器学习数据集
Hugging Face Hub 支持托管 TB 级数据集，并提供 Dataset Viewer、全文搜索、SQL Console 及 Pandas、DuckDB 等第三方库的一行代码加载支持。Xet 团队正将单文件上限从 50 GB 提升至 500 GB，同时改进存储与传输效率。数据集可设为公开、私有或门控访问，Nvidia、Google、NASA 等机构已在使用。
Hugging Face BlogAI 评分4040 Argilla 2.4 发布：无需代码，在 Hugging Face Hub 上轻松构建微调与评测数据集
Argilla 2.4 推出无需代码的数据集构建功能，用户可直接在 UI 中从 Hugging Face Hub 导入数据集、定义问题并收集人工反馈。该功能支持公开 Hub 数据集，默认部署启用 Hugging Face OAuth，方便社区或团队协作标注，整个流程不到 5 分钟。Argilla 是 Hugging Face 旗下免费开源的数据中心工具，仍保留 Python SDK 供进一步定制。
Hugging Face Blog精选AI 评分6262 Cohere For AI 发布 Aya Expanse 8B 与 32B 多语言模型
Cohere For AI 发布 Aya Expanse 系列多语言模型，包含 8B 和 32B 两个参数规模，并以开放权重形式发布。官方称 Aya Expanse 32B 在成对比较中优于 Gemma 2 27B、Mistral 8x22B 和 Llama 3.1 70B，Aya Expanse 8B 在同参数级别模型中的胜率为 60.4% 至 70.6%。
推荐理由：Cohere For AI 公开了 Aya Expanse 的完整后训练流程，包括数据套利、多语言偏好训练与模型合并的具体做法。
Hugging Face BlogAI 评分2222 CinePile 2.0：用对抗式数据集精炼打造更强的长视频问答数据集
Hugging Face 发布 CinePile 2.0 长视频问答数据集，采用其提出的对抗式数据集精炼方法进行改进。CinePile 初版于 2024 年 5 月推出，包含约 30 万训练样本和 5000 测试样本，人类在该基准上比最好的商业视觉模型高 25%、比开源模型高 65%。CinePile 2.0 与 Hugging Face 合作完成，同时开源了对抗式精炼方法的实现。
Hugging Face BlogAI 评分5050 Hugging Face 修复 Transformers 梯度累积损失计算错误
Hugging Face 修复了 Transformers Trainer 中梯度累积的损失计算错误：此前开启梯度累积时，token 级任务（如 causal LM）的损失按各批次损失取平均，而非按全部非 padding token 总数加权，导致与全批量训练结果不一致。
Hugging Face BlogAI 评分4242 AMD 发布第五代 EPYC CPU（Turin）：最高 192 核 384 线程，LLM 推理吞吐较 Genoa 提升约 2 倍
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU（代号 Turin），最高 192 核 384 线程。
Hugging Face BlogAI 评分3838 Hugging Face 联合 Dask 扩展 AI 数据处理：从 100 行到 2.11 亿行
Hugging Face 与 Dask 结合，可将 TB 级数据集处理从本地 pandas 扩展到云端多 GPU 并行推理。示例用 FineWeb-Edu 分类器处理 FineWeb 数据集，从本地 100 行扩展到 2.11 亿行、432 GB 的 250 个 Parquet 文件，并支持多节点 GPU 推理。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open FinLLM Leaderboard，面向金融场景评测大语言模型
Hugging Face 发布 Open FinLLM Leaderboard，专门评测大语言模型在金融任务上的表现，覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类。该榜单采用零样本评测，使用 Accuracy、F1、ROUGE 和 MCC 等指标，数据集聚焦真实金融场景，如信用评分、欺诈检测和股价走势预测。
OpenAI NewsAI 评分4242 OpenAI API 中的模型蒸馏
OpenAI 在 API 中推出模型蒸馏功能，可用大型前沿模型的输出微调成本更低的模型，全部在 OpenAI 平台上完成。
Hugging Face BlogAI 评分3434 Hugging Face 用视频编码扩展机器人数据集
Hugging Face 的 LeRobot 项目提出 LeRobotDataset 格式，用视频编码存储机器人数据集的视觉模态，平均体积降至原始版本的 14%，最佳情况可达 0.2%，同时保持完整训练能力。解码单帧耗时与压缩图像相当，连续多帧解码仅为压缩图像的 25%-50%，并原生集成 Hub 与可视化工具。
Hugging Face BlogAI 评分5252 Hugging Face 用 Flash Attention 2 打包训练提升效率
Hugging Face 在 Transformers 中推出 DataCollatorWithFlattening，使免 padding 的指令微调打包与 Flash Attention 2 兼容，训练吞吐最高提升 2 倍且收敛质量不变。
Hugging Face BlogAI 评分3434 Hugging Face 复现 Infini-Attention 失败：压缩次数越多性能越差
Hugging Face 复现 Google 的 Infini-attention 实验发现，随着记忆压缩次数增加，模型性能反而持续下降。团队尝试将 Llama 3 8B 的 8k 上下文扩展至 100 万 token，但结论是 ring attention、YaRN 和 rope scaling 仍是扩展预训练模型上下文长度的最佳方案。训练好的 checkpoint 已公开，代码按原样提供。
Hugging Face Blog精选AI 评分6262 Hugging Face 收购 XetHub，将用其技术替换 Hub 的 Git LFS 存储后端
Hugging Face 宣布收购西雅图公司 XetHub，其创始团队此前在 Apple 构建并扩展内部 ML 基础设施，XetHub 的技术可让 Git 扩展到 TB 级仓库。
推荐理由：Hugging Face 收购 XetHub 并计划替换 Hub 的 Git LFS 存储后端，读者可了解大文件版本管理将如何变化。
Hugging Face BlogAI 评分2828 Hugging Face 与 Albumentations AI 推出面向文档图像的 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强流程，可同时修改文档图像及其文本标注，用于视觉语言模型（VLM）微调。该流程支持随机插入、删除、交换和停用词替换等文本增强，并配合图像黑化与修复，保持文本质量。初始版本中的同义词替换因耗时过高已被移除。
Mistral AI精选AI 评分7777 Mistral 与 NVIDIA 联合发布 12B 模型 Mistral NeMo
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo，支持最高 128k token 上下文窗口，预训练基座与指令微调 checkpoint 均以 Apache 2.0 许可开源。
推荐理由：Mistral 与 NVIDIA 合作的 12B 模型以 Apache 2.0 开源，128k 上下文和 FP8 推理对部署选型有直接参考。
Hugging Face BlogAI 评分3838 Hugging Face 发布 Docmatix：超大规模文档视觉问答数据集
Hugging Face 发布 Docmatix，一个包含 240 万张图像、950 万问答对（源自 130 万份 PDF）的文档视觉问答数据集，规模是此前数据集的 240 倍。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolLM 系列小模型，含 135M、360M、1.7B 三个尺寸
Hugging Face 发布 SmolLM 系列小语言模型，包含 135M、360M 和 1.7B 三个参数规模，并同步开源训练语料 SmolLM-Corpus。
推荐理由：原文公开了三个尺寸小模型的训练数据配比与评测对比，可据此判断端侧小模型的选型与数据策略。
Hugging Face BlogAI 评分2222 如何用 distilabel 打造 Argilla 2.0 聊天机器人
Hugging Face 博客展示了如何用 distilabel 生成合成数据、微调领域专用嵌入模型，并为 Argilla 2.0 构建能理解技术文档的聊天机器人。流程包括将文档按约 256 token 分块、构建向量数据库，并将 Gradio 应用部署到 Hugging Face Space，交互记录存入 Argilla 用于持续评估改进。
Hugging Face Blog精选AI 评分6262 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 做两阶段全量微调，先学自然语言链式推理，再学工具集成推理，配合 SC-TIR 解码生成 N=48、深度 M=4 的候选并多数投票。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理任务。
Hugging Face BlogAI 评分3636 Hugging Face 在 Dataset Hub 上用 Presidio 试验 PII 自动检测
Hugging Face 正在 Dataset Hub 上试验一项基于开源 PII 检测工具 Presidio 的新功能，用户可查看数据集 PII 含量的估算报告。Presidio 依靠检测模式和机器学习模型识别 PII，报告可帮助开发者在训练前决定是否进一步过滤数据，也便于数据集所有者验证自身的 PII 过滤流程。
Hugging Face BlogAI 评分2222 Hugging Face Dataset Hub 新增四项数据集搜索功能：按模态、大小、格式和库筛选
Hugging Face 为 Dataset Hub 的数据集搜索新增四项筛选功能：按模态（文本、图像、音频、表格、时间序列、3D、视频、地理空间）、按行数大小、按格式（如 Parquet、WebDataset）以及按兼容库（如 Pandas、Dask、Datasets）搜索。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST
Intel 与 MILA 将多模态蛋白质设计语言模型 ProtST 重新架构并发布在 Hugging Face Hub，可用 Optimum for Intel Gaudi 库在 Gaudi 2 上运行推理与微调。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma 2，含 9B 与 27B 两个版本
Google 发布开源大模型 Gemma 2，提供 9B 和 27B 两个规模，各有基础版与指令微调版，上下文长度 8K tokens，采用允许商用和再分发的宽松许可。
推荐理由：文章梳理了 Gemma 2 的滑动窗口注意力、软上限与蒸馏等训练改动，并给出与 Llama 3、Qwen 1.5 的基准对比。
Hugging Face BlogAI 评分2222 XLSCOUT 发布 ParaEmbed 2.0：面向专利与 IP 的嵌入模型，获 Hugging Face 专家支持
XLSCOUT 发布专为专利与知识产权打造的嵌入模型 ParaEmbed 2.0，基于高质量多领域专利数据微调，准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Hugging Face BlogAI 评分2222 Hugging Face 探讨数据质量为何是构建更好 AI 的关键
Hugging Face 发布 Ethics and Society Newsletter #6，探讨高质量数据对 AI 开发的重要性。文章指出好数据应契合具体用途，需具备相关性、全面性、时效性并减少偏见，因为数据质量直接影响模型性能、鲁棒性、效率与公平性。
Hugging Face BlogAI 评分3838 微调 Florence-2：微软的前沿视觉语言模型
Hugging Face 博客展示了如何微调微软 6 月发布的 Florence-2 视觉语言模型，使其具备 DocVQA 视觉问答能力。该模型有 0.2B 和 0.7B 两个小尺寸版本，原生支持 captioning、目标检测、OCR 等任务，但发布的模型不含 VQA 能力。
Hugging Face BlogAI 评分2222 Hugging Face 与 Argilla 回顾 Data Is Better Together 计划并公布后续方向
Hugging Face 与 Argilla 合作的 Data Is Better Together 计划已产出 DIBT/10k_prompts_ranked 数据集，由 385 多人参与完成 1 万条合成与人工提示词的质量排序，并被用于训练 SPIN 等新模型。
Hugging Face BlogAI 评分5252 Hugging Face 在 TRL 中推出 RLOO Trainer
Hugging Face 在 TRL 中推出 RLOO（REINFORCE Leave One-Out）Trainer，作为 PPO 之外的在线 RLHF 训练算法。
OpenAI NewsAI 评分5252 OpenAI 用稀疏自编码器从 GPT-4 中提取 1600 万个模式
OpenAI 使用新的稀疏自编码器扩展技术，自动识别出 GPT-4 计算过程中的 1600 万个模式。
Mistral AI精选AI 评分6262 Mistral 在 la Plateforme 推出模型定制与微调服务
Mistral AI 在 la Plateforme 上线模型定制功能，提供三种微调入口：开源微调代码库 mistral-finetune、平台上的 serverless 微调服务，以及面向特定客户的定制训练服务。
推荐理由：Mistral 同时给出开源微调代码库与托管微调服务，读者可据此判断自建与托管两条路径的成本差异。
Hugging Face BlogAI 评分3636 如何用 Sentence Transformers 训练和微调嵌入模型
Hugging Face 发布博客，介绍如何用 Python 库 Sentence Transformers 微调嵌入模型以提升特定任务表现，也可从零训练新模型。
OpenAI NewsAI 评分4242 ChatGPT 数据分析功能升级：支持表格图表交互与 Google Drive、Microsoft OneDrive 直接导入
ChatGPT 的数据分析功能获得升级，用户现在可以与表格和图表进行交互，并直接从 Google Drive 和 Microsoft OneDrive 添加文件。
OpenAI NewsAI 评分4040 OpenAI 与 Reddit 达成合作，将 Reddit 内容引入 ChatGPT
OpenAI 与 Reddit 达成合作，将 Reddit 的独特内容带入 ChatGPT 及 OpenAI 旗下产品。
Hugging Face BlogAI 评分2222 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布希伯来语 LLM 开放排行榜，用于评估和提升希伯来语语言模型。该排行榜包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式，模型通过 HuggingFace Inference Endpoints 部署、由 lighteval 库评估。
OpenAI NewsAI 评分4040 OpenAI 改进微调 API 并扩展自定义模型计划
OpenAI 为微调 API 增加新功能，让开发者对微调拥有更多控制权，同时公布构建自定义模型的新方式。
Hugging Face BlogAI 评分3232 用 Hugging Face Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出 DuckDB-NSQL-7B，一个专为 DuckDB SQL 打造的大语言模型，基于 Meta Llama-2-7b 微调并进一步用 DuckDB text-to-SQL 数据对精调，可生成包括官方文档和扩展在内的多种有效 DuckDB SQL 语句。
OpenAI NewsAI 评分2727 OpenAI 与 Harvey 合作为法律从业者定制模型
Harvey 与 OpenAI 合作，为法律从业者构建了一个定制训练的模型。