Hugging Face 公布 safetensors 安全审计结果，将成默认保存格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库进行外部安全审计，未发现可导致任意代码执行的严重安全漏洞，部分规范格式不精确和缺失校验（允许 polyglot 文件）的问题已被修复。
推荐理由：外部安全审计确认 safetensors 无任意代码执行漏洞，并推动其成为 transformers 默认格式。
数据与训练
全部主题训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
最新精选
第 81–100 条 · 共 104 条Hugging Face Blog精选AI 评分6262
OpenAI News精选AI 评分6262 OpenAI 研究：语言模型可解释语言模型中的神经元
OpenAI 用 GPT-4 自动为大型语言模型的神经元行为撰写解释，并对这些解释打分。团队同时发布了覆盖 GPT-2 全部神经元的解释与评分数据集，并说明这些解释并不完美。
推荐理由：OpenAI 用 GPT-4 自动解释并评分 GPT-2 神经元行为，并公开全部神经元的解释与评分数据集。
Hugging Face Blog精选AI 评分6262 StackLLaMA：用 RLHF 训练 LLaMA 的实操指南
Hugging Face 发布 StackLLaMA 模型及完整 RLHF 训练流程，用 LLaMA 7B 在 Stack Exchange 问答数据上依次完成监督微调、奖励建模和 PPO 强化学习，训练管线已集成到 TRL 库。
推荐理由：Hugging Face 公开了用 RLHF 训练 LLaMA 的完整流程与代码，读者可据此复现并迁移到自己的任务。
Hugging Face Blog精选AI 评分6767 Hugging Face 集成 trl 与 peft，在 24GB 消费级 GPU 上微调 20B 大模型
Hugging Face 正式发布 trl 与 peft 的集成，让大语言模型的 RLHF 微调更易上手。该方案用 8-bit 加载、低秩适配器和共享参考模型三层手段压缩显存，在 24GB NVIDIA 4090 上完成了 20B 参数 gpt-neox 的 RLHF 微调，完整训练则在单张 A100 上跑完。
推荐理由：原文给出在 24GB 消费级 GPU 上完成 20B 模型 RLHF 微调的具体组合方案，可迁移到显存受限的训练场景。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 PEFT 库，支持 LoRA 等参数高效微调方法
Hugging Face 发布 PEFT 库，提供 LoRA、Prefix Tuning、Prompt Tuning、P-Tuning 等参数高效微调方法，并与 Transformers 和 Accelerate 集成。
推荐理由：原文给出 PEFT 库支持的方法与消费级硬件上的微调示例，读者可据此判断低成本微调的可行路径。
Hugging Face Blog精选AI 评分6262 图解 RLHF：从预训练、奖励模型到 PPO 微调的三步流程
Hugging Face 博客图解 RLHF 的完整训练流程，将其拆为预训练语言模型、收集人类偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文中说明奖励模型输出标量奖励，训练时用 KL 散度惩罚策略偏离初始模型，并给出 OpenAI、Anthropic、DeepMind 在模型与奖励模型规模上的不同选择。
推荐理由：把 RLHF 拆成预训练、奖励模型、PPO 微调三步，并列出 TRL、TRLX、RL4LMs 等开源工具与数据成本。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 MTEB：大规模文本嵌入基准
Hugging Face 发布 MTEB（Massive Text Embedding Benchmark），用于在多种嵌入任务上衡量文本嵌入模型性能，包含 56 个数据集、8 类任务，覆盖最多 112 种语言，榜单已汇总超过 2000 条结果。
推荐理由：MTEB 把 56 个数据集、8 类任务和 112 种语言汇总成统一榜单，读者可据此理解文本嵌入模型的评测口径与选型依据。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 SetFit：无需提示词的高效少样本微调框架
Hugging Face 联合 Intel Labs 和 UKP Lab 发布 SetFit，一个用于 Sentence Transformers 少样本微调的框架，无需提示词或 verbaliser。
推荐理由：原文给出 SetFit 的两阶段训练流程与 RAFT 基准对比，读者可据此判断少样本分类的成本与精度取舍。
Hugging Face Blog精选AI 评分8282 Hugging Face 发布 176B 参数开源多语言模型 BLOOM
Hugging Face 发布 BLOOM，一个 176B 参数的多语言大语言模型，可生成 46 种自然语言和 13 种编程语言的文本，由 70 多个国家 1000 多名研究者协作完成，在法国 Jean Zay 超算上训练 117 天。
推荐理由：BLOOM 以 176B 参数覆盖 46 种自然语言，并公开训练中间检查点与优化器状态，为研究大模型内部行为提供了少见的开放样本。
OpenAI News精选AI 评分7474 OpenAI 用视频预训练让神经网络学会玩 Minecraft
OpenAI 提出 Video PreTraining（VPT）方法，在大量无标注的人类玩 Minecraft 视频上训练神经网络，仅使用少量承包商标注数据。经微调后，模型能学会制作钻石工具，这一任务通常需要熟练人类花费 20 多分钟、约 24000 次操作。模型直接使用键盘按键和鼠标移动这类原生人类交互接口，具有较强通用性，是迈向通用计算机使用智能体的一步。
推荐理由：OpenAI 用少量标注数据加海量无标注视频训练出能玩 Minecraft 的模型，可了解视频预训练在通用计算机智能体上的早期尝试。
Hugging Face Blog精选AI 评分6262 从零训练代码生成模型 CodeParrot：Hugging Face 完整教程
Hugging Face 发布教程，介绍如何从零训练名为 CodeParrot 的 GPT-2 代码生成模型，用于自动补全 Python 代码。
推荐理由：完整给出从数据清洗、分词器训练到多卡训练循环的代码，可迁移到自建代码生成模型的预训练流程。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出 DeDLOC：40 名志愿者协作预训练孟加拉语模型 sahajBERT
Hugging Face 联合 Yandex Research 等机构提出 DeDLOC 协作式分布式训练方法，可自适应参与者的网络与硬件条件，并通过 40 名志愿者在互联网上预训练出孟加拉语模型 sahajBERT。
推荐理由：Hugging Face 团队用 40 名志愿者在互联网上预训练出孟加拉语模型，给出了分布式协作训练在真实场景中的可行路径。
OpenAI News精选AI 评分8282 OpenAI 论文：语言模型是少样本学习器
OpenAI 发布题为《Language models are few-shot learners》的论文，提出语言模型具备少样本学习能力。
OpenAI News精选AI 评分6262 OpenAI 分析：ImageNet 训练算力每 16 个月减半
OpenAI 发布一项分析，指出自 2012 年以来，在 ImageNet 分类上训练达到同等性能的神经网络所需算力每 16 个月减少一半。与 2012 年相比，如今训练到 AlexNet 水平所需的算力减少了 44 倍，而同期摩尔定律带来的成本改善约为 11 倍。分析认为，在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 训练算力数据量化算法进步速度，可与摩尔定律对照理解 AI 效率来源。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 发布教程，演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数的语言模型 EsperBERTo，并在世界语上完成词性标注微调。
推荐理由：Hugging Face 官方给出从零训练语言模型的完整流程，读者可据此复现分词器训练与下游微调。
OpenAI News精选AI 评分7070 OpenAI 发布神经语言模型的缩放定律研究
OpenAI 发布关于神经语言模型缩放定律的研究，探讨模型性能与规模之间的关系。
OpenAI News精选AI 评分7878 OpenAI 用机械手解魔方：纯仿真训练加自动域随机化
OpenAI 训练了一对神经网络，让类人机械手解开魔方。两个网络完全在仿真中训练，使用与 OpenAI Five 相同的强化学习代码，并搭配名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被毛绒长颈鹿戳碰，说明强化学习不只适用于虚拟任务，也能解决需要高灵巧度的物理世界问题。
推荐理由：OpenAI 用仿真训练加自动域随机化让机械手解魔方，可了解强化学习迁移到物理操作任务的思路。
OpenAI News精选AI 评分6262 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调，在多项任务上成功匹配外部人类标注者的偏好，尽管这些偏好并不总与 OpenAI 自身一致。在摘要任务中，标注者偏好直接从输入中整句复制的内容，模型因此学会了复制；摘要任务需要 6 万条人类标注，而按不同风格续写文本等更简单的任务只需 5 千条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：OpenAI 用人类反馈微调 GPT-2 的早期实验，展示了偏好数据如何让模型学会复制而非改写。
OpenAI News精选AI 评分6262 OpenAI 提出 Sparse Transformer，序列预测长度提升 30 倍
OpenAI 开发了 Sparse Transformer，这是一种深度神经网络，在预测文本、图像或声音序列中下一个内容的任务上创下新纪录。它通过对注意力机制做算法改进，从比以往长 30 倍的序列中提取模式。
推荐理由：OpenAI 用稀疏注意力把序列建模长度提升 30 倍，可了解长序列建模的早期技术路线。
OpenAI News精选AI 评分8585 OpenAI 训练出大规模无监督语言模型并在多项基准取得最优表现
OpenAI 训练了一个大规模无监督语言模型，能够生成连贯的段落文本，在多项语言建模基准上取得当时最优表现。该模型无需针对特定任务训练，即可完成基础的阅读理解、机器翻译、问答和摘要任务。
推荐理由：OpenAI 公布一个无监督语言模型在多项语言任务上取得当时最优表现，可了解大模型早期路线。