OpenAI 用过程监督提升数学推理能力
OpenAI 训练了一个模型，通过奖励每一步正确推理（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。除性能提升外，过程监督还带来对齐收益：直接训练模型产出人类认可的思维链。
推荐理由：OpenAI 用过程监督替代结果监督提升数学推理，并给出对对齐的额外收益，可了解训练方法差异。
#数据/训练
#数据/训练
今日 2 条OpenAI News精选AI 评分6262
Hugging Face Blog精选AI 评分7878 Hugging Face 用 bitsandbytes 与 QLoRA 支持 4-bit 量化模型
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持以 4-bit 精度加载和运行模型，覆盖文本、视觉、多模态等大多数 HF 模型，并可在 4bit 模型上训练适配器。
推荐理由：Hugging Face 把 4-bit 量化与 QLoRA 集成进 transformers，读者可据此判断消费级硬件微调大模型的门槛变化。
Hugging Face BlogAI 评分4040 Hugging Face 用 InstructPix2Pix 指令微调 Stable Diffusion
Hugging Face 探索用指令微调让 Stable Diffusion 按指令处理输入图像，方法基于 InstructPix2Pix 的训练策略并借鉴 FLAN 的指令模板思路。
Hugging Face Blog精选AI 评分6262 Hugging Face 公布 safetensors 安全审计结果，将成默认保存格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库进行外部安全审计，未发现可导致任意代码执行的严重安全漏洞，部分规范格式不精确和缺失校验（允许 polyglot 文件）的问题已被修复。
推荐理由：外部安全审计确认 safetensors 无任意代码执行漏洞，并推动其成为 transformers 默认格式。
Hugging Face BlogAI 评分3434 BigCode 背后的大规模近重复数据删除
Hugging Face 博客详解 BigCode 项目采用 MinHash + LSH（参数 256, 0.7, 5）进行文档级近重复数据删除，并确认去重同样能提升代码模型性能且所需数据集更小。文章还对比了 The Stack、CodeParrot、InCoder 等代码数据集所用的精确匹配、Levenshtein 距离等去重方法，指出去重可减少训练步数、防止基准污染与数据泄露。
OpenAI News精选AI 评分6262 OpenAI 研究：语言模型可解释语言模型中的神经元
OpenAI 用 GPT-4 自动为大型语言模型的神经元行为撰写解释，并对这些解释打分。团队同时发布了覆盖 GPT-2 全部神经元的解释与评分数据集，并说明这些解释并不完美。
推荐理由：OpenAI 用 GPT-4 自动解释并评分 GPT-2 神经元行为，并公开全部神经元的解释与评分数据集。
Hugging Face BlogAI 评分3636 用 🤗 Transformers、TensorFlow 和 TPU 从零训练语言模型
Hugging Face 发布端到端教程，演示如何用 🤗 Transformers、TensorFlow 和 TPU 从零训练一个 RoBERTa base 模型，涵盖训练 tokenizer、在 WikiText v1 上分词并转为 TFRecord 上传 GCS，再到模型训练与上传的完整流程。代码默认使用 BERT 规模模型，可通过修改配置扩展到更大模型和更强 TPU pod 切片。
Hugging Face BlogAI 评分3636 Databricks 向 Hugging Face 提交代码：LLM 训练与调优提速最高 40%
Databricks 向 Hugging Face 代码库提交首个官方贡献，新增 Datasets 的 from_spark 函数，可直接将 Apache Spark dataframe 转为 Hugging Face Dataset。
Hugging Face BlogAI 评分2222 用 Transformers 进行图分类：基于 Graphormer 的实战教程
Hugging Face 博客发布教程，演示如何用 Transformers 库（版本 >= 4.27.2）进行图分类，目前该库中唯一的图 Transformer 模型是微软的 Graphormer。
Hugging Face BlogAI 评分2727 Hugging Face 与 Substra 合作推出联邦学习演示空间，推动隐私保护 AI
Hugging Face 与开源联邦学习框架 Substra 合作创建了一个演示空间，展示如何在数据不出本地的前提下训练模型。联邦学习只传输模型权重而非原始数据，用多数据源训练的模型在验证数据上几乎总是优于单一数据源模型。Substra 已在乳腺癌研究等复杂安全环境中落地，MELLODDY 项目中 10 家生物制药公司借此共享了全球最大的小分子数据集。
Hugging Face Blog精选AI 评分6262 StackLLaMA：用 RLHF 训练 LLaMA 的实操指南
Hugging Face 发布 StackLLaMA 模型及完整 RLHF 训练流程，用 LLaMA 7B 在 Stack Exchange 问答数据上依次完成监督微调、奖励建模和 PPO 强化学习，训练管线已集成到 TRL 库。
推荐理由：Hugging Face 公开了用 RLHF 训练 LLaMA 的完整流程与代码，读者可据此复现并迁移到自己的任务。
Hugging Face BlogAI 评分2222 如何用 Hugging Face 和 Flower 实现联邦学习
Hugging Face 发布教程，演示如何用 Flower 框架在多个客户端上联邦微调预训练 Transformer 模型 distilBERT，用于 IMDB 影评情感分类。教程涵盖数据加载、PyTorch 训练测试循环、Flower 客户端类编写，并提供 Google Colab 模拟版本。
Hugging Face Blog精选AI 评分6767 Hugging Face 集成 trl 与 peft，在 24GB 消费级 GPU 上微调 20B 大模型
Hugging Face 正式发布 trl 与 peft 的集成，让大语言模型的 RLHF 微调更易上手。该方案用 8-bit 加载、低秩适配器和共享参考模型三层手段压缩显存，在 24GB NVIDIA 4090 上完成了 20B 参数 gpt-neox 的 RLHF 微调，完整训练则在单张 A100 上跑完。
推荐理由：原文给出在 24GB 消费级 GPU 上完成 20B 模型 RLHF 微调的具体组合方案，可迁移到显存受限的训练场景。
Hugging Face BlogAI 评分4848 Hugging Face 社区如何用机器学习搭建土耳其地震灾后救援应用
2023 年土耳其地震后，志愿者在 Hugging Face 上协作开发了灾害地图应用 afetharita，用 easyocr 做 OCR、基于 bert-base-turkish-cased 微调 token 分类模型提取地址，并通过 Inference API 部署。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 PEFT 库，支持 LoRA 等参数高效微调方法
Hugging Face 发布 PEFT 库，提供 LoRA、Prefix Tuning、Prompt Tuning、P-Tuning 等参数高效微调方法，并与 Transformers 和 Accelerate 集成。
推荐理由：原文给出 PEFT 库支持的方法与消费级硬件上的微调示例，读者可据此判断低成本微调的可行路径。
Hugging Face BlogAI 评分5252 Hugging Face Optimum 集成 ONNX Runtime 训练，训练提速最高 130%
Hugging Face 与微软 ONNX Runtime 团队合作，在 Optimum 库中集成 ONNX Runtime 训练后端，为多种 Hugging Face 模型带来 35% 以上的训练提速。
Hugging Face BlogAI 评分5252 Hugging Face 解读：什么让对话智能体真正有用
Hugging Face 博客梳理了让对话智能体有用的关键技术，包括指令微调（IFT）、监督微调（SFT）、思维链（CoT）和基于人类反馈的强化学习（RLHF），并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 和 Anthropic Assistant 在访问方式、模型规模、训练数据和评测标准上的差异。
Hugging Face BlogAI 评分2222 Hugging Face 博客：图机器学习入门指南
Hugging Face 发布图机器学习入门博客，梳理图的基本概念、表示方法及学习范式，涵盖从预神经网络方法到图神经网络（GNN），并延伸至面向图的 Transformer。文章还介绍了图在社交网络、分子、知识图谱等场景的应用，以及图级、节点级、边级和子图级四类任务，并区分了直推式与归纳式两种设定。
Hugging Face BlogAI 评分3434 用 Intel Sapphire Rapids 加速 PyTorch Transformers（上篇）
Hugging Face 展示了如何在 AWS 的 Intel Sapphire Rapids（第四代 Xeon）CPU 集群上加速 PyTorch 训练，借助 Intel oneAPI CCL 做分布式通信、Intel Extension for PyTorch（IPEX）自动启用 AMX 指令，无需改动任何 transformers 代码。
OpenAI NewsAI 评分1010 OpenAI 的 Lilian Weng 谈持续学习的力量
OpenAI 应用 AI 研究团队的 Lilian Weng 探讨持续学习。原文未披露具体模型、参数或评测数据。
Hugging Face BlogAI 评分2222 Hugging Face 音频数据集完全指南：用 🤗 Datasets 一行代码加载与处理
Hugging Face 发布音频数据集使用指南，介绍如何用 🤗 Datasets 的 load_dataset 函数一行代码下载并准备音频数据。文中以 GigaSpeech 为例，其 xs 配置含 10 小时数据，加载后自动划分 train、validation、test 三个 split。Hub 上现有 77 个语音识别数据集和 28 个音频分类数据集，并支持在线试听样本预览。
Hugging Face BlogAI 评分3434 Habana Gaudi2 对比 Nvidia A100 80GB：训练与推理速度实测
Hugging Face 用 Optimum Habana 在 BERT 预训练、Stable Diffusion 推理和 T5-3B 微调上对比了 Habana Gaudi2、初代 Gaudi 与 Nvidia A100 80GB，Gaudi2 训练和推理速度约为 A100 80GB 的两倍。
Hugging Face Blog精选AI 评分6262 图解 RLHF：从预训练、奖励模型到 PPO 微调的三步流程
Hugging Face 博客图解 RLHF 的完整训练流程，将其拆为预训练语言模型、收集人类偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文中说明奖励模型输出标量奖励，训练时用 KL 散度惩罚策略偏离初始模型，并给出 OpenAI、Anthropic、DeepMind 在模型与奖励模型规模上的不同选择。
推荐理由：把 RLHF 拆成预训练、奖励模型、PPO 微调三步，并列出 TRL、TRLX、RL4LMs 等开源工具与数据成本。
Hugging Face BlogAI 评分2222 用深度学习研究蛋白质：面向生物学家与机器学习者的入门指南
Hugging Face 发布《Deep Learning with Proteins》教程，面向想入门机器学习的生物学家和想入门生物学的机器学习者，并附上蛋白质语言模型微调（PyTorch、TensorFlow）与 ESMFold 蛋白质折叠（仅 PyTorch）的示例 notebook。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 MTEB：大规模文本嵌入基准
Hugging Face 发布 MTEB（Massive Text Embedding Benchmark），用于在多种嵌入任务上衡量文本嵌入模型性能，包含 56 个数据集、8 类任务，覆盖最多 112 种语言，榜单已汇总超过 2000 条结果。
推荐理由：MTEB 把 56 个数据集、8 类任务和 112 种语言汇总成统一榜单，读者可据此理解文本嵌入模型的评测口径与选型依据。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 SetFit：无需提示词的高效少样本微调框架
Hugging Face 联合 Intel Labs 和 UKP Lab 发布 SetFit，一个用于 Sentence Transformers 少样本微调的框架，无需提示词或 verbaliser。
推荐理由：原文给出 SetFit 的两阶段训练流程与 RAFT 基准对比，读者可据此判断少样本分类的成本与精度取舍。
Hugging Face BlogAI 评分3636 如何用 Megatron-LM 训练语言模型
Hugging Face 发布教程，讲解如何在 NVIDIA GPU 上用 Megatron-LM 训练 GPT2 语言模型，并转换到 Transformers 使用。
Hugging Face BlogAI 评分3030 用 Hugging Face Transformers 和 Habana Gaudi 预训练 BERT
Hugging Face 发布教程，演示如何在 AWS DL1 实例上借助 Habana Gaudi 从零预训练 BERT-base，使用 Transformers、Optimum Habana 和 Datasets 库完成掩码语言建模任务。
Hugging Face BlogAI 评分2020 Hugging Face 教程：训练与微调 Sentence Transformers 模型
Hugging Face 发布教程，讲解如何从零构建或从 Hub 微调 Sentence Transformers 模型，架构为预训练 Transformer（如 distilroberta-base）加池化层。
Hugging Face BlogAI 评分2626 如何用对抗数据动态训练你的模型
Hugging Face 博客介绍动态对抗数据收集（DADC）：让用户用千奇百怪的手写数字骗过模型，再把骗成功的样本存下来继续训练，循环多轮以提升鲁棒性。教程以 MNIST 手写数字识别为例，用 🤗 Spaces 搭建交互 demo，模型训练 20 个 epoch 后在测试集上达到 89% 准确率，并通过 flag 机制收集对抗样本。
Hugging Face BlogAI 评分4848 BLOOM 训练背后的技术：176B 参数模型如何用 Megatron-DeepSpeed 完成训练
Hugging Face 披露了 176B 参数多语言模型 BLOOM 的训练技术细节，该模型基于 GPT3 架构，使用 Megatron-DeepSpeed 框架在 384 张 80GB A100 GPU 上训练，耗时约 3.5 个月。训练数据为 59 种语言、350B token，模型词表大小 250,680，采用 3D 并行（数据、张量、流水线并行）方案。
Hugging Face Blog精选AI 评分8282 Hugging Face 发布 176B 参数开源多语言模型 BLOOM
Hugging Face 发布 BLOOM，一个 176B 参数的多语言大语言模型，可生成 46 种自然语言和 13 种编程语言的文本，由 70 多个国家 1000 多名研究者协作完成，在法国 Jean Zay 超算上训练 117 天。
推荐理由：BLOOM 以 176B 参数覆盖 46 种自然语言，并公开训练中间检查点与优化器状态，为研究大模型内部行为提供了少见的开放样本。
Hugging Face BlogAI 评分2222 如何用 Sentence Transformers 开启你的第一个机器学习项目
Hugging Face 发文介绍如何以 Sentence Transformers（ST）为例从零上手一个新 ML 库并完成首个自驱项目。ST 可将句子、段落和图像转为嵌入向量，并用 util.cos_sim 计算余弦相似度，支持语义搜索、聚类和模型蒸馏等。该库在 GitHub 已获近 8,000 stars，超过 3,000 个项目和包依赖它。
OpenAI News精选AI 评分7474 OpenAI 用视频预训练让神经网络学会玩 Minecraft
OpenAI 提出 Video PreTraining（VPT）方法，在大量无标注的人类玩 Minecraft 视频上训练神经网络，仅使用少量承包商标注数据。经微调后，模型能学会制作钻石工具，这一任务通常需要熟练人类花费 20 多分钟、约 24000 次操作。模型直接使用键盘按键和鼠标移动这类原生人类交互接口，具有较强通用性，是迈向通用计算机使用智能体的一步。
推荐理由：OpenAI 用少量标注数据加海量无标注视频训练出能玩 Minecraft 的模型，可了解视频预训练在通用计算机智能体上的早期尝试。
Hugging Face BlogAI 评分1212 Hugging Face 金融业机器学习负责人洞察：RBC 与 Moody's Analytics 专家谈 ML 落地挑战
Hugging Face 发布“机器学习负责人洞察”系列金融版，邀请来自 U.S. Bank、Royal Bank of Canada、Moody's Analytics 及前 Bloomberg AI 研究科学家的专家分享金融业 ML 落地经验。
OpenAI NewsAI 评分4040 训练大型神经网络的技术
大型神经网络是近期许多 AI 进展的核心，但训练它们是一项困难的工程与研究挑战，需要编排一组 GPU 集群来完成单次同步计算。
Hugging Face BlogAI 评分2727 TAPEX：无需真实数据的高效表格预训练
微软提出 TAPEX，通过让 BART 学习执行合成 SQL 查询来实现表格预训练，无需真实数据。在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准上均取得 SOTA，其中 WikiSQL 准确率达 89.6%，WikiTableQuestions 达 57.5%。
Hugging Face BlogAI 评分1515 Hugging Face 机器学习专家 Sasha Luccioni 谈 AI 碳足迹与数据治理
Hugging Face 研究科学家 Sasha Luccioni 在播客访谈中介绍了她在 Big Science 项目中主持碳足迹工作组的工作，研究范围涵盖 GPU 训练时长、制造成本乃至单封邮件的 CO2 排放。她还参与数据工作组，推动数据筛选与多语言化，避免模型训练数据几乎全为英文。
Hugging Face BlogAI 评分3636 用 PyTorch FullyShardedDataParallel 加速大模型训练：Accelerate 无需改代码即可启用 FSDP
Hugging Face 介绍如何用 Accelerate 库无需改动代码即可启用 PyTorch FullyShardedDataParallel（FSDP）训练大模型。
Hugging Face BlogAI 评分2222 用 Kili 与 HuggingFace AutoTrain 构建意见分类流水线
HuggingFace AutoTrain 与数据标注平台 Kili 可组合成一套主动学习流水线，用于文本分类：在 Kili 中标注数据、用 AutoTrain 自动完成数据清洗、模型选择与超参数优化，再迭代重训模型。