在 Vertex AI 上部署 🤗 ViT
Hugging Face 展示了如何将 🤗 Transformers 中的 ViT B/16 模型部署到 Google Cloud 的 Vertex AI 平台,用比 Kubernetes 方案更少的代码实现同等扩展能力。
Hugging Face 展示了如何将 🤗 Transformers 中的 ViT B/16 模型部署到 Google Cloud 的 Vertex AI 平台,用比 Kubernetes 方案更少的代码实现同等扩展能力。
Hugging Face 发布教程,演示如何用 Optimum Graphcore 库在 Graphcore IPU 上微调预训练的 ViT 模型,并以 ChestX-ray14 数据集为例提供完整 notebook。
Hugging Face 阐述了其 transformers 库在 TensorFlow 上的设计哲学:所有 TensorFlow 模型都是 Keras Model 对象,所有层都是 Keras Layer 对象,用户可直接调用 fit()、compile() 和 predict()。库通过 TFAutoModel 等类一行代码加载预训练模型,并强调应保留 Keras 高层 API 而非绕开它。
Hugging Face 发布教程,讲解如何用 Docker 和 Kubernetes 将上一篇文章中的 Vision Transformer(ViT)本地部署扩展为可服务多用户的集群部署。方案以 TensorFlow Serving 基础镜像容器化 SavedModel,并通过 Google Kubernetes Engine(GKE)管理集群,代码已在配套仓库开源。
Hugging Face 发布教程,讲解如何从零构建或从 Hub 微调 Sentence Transformers 模型,架构为预训练 Transformer(如 distilroberta-base)加池化层。
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization(PPO),通过将新旧策略的概率比裁剪在 [1−ϵ, 1+ϵ] 区间内,避免策略更新过大,从而提升训练稳定性。文中用 PyTorch 从零实现 PPO,并在 CartPole-v1 和 LunarLander-v2 上验证。
Nyströmformer 通过 Nyström 方法近似标准自注意力,将时间和内存复杂度从 O(n²) 降至 O(n)。它不直接对 softmax 矩阵采样,而是从 query 和 key 中选取 landmark,用分段均值构造 Q̃、K̃,并据此构建三个矩阵完成近似。实验显示仅选 32 或 64 个 landmark 即可在 n=4096 或 8192 的长序列上取得有竞争力的性能。
Hugging Face 的 transformers 库在 TensorFlow 下现可通过 XLA 编译文本生成,速度最高提升 100 倍,甚至快于 PyTorch。该功能需 transformers >= 4.21.0,支持采样、贪心解码、Beam Search 及 temperature、max_new_tokens 等参数控制。
Hugging Face 与外部贡献者已在 Transformers 中加入多种 TensorFlow 视觉模型,包括 Vision Transformer、Masked Autoencoders、RegNet、ConvNeXt。
Hugging Face 深度强化学习课程第 7 单元讲解 Advantage Actor Critic(A2C),一种结合策略与价值方法的混合架构,通过 Actor 控制行为、Critic 评估动作好坏来降低 Reinforce 的方差、稳定训练。课程使用 Stable-Baselines3 在 PyBullet 机器人环境中训练双足步行者和蜘蛛两个智能体行走。
Hugging Face 博客介绍动态对抗数据收集(DADC):让用户用千奇百怪的手写数字骗过模型,再把骗成功的样本存下来继续训练,循环多轮以提升鲁棒性。教程以 MNIST 手写数字识别为例,用 🤗 Spaces 搭建交互 demo,模型训练 20 个 epoch 后在测试集上达到 89% 准确率,并通过 flag 机制收集对抗样本。
Hugging Face 披露了 176B 参数多语言模型 BLOOM 的训练技术细节,该模型基于 GPT3 架构,使用 Megatron-DeepSpeed 框架在 384 张 80GB A100 GPU 上训练,耗时约 3.5 个月。训练数据为 59 种语言、350B token,模型词表大小 250,680,采用 3D 并行(数据、张量、流水线并行)方案。
作者用 Sentence Transformers 和 Gradio Blocks 搭建了一个歌单生成器,将歌词按段落切分后生成嵌入向量,再对文本提示词做语义搜索来匹配歌曲。
Hugging Face 发布 Twitter 情感分析入门指南,面向开发者和非开发者分别给出方案。开发者可用 Tweepy 抓取推文、通过 Inference API 几行代码完成情感分类,并用 Matplotlib 和 WordCloud 可视化结果;非开发者则可借助无代码工具 Zapier 抓取推文、调用 Inference API 分析并将结果发送至 Google Sheets。
Hugging Face 深度强化学习课程第 5 单元讲解 Policy-Based 方法中的 Policy Gradient,并从头用 PyTorch 实现首个策略梯度算法 Reinforce。
Hugging Face 发文介绍如何以 Sentence Transformers(ST)为例从零上手一个新 ML 库并完成首个自驱项目。ST 可将句子、段落和图像转为嵌入向量,并用 util.cos_sim 计算余弦相似度,支持语义搜索、聚类和模型蒸馏等。该库在 GitHub 已获近 8,000 stars,超过 3,000 个项目和包依赖它。
Hugging Face 展示了用 Accelerate 库调用 DeepSpeed ZeRO 加速大模型训练的方法,无需改动代码即可启用 ZeRO Stage-2。
Hugging Face 发布 Embeddings 入门教程,演示如何用开源库 Sentence Transformers 和 Inference API 构建 FAQ 语义搜索。
Hugging Face 介绍了将 Transformers 模型转为 ONNX 的三种方式:底层 torch.onnx、中层 transformers.onnx 和 Optimum 高层 API。
大型神经网络是近期许多 AI 进展的核心,但训练它们是一项困难的工程与研究挑战,需要编排一组 GPU 集群来完成单次同步计算。
Hugging Face 深度强化学习课程第三单元讲解 Deep Q-Learning:不再维护 Q-table,而是用神经网络根据状态逼近每个动作的 Q 值,并训练智能体玩 Space Invaders 等 Atari 环境。输入为 4 帧堆叠、缩放至 84x84 的灰度画面,经三层卷积和全连接层输出各动作 Q 值,训练借助基于 Stable-Baselines 的 RL-Zoo 完成。
Hugging Face 博客发布《The Annotated Diffusion Model》,基于 Ho 等人 2020 年的 DDPM 论文,用 PyTorch 逐步实现去噪扩散概率模型,代码参考 Phil Wang 的实现。
推荐理由:从 DDPM 论文出发逐步用 PyTorch 复现扩散模型,并梳理后续关键改进方向,适合想理解扩散模型原理的读者。
Cohere、OpenAI 和 AI21 Labs 共同制定了一套初步的大语言模型最佳实践,适用于任何开发或部署大语言模型的组织。
Hugging Face 深度强化学习课程第二单元第二部分讲解 Q-Learning 算法,并从头实现首个 RL 智能体,在 Frozen Lake v1 和自动驾驶出租车两个环境中训练。
Sempre Health 借助 Hugging Face 专家加速计划部署了新的 NLP 流水线,用于自动分类并回复患者短信,上线数周后近 20% 的入站消息被自动处理。此前其基于规则的系统只能覆盖约 80% 的短信,Hugging Face 团队在标注、模型选型和方法上提供了指导,缩短了研发时间。
Hugging Face 深度强化学习课程更新第二单元第一部分,讲解基于价值的方法,并区分蒙特卡洛与时序差分学习。内容涵盖状态价值函数、动作价值函数与贝尔曼方程,为下一部分实现首个 Q-Learning 智能体做铺垫。
Hugging Face 博客发布“机器学习总监洞察”系列第二部分,聚焦 SaaS 领域,采访了 Salesforce 的 Omar Rahman 和 Amplitude 的曹(Danica)肖等机器学习负责人。Omar 提到,采用新的 Transformer 语音技术后团队错误率下降 30%,并强调应关注业务问题而非追逐最新算法。
Hugging Face 推出免费深度强化学习课程,第一单元讲解深度强化学习基础,涵盖 RL 框架、马尔可夫性质、观测/状态空间、动作空间、奖励与折扣、探索/利用权衡,以及基于策略和基于价值两类方法。
Hugging Face 介绍如何用 Accelerate 库无需改动代码即可启用 PyTorch FullyShardedDataParallel(FSDP)训练大模型。
HuggingFace AutoTrain 与数据标注平台 Kili 可组合成一套主动学习流水线,用于文本分类:在 Kili 中标注数据、用 AutoTrain 自动完成数据清洗、模型选择与超参数优化,再迭代重训模型。
Hugging Face 与 Habana Labs 合作,在 Amazon EC2 DL1 实例的 Habana Gaudi 加速器上微调 BERT 模型,Gaudi 相比最新 GPU 版 EC2 实例训练性价比最高提升 40%。
Hugging Face 发布博客,演示如何用其生态工具处理客户服务场景:将筛选不满客户消息建模为文本分类任务,按 5 档情感(very unsatisfied 到 very satisfied)分类。
Hugging Face 的 Transformers 库有意不遵循 DRY 原则,转而采用"单一模型文件策略":模型前向传播所需的全部代码只放在一个模型文件中,注意力机制代码在不同模型文件里被复制超过 50 次。官方给出的理由包括该库由开源社区共建、建模代码本身就是产品、机器学习领域演进极快,以及模型发布后基本静态不变。
Hugging Face 发布教程,演示如何用自建人行道数据集 segments/sidewalk-semantic 微调 SegFormer 语义分割模型,并借助 transformers 与 Hugging Face Hub 完成训练。
Hugging Face 发布端到端教程,演示如何用 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。
Hugging Face 展示了如何用 🤗 datasets 的 Image 特征类型结合 sentence_transformers 和 faiss,为图像数据集构建相似度搜索应用。
Hugging Face 在 Transformers 中推出约束束搜索(constrained beam search),通过 model.generate() 的 force_words_ids 参数让用户指定输出中必须包含的词或短语。
Google AI Language 于 2018 年推出的 BERT 基于 Transformer 双向编码器,可同时处理 11 种以上常见 NLP 任务,并在多项任务上超越此前专用模型。
Hugging Face 发布教程,演示如何用 🤗 datasets 加载 beans 图像分类数据集,并借助 🤗 transformers 微调预训练 ViT 模型。教程使用 google/vit-base-patch16-224-in21k 及其配套 ViTImageProcessor,将图像处理为 (1, 3, 224, 224) 的 pixel_values 张量后送入模型训练。
Hugging Face Hub 上已有超过 215 个公开的情感分析模型,用 Python 的 transformers pipeline 只需 5 行代码即可调用,默认模型对 "I love you" 和 "I hate you" 分别给出 0.9998 和 0.9991 的置信度。