Hugging Face 详解大语言模型红队测试
红队测试通过构造自然语言提示词诱导大语言模型输出有害内容，从而暴露其漏洞，与对抗攻击不同，其提示词对人类而言是正常可读的。红队测试可由人工或另一个语言模型执行，针对经 RLHF 或 SFT 对齐的模型需借助角色扮演等创造性手段。随着模型能力增强，开发可持续适配的红队方法并推动多方协作共享数据集与最佳实践变得至关重要。
#Microsoft
#Microsoft
今日 0 条Hugging Face BlogAI 评分3535
Hugging Face Blog精选AI 评分6060 SpeechT5 上线 Hugging Face Transformers，支持语音合成、识别与音色转换
Hugging Face 宣布 SpeechT5 已集成进 Transformers，论文作者发布的官方 checkpoint 可在 Hugging Face Hub 获取，并提供语音合成、音色转换和自动语音识别三个 Spaces 演示。
推荐理由：SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR，读者可据此了解多任务语音模型在 Transformers 中的接入方式。
Hugging Face Blog精选AI 评分7575 用 LoRA 高效微调 Stable Diffusion
Hugging Face 在 diffusers 中正式支持 LoRA 微调 Stable Diffusion，训练脚本最低可在 11 GB 显存上运行，无需 8-bit 优化器等技巧。由于原模型权重被冻结，只需保存新注入层的权重，单个文件约 3 MB，比原 UNet 小约一千倍，便于分享和下载。文章给出了完整的训练命令、推理时加载 LoRA 权重的代码，以及结合 Dreambooth 的用法。
推荐理由：原文给出 LoRA 微调 Stable Diffusion 的完整脚本与推理流程，读者可据此在 11 GB 显存上复现训练。
Hugging Face BlogAI 评分5252 Hugging Face Optimum 集成 ONNX Runtime 训练，训练提速最高 130%
Hugging Face 与微软 ONNX Runtime 团队合作，在 Optimum 库中集成 ONNX Runtime 训练后端，为多种 Hugging Face 模型带来 35% 以上的训练提速。
OpenAI News精选AI 评分6262 OpenAI 与 Microsoft 宣布延长合作关系
OpenAI 宣布与 Microsoft 延长双方的合作关系，未披露具体条款与期限。
Hugging Face BlogAI 评分3838 Hugging Face 用 Diffusers 支持 VQ-Diffusion 离散扩散模型
中国科学技术大学与微软提出的 VQ-Diffusion 是一种在量化隐空间上做加噪与去噪的条件隐扩散模型，其隐空间由离散向量集合构成。Hugging Face 现已支持通过 Diffusers 用几行代码运行该模型，加载 microsoft/vq-diffusion-ithq，并可选 FP16 权重。
Hugging Face BlogAI 评分5050 Hugging Face 发布 Document AI 加速指南：开源模型与六大用例解析
Hugging Face 发文梳理 Document AI 的六大用例及对应开源模型，涵盖 OCR、文档图像分类、版面分析、文档解析等任务。
Hugging Face BlogAI 评分4848 BLOOM 训练背后的技术：176B 参数模型如何用 Megatron-DeepSpeed 完成训练
Hugging Face 披露了 176B 参数多语言模型 BLOOM 的训练技术细节，该模型基于 GPT3 架构，使用 Megatron-DeepSpeed 框架在 384 张 80GB A100 GPU 上训练，耗时约 3.5 个月。训练数据为 59 种语言、350B token，模型词表大小 250,680，采用 3D 并行（数据、张量、流水线并行）方案。
Hugging Face BlogAI 评分2727 TAPEX：无需真实数据的高效表格预训练
微软提出 TAPEX，通过让 BART 学习执行合成 SQL 查询来实现表格预训练，无需真实数据。在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准上均取得 SOTA，其中 WikiSQL 准确率达 89.6%，WikiTableQuestions 达 57.5%。
Hugging Face BlogAI 评分2222 Hugging Face 机器学习专家访谈：Margaret Mitchell 谈伦理 AI 与数据偏见
Hugging Face 发布机器学习专家访谈，嘉宾 Margaret Mitchell 曾创立并联合领导 Google 伦理 AI 团队，现于 Hugging Face 制定伦理 AI 研究协议与包容性招聘体系。
Hugging Face BlogAI 评分2222 大语言模型：新的摩尔定律？
Hugging Face 发文质疑微软与 NVIDIA 发布的 Megatron-Turing NLG 530B 这类超大模型趋势，指出复现该实验需花费近 1 亿美元，且训练 BERT 的碳排放已相当于一次跨美飞行。文章主张改用预训练模型、更小模型（如 DistilBERT 保留 97% 语言理解能力、体积小 40%、速度快 60%）和微调等务实方案。
Hugging Face Blog精选AI 评分6262 用 DeepSpeed 和 FairScale 的 ZeRO 训练更快、装下更大模型
Hugging Face 的 transformers v4.2.0 起通过 --sharded_ddp 和 --deepspeed 两个 Trainer 参数实验性支持 FairScale 与 DeepSpeed 的 ZeRO 功能。
推荐理由：作者用 t5-large 与 t5-3b 实测对比 FairScale 与 DeepSpeed 的显存与速度差异，并给出可直接复用的 Trainer 参数。
OpenAI News精选AI 评分6262 OpenAI 将 GPT-3 技术授权给 Microsoft
OpenAI 宣布已同意将 GPT-3 授权给 Microsoft，用于其自有产品和服务。
推荐理由：OpenAI 将 GPT-3 授权给 Microsoft 用于其自有产品和服务，读者可据此了解双方早期的技术授权关系。
OpenAI News精选AI 评分8282 微软向 OpenAI 投资 10 亿美元并达成合作
微软向 OpenAI 投资 10 亿美元，支持其构建通用人工智能（AGI）并让经济收益广泛分布。双方将在 Microsoft Azure 上合作开发可扩展至 AGI 的硬件和软件平台，联合开发新的 Azure AI 超算技术，微软同时成为 OpenAI 的独家云服务商。
推荐理由：微软以 10 亿美元投资 OpenAI 并成为其独家云服务商，读者可据此了解双方早期算力与平台合作框架。
OpenAI NewsAI 评分4040 OpenAI 与 Microsoft 合作，将大规模实验迁移至 Azure
OpenAI 正与 Microsoft 合作，将其大部分大规模实验放到 Azure 上运行。