Hugging Face 发布 Ethics and Society Newsletter #5，回顾其今夏向欧盟、英国和美国立法者提供 AI 价值观与监管建议的工作，包括 CEO Clem 在美国国会作证及在美国参议院 AI Insight Forum 发言。团队还就 EU AI Act、NTIA AI 问责、开源 AI 益处等议题公开发声，并将偏见与危害测试应用于新多模态模型 IDEFICS。
Hugging Face 发布教程，展示非工程师如何零代码训练 LLaMA 2 聊天机器人。流程分三步：用 Spaces 部署 AutoTrain 和 ChatUI 模板，在 AutoTrain 中选用 Meta Llama 2 7b 基础模型、A10G Large GPU 和 Alpaca 指令数据集完成微调，再通过 ChatUI 部署成可分享的聊天应用。
Mistral AI 发布 7.3B 参数的 Mistral 7B，采用 Apache 2.0 许可，可无限制使用并支持本地部署。官方称该模型在所有基准上超过 Llama 2 13B，在多项基准上超过 Llama 1 34B，代码能力接近 CodeLlama 7B。
推荐理由：官方给出 Mistral 7B 与 Llama 2 系列的逐项对比和滑动窗口注意力设计，可据此判断小参数模型的性价比边界。
Mistral AI 发布首个 7B 参数模型 Mistral 7B，称其在所有标准英文与代码基准上超过现有 13B 参数以下的开源模型，并以 Apache 2.0 许可发布、可无限制使用。
推荐理由：Mistral AI 官方阐述开源模型路线，并给出 Mistral 7B 在标准基准上超越同规模开源模型的具体结果。
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试，覆盖 7B、13B、70B 三种规模，在 g5.2xlarge、g5.12xlarge、g5.48xlarge 和 p4d.24xlarge 实例上测试了 1、5、10、20 并发请求，并对比了 GPTQ 4-bit 量化与未量化性能。
OpenAI 发布 GPT-4V(ision) 系统卡，介绍该多模态模型的能力与安全评估情况。
OpenAI 宣布 ChatGPT 新增看、听、说能力，可处理图像与语音输入并语音回复。
Hugging Face 为 PRO 用户推出 Inference for PROs，提供 Meta Llama 3 Instruct、Mixtral 8x7B Instruct。
OpenAI 宣布公开招募红队网络（Red Teaming Network）成员，邀请有兴趣提升 OpenAI 模型安全性的领域专家加入。
Rocket Money 将每月超 1 亿笔交易的商户识别从正则系统迁移到基于 BERT 家族模型的文本分类方案，该模型覆盖 4000+ 类别。经过三个月评估和逐步放量压测后，团队选择 Hugging Face Inference API 托管模型，因其接入快、可动态扩展并保持低延迟。
Hugging Face 推出 Object Detection Leaderboard，对 Hub 上的目标检测模型按指标排名，并详解 IoU、Average Precision（AP）与 Average Recall（AR）等评测指标的计算方式。文章还分析了不同报告中模型结果出现分歧的原因，帮助开发者按应用需求挑选开源检测模型。
Hugging Face 博客发布 3D Gaussian Splatting 入门介绍，说明这是一种从少量图像学习逼真场景并实时渲染的栅格化技术。文章拆解了完整流程：先用 COLMAP 做 Structure from Motion 估计点云，再把每个点转成高斯并训练，训练中通过可微高斯栅格化计算损失，并按梯度大小自动分裂、克隆或剪枝高斯。
推荐理由：文章把 3D Gaussian Splatting 的流程拆成可理解的步骤，并列出显存、磁盘与渲染管线兼容性等实际限制。
Hugging Face 博客总结了生产环境部署 LLM 的三大优化方向：降低数值精度至 8-bit 和 4-bit、采用 Flash Attention 注意力算法，以及 Alibi、Rotary embeddings、MQA、GQA 等架构改进。
OpenAI 宣布在爱尔兰都柏林设立办公室，以扩大其在欧洲的业务布局。
Würstchen 是一个文本条件扩散模型，其文本条件部分在高度压缩的潜空间中工作，通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 组成 Decoder，实现 42x 空间压缩，Stage C 作为 Prior 在该潜空间中训练。
推荐理由：原文给出 42x 空间压缩与训练算力对比，读者可据此判断高效扩散模型在成本上的取舍。
Hugging Face 发布教程，介绍如何用 PyTorch FSDP 结合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B，并在 2 节点 16 张 A100 80GB 上完成训练，耗时约 13.5 小时。
推荐理由：原文给出 70B 模型多节点微调的三个具体瓶颈及对应配置改法，可迁移到其他大模型训练场景。
Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者无需校准数据即可开箱量化任意含 torch.nn.Linear 的模型，后者在文本生成上更快且支持 2-bit 量化。bitsandbytes 的 4-bit 模型暂不支持序列化，GPTQ 则需校准数据集且目前仅适用于语言模型。
Hugging Face 发布企业级代码助手 SafeCoder，基于 155 亿参数的 StarCoder 开源模型，支持 80 多种编程语言和 8192 token 上下文窗口。相比 GitHub Copilot 等闭源服务，SafeCoder 提供模型透明度、企业自定义微调、本地或云端部署及完全离线运行能力，提示词与建议数据不会回传 Hugging Face。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，在 diffusers 中为 Stable Diffusion XL 加入 T2I-Adapter 支持，并发布 sketch、canny、lineart、depth、openpose 五种条件的预训练 checkpoint。
推荐理由：对比 ControlNet 的参数与显存占用，说明 T2I-Adapter 在 SDXL 可控生成上的效率取舍。
OpenAI 将于 11 月 6 日在旧金山举办首届开发者大会，开发者可现场参会或在线观看主题演讲。现场参会报名将在未来几周内开放。
TII 发布 Falcon 180B 并上线 Hugging Face，参数规模 1800 亿，在 3.5 万亿 token 的 RefinedWeb 数据上预训练，是当时最大的公开可用语言模型。
推荐理由：Falcon 180B 以 1800 亿参数和 3.5 万亿 token 预训练规模进入开源生态，读者可据此了解当时开源模型与闭源模型的差距。
Fetch 在 Amazon SageMaker 上结合 Hugging Face AWS Deep Learning Container 与 Hugging Face Inference Toolkit 优化其 ML 流水线，将最慢扫描的延迟降低 50%，文档理解模型准确率提升 200%。
OpenAI 发布面向教师的 ChatGPT 课堂使用指南，内容包括推荐提示词、ChatGPT 的工作原理与局限、AI 检测工具的有效性以及偏见问题。
Hugging Face 博客介绍在 🧨 Diffusers 中使用 AudioLDM 2 的四种优化方法，将 10 秒音频的生成时间从约 14 秒降到不足 1 秒，且音频质量下降很小。
OpenAI 发布 ChatGPT Enterprise，主打企业级安全与隐私，并称其为目前能力最强的 ChatGPT 版本。
推荐理由：OpenAI 官方发布面向企业的 ChatGPT 版本，读者可了解其安全隐私定位与能力版本信息。
Meta 发布 Code Llama，基于 Llama 2 初始化并在 5000 亿 token 代码数据上训练，提供 7B、13B、34B 三种规格，另有 Python 专用版和指令微调版，采用与 Llama 2 相同的社区许可并允许商用。
推荐理由：梳理 Code Llama 三种规格与 Python 专用、指令微调变体的差异，并给出 Hugging Face 生态的接入方式与基准对比。
OpenAI 与 Scale 达成合作，企业客户可借助 Scale 的 AI 专业能力微调 OpenAI 最先进的模型。该支持面向企业微调场景，帮助客户定制模型。
Hugging Face 将 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法以 8、4、3 甚至 2-bit 精度量化和运行大语言模型，4-bit 量化精度损失可忽略，小批量下推理速度与 fp16 基线相当。
推荐理由：原文给出了 GPTQ 在 Transformers 中的集成方式与显存、延迟对比数据，读者可据此判断量化部署的可行边界。
OpenAI 宣布开发者现在可以自带数据对 GPT-3.5 Turbo 进行微调，以适配各自的使用场景，同时更新了 API。
推荐理由：OpenAI 开放 GPT-3.5 Turbo 微调，开发者可用自有数据定制模型，值得关注其对应用落地的影响。
Hugging Face 发布面向企业的端到端代码助手 SafeCoder，基于 BigCode 项目的 StarCoder 系列代码大模型，支持客户在自有基础设施上自托管部署，训练与推理全程代码不离开 VPC。
Hugging Face 发布开源视觉语言模型 IDEFICS，基于 DeepMind 未公开的 Flamingo 复现，接受任意图像与文本序列输入并生成文本，提供 9B 和 80B 两个参数规模及对应的 instruct 版本。
推荐理由：Hugging Face 复现了未开源的 Flamingo，并公开训练数据、技术教训与红队评估过程，读者可据此了解开源多模态模型的复现路径。
OpenAI 宣布收购 Global Illumination，该公司整个团队已加入 OpenAI。Global Illumination 此前专注于数字产品设计，此次收购的具体金额与团队规模未在公告中披露。
OpenAI 将 GPT-4 用于内容政策制定与内容审核决策，可实现更一致的标注、更快的政策优化反馈闭环，并减少人工审核员的参与。
Hugging Face Hub 已上线 AWS Marketplace，用户可通过 AWS 账户订阅并支付 Hugging Face 的使用费用。订阅后，Inference Endpoints、Spaces 硬件升级和 AutoTrain 等服务的组织用量费用将直接计入 AWS 账单，价格与 Hugging Face 公开定价一致。
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型。DeepFloyd IF 直接在像素空间工作，由冻结的文本编码器 T5-XXL-1.1 和三个级联像素扩散模块组成，可将 64x64 px 基础图逐步放大至 1024x1024 px。
Hugging Face 发布实战教程，演示如何用 Transformers、Optimum 和 Accelerate 三个库优化 Suno AI 的文本转语音模型 Bark。教程基于 suno/bark-small 检查点，通过三项简单优化降低显存占用并提升推理速度，并给出未优化基线的 benchmark 对比：5 次迭代平均执行时间 9.38 秒、最大显存占用 1.91 GB。
Hugging Face 博客介绍 TRL 库新增的 DPO 训练支持，并演示如何用 QLoRA 在 stack-exchange 偏好数据上微调 Llama v2 7B。
推荐理由：TRL 官方给出 DPO 微调 Llama 2 的完整代码与数据格式，读者可据此在自己的偏好数据上复现。
Hugging Face 发布 swift-transformers，一个用 Swift 实现类 transformers API 的包，专注文本生成，并同时放出 swift-chat 演示应用、更新版 exporters 与 transformers-to-coreml 转换工具，以及 Llama 2 7B、Falcon 7B 等已转换好的 Core ML 模型。
推荐理由：官方给出在 Apple 设备上跑 Llama 2 等模型的完整工具链与转换路径，可据此评估端侧部署的可行步骤。
Hugging Face 发布教程，介绍如何通过 Inference Endpoints 的自定义 handler 部署音乐生成模型 MusicGen。用户需复制 facebook/musicgen-large 仓库，添加 handler.py 和 requirements.txt，即可创建端点，16 GB RAM 实例即可运行。
Zama 展示了用全同态加密（FHE）在加密数据上运行大语言模型推理的方案，基于 Hugging Face transformers 库改造 GPT2，将首个多头注意力头用 Concrete-Python 转为 FHE 等价实现。实验显示 4-bit 量化可保留原模型 96% 的精度，客户端本地推理至首层后加密中间结果交由服务器计算，兼顾用户数据隐私与模型 IP 保护。