Google Cloud C4 搭配 Intel 与 Hugging Face,让 GPT OSS 的 TCO 提升 70%
Intel 与 Hugging Face 联合测试显示,在搭载 Intel Xeon 6 处理器(Granite Rapids)的 Google Cloud C4 虚拟机上运行 OpenAI GPT OSS 模型,总拥有成本(TCO)较上一代 C3 实例提升 1.7 倍,即 70%。
Intel 与 Hugging Face 联合测试显示,在搭载 Intel Xeon 6 处理器(Granite Rapids)的 Google Cloud C4 虚拟机上运行 OpenAI GPT OSS 模型,总拥有成本(TCO)较上一代 C3 实例提升 1.7 倍,即 70%。
Google 发布 EmbeddingGemma,一款面向端侧场景的多语言文本嵌入模型,参数量 308M,上下文窗口 2K,支持超过 100 种语言。该模型基于 Gemma3 骨干改为双向注意力,输出 768 维向量并支持 MRL 截断到 512、256 或 128 维,量化后内存占用低于 200MB。
推荐理由:原文给出 308M 参数、2K 上下文和量化后 200MB 内存等规格,读者可据此判断端侧 RAG 的落地边界。
TimeScope 是一个开源长视频理解基准,通过在 1 分钟到 8 小时的基础视频中插入 5-10 秒的短片段作为“针”,评测模型的局部检索、信息综合和细粒度时序感知三项能力。
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama 等主流开源库中可用,并发布 gemma-3n-E2B 与 gemma-3n-E4B 两个尺寸(各含 base 与 instruct 变体)。
推荐理由:原文给出 Gemma 3n 的端侧内存占用、多模态输入与各开源库接入方式,便于判断本地部署可行性。
Google 发布 Gemma 家族新成员 Gemma 3,提供 1B、4B、12B、27B 四种参数规模,含预训练和指令微调版本。4B、12B、27B 支持图像与文本输入、140 多种语言,上下文窗口从 Gemma 2 的 8k 提升至 128k,1B 版本为纯文本、32k 上下文。
推荐理由:梳理了 Gemma 3 的四种参数规模、多模态与 128k 上下文变化,并给出 transformers 与端侧推理的可用入口。
Hugging Face 与印度科学研究所(IISc)及 ARTPARK 达成合作,旨在提升印度多模态多语言数据集 Vaani 的可访问性与易用性。Vaani 由 IISc/ARTPARK 与 Google 于 2022 年发起,目标采集超 150,000 小时语音和 15,000 小时转写文本,覆盖全印 773 个地区、100 万人。
Google 发布 SigLIP 2 系列多语言视觉语言编码器,在 SigLIP 的 sigmoid loss 基础上加入解码器、自蒸馏 Global-Local loss 与 Masked Prediction loss 等训练目标,在零样本分类、图文检索及为 VLM 提取视觉表征等核心能力上全面优于旧版 SigLIP。
推荐理由:梳理 SigLIP 2 相比前代新增的训练目标与 naflex 动态分辨率变体,便于理解视觉编码器的演进方向。
Google 发布 PaliGemma 2 Mix,这是基于 SigLIP 和 Gemma 2 的微调视觉语言模型,覆盖 OCR、长短描述、视觉问答、目标检测与图像分割等任务。模型提供 3B、10B、28B 三种参数规模和 224、448、896 三种分辨率,支持 HF Transformers 与 JAX 框架,并已开放演示。
Artificial Analysis 发布 Big Bench Audio 评测数据集,用于评估音频语言模型的推理能力,题目改编自 Big Bench Hard,共 1000 道音频题,覆盖 Formal Fallacies、Navigate、Object Counting、Web of Lies 四类各 250 题。
Hugging Face 在 Google Cloud 的 N2(第三代 Xeon)与 C4(第五代 Xeon)实例上基准测试了文本嵌入和文本生成两类智能体 AI 负载。
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个聊天机器人竞技场,测试 LLM 能否根据用户的自然语言反馈修正自己生成的代码。实验在 TPU v5e 2x4 上同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型,共 7 个 LLM,以 bfloat16 格式运行,通过 Gradio 界面并行对话并随时切换模型。
Google 发布新一代视觉语言模型 PaliGemma 2,用 Gemma 2 替换前代的文本解码器,保留 SigLIP 图像编码器,提供 3B、10B、28B 三种参数规模,每种均支持 224x224、448x448、896x896 三种输入分辨率,而前代 PaliGemma 仅有 3B 版本。
推荐理由:PaliGemma 2 给出 3B 到 28B 三种规模与三种分辨率组合,读者可据此判断视觉语言模型的微调选型空间。
Hugging Face 博客发布 Judge Arena,一个让用户对两个 LLM 评审模型的评分和理由进行投票对比的平台,结果汇总为按 Elo 分数每小时更新的公开榜单。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text,可通过 logits processor 为 AI 生成文本加水印,并用分类器检测。
推荐理由:Google DeepMind 与 Hugging Face 把文本水印做成 Transformers 里的生成配置,读者可据此了解其接入方式与检测流程。
Hugging Face 发布教程,介绍如何在 Google Cloud Vertex AI 上用 Text Generation Inference(TGI)和 Hugging Face 深度学习容器(DLC)部署 Meta Llama 3.1 405B。
Hugging Face 复现 Google 的 Infini-attention 实验发现,随着记忆压缩次数增加,模型性能反而持续下降。团队尝试将 Llama 3 8B 的 8k 上下文扩展至 100 万 token,但结论是 ring attention、YaRN 和 rope scaling 仍是扩展预训练模型上下文长度的最佳方案。训练好的 checkpoint 已公开,代码按原样提供。
Google 在 Gemma 2 发布一个月后扩充 Gemma 模型系列,新增 2.6B 参数的 Gemma 2 2B(含 base 与指令微调版)、安全分类器 ShieldGemma 以及稀疏自编码器套件 Gemma Scope。
推荐理由:Gemma 2 新增 2B 小模型、安全分类器和可解释性工具,读者可据此判断端侧部署与安全过滤的可用选项。
Hugging Face 与 KerasHub 宣布共享模型保存格式,Hugging Face Hub 上 30 万+ Transformers 模型现可直接加载进 KerasHub。首批支持 Gemma 1/2、Llama 3 和 PaliGemma,模型可在 TensorFlow、JAX、PyTorch 后端间一行代码切换。需升级 keras-hub 及 keras>=3.3.3。
Hugging Face 用户现可在 Inference Endpoints 和 Spaces 上使用 Google Cloud TPU v5e,提供 v5litepod-1(1 核 16 GB,$1.375/小时)、v5litepod-4(4 核 64 GB,$5.50/小时)和 v5litepod-8(8 核 128 GB,$11.00/小时)三种配置。
Google 发布开源大模型 Gemma 2,提供 9B 和 27B 两个规模,各有基础版与指令微调版,上下文长度 8K tokens,采用允许商用和再分发的宽松许可。
推荐理由:文章梳理了 Gemma 2 的滑动窗口注意力、软上限与蒸馏等训练改动,并给出与 Llama 3、Qwen 1.5 的基准对比。
Hugging Face 推出 Open Medical-LLM Leaderboard,用统一平台评测大语言模型在医疗任务上的表现,以准确率为主要指标,覆盖 MedQA、MedMCQA、PubMedQA 及 MMLU 的医学与生物学子集。
Hugging Face 推出 Deploy on Google Cloud,可将数千个开源模型通过 Vertex AI 或 GKE 部署为自有 Google Cloud 账户内的 API Endpoint。
Google 发布代码专用模型系列 CodeGemma,基于预训练的 2B 和 7B Gemma checkpoint,额外用 5000 亿 token 的英文、数学和代码数据训练,包含 2B base、7B base 和 7B instruct 三个版本,均保持 8K token 上下文。
推荐理由:Google 与 Hugging Face 联合发布三款代码专用 Gemma 模型,读者可据此了解其规格、基准表现与部署方式。
Hugging Face 与 Lighthouz AI 联合推出 Chatbot Guardrails Arena,让用户与两个匿名 LLM 聊天,尝试诱导其泄露虚构银行 XYZ001 客户的敏感信息,并投票选出隐私保护更强的模型。
Hugging Face 发布教程,介绍如何用 Transformers 和 PEFT 库对 Google DeepMind 的开源模型 Gemma(2B 和 7B 参数)进行 LoRA 微调。
Google 发布开源大模型家族 Gemma,包含 2B 和 7B 两种尺寸,各有基础版和指令微调版,上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75,性能接近 Mistral 7B;Hugging Face 提供了 Transformers、Google Cloud、Inference Endpoints 集成以及基于 TRL 的微调示例。
推荐理由:Google 发布 Gemma 开源模型家族,读者可了解其两种尺寸、性能位次及在 Hugging Face 生态中的部署与微调路径。
Hugging Face 宣布与 Google Cloud 达成战略合作,在开放科学、开源、云和硬件领域展开协作,帮助企业在 Hugging Face 开放模型与 Google Cloud 的 Vertex AI、TPU 等基础设施上构建自己的 AI。
Hugging Face 发布 aMUSEd,这是对 Google MUSE 的开源复现,采用 Masked Image Model(MIM)而非主流潜在扩散方法,以研究预览形式在宽松许可下开放。
推荐理由:Hugging Face 开源复现 Google MUSE 的非扩散文生图模型,读者可了解 MIM 路线在推理步数与体积上的取舍。
OpenAI 联合 Anthropic、Google 和 Microsoft 宣布了 Frontier Model Forum 的新任执行董事,并设立 1000 万美元 AI 安全基金。
Hugging Face Diffusers 现已支持在 Cloud TPU v5e 上通过 JAX 运行 Stable Diffusion XL 推理。该方案借助 JAX 的 jit 编译与 XLA 并行能力,在多个 TPU v5e-4 实例上约 4 秒生成四张 1024×1024 图像,其中实际生成时间约 2.3s。
OpenAI 正在组建一个新的行业机构 Frontier Model Forum,以推动前沿 AI 系统的安全与负责任开发。该机构将推进 AI 安全研究、确定最佳实践与标准,并促进政策制定者与行业之间的信息共享。
Hugging Face 发布端到端教程,演示如何用 🤗 Transformers、TensorFlow 和 TPU 从零训练一个 RoBERTa base 模型,涵盖训练 tokenizer、在 WikiText v1 上分词并转为 TFRecord 上传 GCS,再到模型训练与上传的完整流程。代码默认使用 BERT 规模模型,可通过修改配置扩展到更大模型和更强 TPU pod 切片。
Hugging Face 博客梳理了让对话智能体有用的关键技术,包括指令微调(IFT)、监督微调(SFT)、思维链(CoT)和基于人类反馈的强化学习(RLHF),并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 和 Anthropic Assistant 在访问方式、模型规模、训练数据和评测标准上的差异。
Hugging Face 博客图解 RLHF 的完整训练流程,将其拆为预训练语言模型、收集人类偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文中说明奖励模型输出标量奖励,训练时用 KL 散度惩罚策略偏离初始模型,并给出 OpenAI、Anthropic、DeepMind 在模型与奖励模型规模上的不同选择。
推荐理由:把 RLHF 拆成预训练、奖励模型、PPO 微调三步,并列出 TRL、TRLX、RL4LMs 等开源工具与数据成本。
Hugging Face 发文梳理 Document AI 的六大用例及对应开源模型,涵盖 OCR、文档图像分类、版面分析、文档解析等任务。
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax,可在 Colab、Kaggle 或 Google Cloud Platform 的 TPU 上实现快速推理。
推荐理由:Hugging Face 官方给出在 TPU 上用 JAX/Flax 跑 Stable Diffusion 的完整流程,含并行与编译耗时数据。
Hugging Face 展示了如何将 🤗 Transformers 中的 ViT B/16 模型部署到 Google Cloud 的 Vertex AI 平台,用比 Kubernetes 方案更少的代码实现同等扩展能力。
Hugging Face 发布教程,演示如何用 Optimum Graphcore 库在 Graphcore IPU 上微调预训练的 ViT 模型,并以 ChestX-ray14 数据集为例提供完整 notebook。
Hugging Face 与外部贡献者已在 Transformers 中加入多种 TensorFlow 视觉模型,包括 Vision Transformer、Masked Autoencoders、RegNet、ConvNeXt。
Hugging Face 发布机器学习专家访谈,嘉宾 Margaret Mitchell 曾创立并联合领导 Google 伦理 AI 团队,现于 Hugging Face 制定伦理 AI 研究协议与包容性招聘体系。