Hugging Face 详解高效多模态数据管道：从朴素填充到背包算法
Hugging Face 以 nanoVLM 项目为例，分五个阶段构建高效多模态数据管道，解决 GPU 空转与填充浪费问题。朴素填充阶段约 60% 的 batch 被无用 padding token 占据，随后依次采用受限填充、背包算法打包，并推出支持贪心与 binpack 策略的 ConstantLengthDataset，按 token 与图像数量打包样本。
#多模态
#多模态
今日 1 条Hugging Face BlogAI 评分3636
Hugging Face Blog精选AI 评分6060 NVIDIA Llama Nemotron Nano VL 上架 Hugging Face Hub
NVIDIA 发布 Llama Nemotron Nano VL，一个 8B 视觉语言模型，面向智能文档处理，已在 Hugging Face 上架。
推荐理由：8B 视觉语言模型面向文档处理，给出了架构、训练数据与 OCRBench v2 表现，便于评估企业文档自动化选型。
Hugging Face Blog精选AI 评分7878 Gemma 3n 正式上线开源生态，支持多模态与端侧运行
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama 等主流开源库中可用，并发布 gemma-3n-E2B 与 gemma-3n-E4B 两个尺寸（各含 base 与 instruct 变体）。
推荐理由：原文给出 Gemma 3n 的端侧内存占用、多模态输入与各开源库接入方式，便于判断本地部署可行性。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 ScreenSuite：面向 GUI Agent 的评测套件
Hugging Face 发布 ScreenSuite，一个面向 GUI Agent 的评测套件，整合 13 项基准，覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由：Hugging Face 开源 GUI Agent 评测套件，读者可了解其 13 项基准覆盖范围与纯视觉评测设定。
Hugging Face Blog精选AI 评分7171 H Company 发布 Holo1 系列 GUI 自动化 VLM 与 WebClick 基准
H Company 发布 Holo1 系列动作视觉语言模型（含 Holo1-3B 与 Holo1-7B）以及 WebClick 多模态定位基准，模型已在 Hugging Face 开源。
推荐理由：Holo1 开源了面向 GUI 自动化的动作 VLM 家族，并给出 WebClick 基准与 Surfer-H 智能体的组合方式，读者可据此评估网页自动化方案的成本与精度取舍。
Hugging Face BlogAI 评分5858 Hugging Face 发布 nanoVLM：用纯 PyTorch 训练视觉语言模型的最简仓库
Hugging Face 发布 nanoVLM，一个用纯 PyTorch 训练视觉语言模型（VLM）的轻量工具包，灵感来自 nanoGPT，可在免费 Colab 上启动训练。
Hugging Face BlogAI 评分3434 Hugging Face 回顾视觉语言模型一年进展：更小、更快、更强
Hugging Face 发文回顾过去一年视觉语言模型（VLM）的关键变化，涵盖 any-to-any 模型、推理模型、小尺寸模型、MoE 解码器、视觉语言动作模型、多模态 RAG 与智能体、视频语言模型等新趋势。
Mistral AI精选AI 评分7474 Mistral AI 发布 Mistral Medium 3，主打低成本企业级部署
Mistral AI 发布 Mistral Medium 3，官方称其在多项基准上达到 Claude Sonnet 3.7 的 90% 或以上水平，成本为每百万 token 输入 0.4 美元、输出 2 美元。
推荐理由：官方给出 Mistral Medium 3 的定价、对标模型与部署门槛，读者可据此判断企业选型的成本与落地条件。
Hugging Face Blog精选AI 评分6060 Meta 发布 Llama Guard 4 与 Llama Prompt Guard 2
Meta 发布 Llama Guard 4，一个从 Llama 4 Scout 剪枝而来的 12B 稠密多模态安全模型，可检测图像与文本输入输出中的不当内容，单张 24GB 显存 GPU 即可运行。
推荐理由：Meta 发布 12B 多模态安全模型与两款提示注入分类器，并给出可直接运行的 transformers 示例。
Hugging Face BlogAI 评分3030 TNG 微调 olmOCR-7B-0225-preview，打造忠实还原页眉页脚的 OCR 引擎
TNG 基于 olmOCR-7B-0225-preview 微调出一款忠实 OCR 引擎，解决了原模型为生成训练数据而忽略页眉页脚信息的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8000 份文档数据集，在 8xH100 节点上训练 2.5 个 epoch，微调版可完整提取发票等文档的页眉页脚内容并保留表格解析能力。该模型已在 Hugging Face 开源。
Hugging Face BlogAI 评分3636 Visual Salamandra 发布：将 7B 多模态理解扩展至图像与视频
Language Technologies Lab 发布 Visual Salamandra，将 Salamandra 大语言模型扩展至图像和视频，基于 7B 基础模型，集成 Google SigLIP-So400m 编码器与 2 层 MLP projector，采用四阶段训练和 late-fusion 架构。
Hugging Face Blog精选AI 评分8888 Llama 4 Maverick 与 Scout 上线 Hugging Face
Meta 发布 Llama 4 Maverick（约 400B 总参数）和 Llama 4 Scout（约 109B 总参数），两者均为 17B 激活参数的 MoE 模型，原生支持多模态，已在 Hugging Face Hub 上线。
推荐理由：Hugging Face 官方给出 Llama 4 两款 MoE 模型的参数、上下文长度与架构细节，可据此判断部署门槛。
Hugging Face Blog精选AI 评分7474 NVIDIA 在 GTC 2025 发布 Cosmos Transfer、Physical AI Dataset 与 Isaac GR00T N1
NVIDIA 在 GTC 2025 上开源三项物理 AI 成果：世界基础模型 Cosmos Transfer、Physical AI Dataset 以及人形机器人基础模型 NVIDIA Isaac GR00T N1。
推荐理由：NVIDIA 一次性开源世界模型、数据集与人形机器人基础模型，读者可据此了解物理 AI 开发可用的工具链。
Mistral AI精选AI 评分7171 Mistral AI 发布 Mistral Small 3.1，支持多模态与 128k 上下文
Mistral AI 发布 Mistral Small 3.1，在 Mistral Small 3 基础上提升文本性能与多模态理解，上下文窗口扩展至 128k tokens，推理速度达 150 tokens 每秒，并以 Apache 2.0 许可开源。
推荐理由：Mistral Small 3.1 以 Apache 2.0 开源并给出多模态与长上下文能力，读者可据此判断小模型在端侧与智能体场景的可用性。
Hugging Face Blog精选AI 评分7878 Google 发布 Gemma 3 开源模型：多模态、多语言、128k 上下文
Google 发布 Gemma 家族新成员 Gemma 3，提供 1B、4B、12B、27B 四种参数规模，含预训练和指令微调版本。4B、12B、27B 支持图像与文本输入、140 多种语言，上下文窗口从 Gemma 2 的 8k 提升至 128k，1B 版本为纯文本、32k 上下文。
推荐理由：梳理了 Gemma 3 的四种参数规模、多模态与 128k 上下文变化，并给出 transformers 与端侧推理的可用入口。
Mistral AI精选AI 评分7878 Mistral AI 发布文档理解 API Mistral OCR
Mistral AI 发布光学字符识别 API Mistral OCR，可接收图片和 PDF，按顺序交错提取文本与图像，并已作为 Le Chat 文档理解的默认模型。
推荐理由：官方给出 Mistral OCR 的定价、基准对比与自托管选项，可据此判断它在文档解析与 RAG 流程中的位置。
Hugging Face Blog精选AI 评分6262 Cohere For AI 发布 Aya Vision 8B 与 32B 多语言多模态模型
Cohere For AI 发布 Aya Vision 系列开源权重视觉语言模型，包含 8B 和 32B 两个版本，覆盖 23 种语言，支持图像描述、视觉问答、文本生成以及文本与图像翻译等任务。
推荐理由：原文给出 8B 与 32B 两个开源权重的多语言视觉语言模型，并公开训练方法与评测基准，便于读者判断小参数模型在多语言多模态上的位置。
Hugging Face BlogAI 评分3838 Hugging Face 与 IISc 合作，推动印度多语言模型构建
Hugging Face 与印度科学研究所（IISc）及 ARTPARK 达成合作，旨在提升印度多模态多语言数据集 Vaani 的可访问性与易用性。Vaani 由 IISc/ARTPARK 与 Google 于 2022 年发起，目标采集超 150,000 小时语音和 15,000 小时转写文本，覆盖全印 773 个地区、100 万人。
Hugging Face Blog精选AI 评分6262 Google 发布 SigLIP 2 多语言视觉语言编码器
Google 发布 SigLIP 2 系列多语言视觉语言编码器，在 SigLIP 的 sigmoid loss 基础上加入解码器、自蒸馏 Global-Local loss 与 Masked Prediction loss 等训练目标，在零样本分类、图文检索及为 VLM 提取视觉表征等核心能力上全面优于旧版 SigLIP。
推荐理由：梳理 SigLIP 2 相比前代新增的训练目标与 naflex 动态分辨率变体，便于理解视觉编码器的演进方向。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolVLM2：把视频理解带到每台设备
Hugging Face 发布 SmolVLM2 系列视频理解模型，包含 2.2B、500M 和 256M 三种参数规模，官方称 500M 与 256M 是目前最小的视频语言模型。
推荐理由：Hugging Face 官方发布三档小尺寸视频理解模型，并给出 MLX 与 iPhone 本地运行方案，可据此判断端侧视频理解的可行边界。
Hugging Face BlogAI 评分4242 Google 发布 PaliGemma 2 Mix 指令视觉语言模型
Google 发布 PaliGemma 2 Mix，这是基于 SigLIP 和 Gemma 2 的微调视觉语言模型，覆盖 OCR、长短描述、视觉问答、目标检测与图像分割等任务。模型提供 3B、10B、28B 三种参数规模和 224、448、896 三种分辨率，支持 HF Transformers 与 JAX 框架，并已开放演示。
Mistral AI精选AI 评分6060 Mistral 发布区域语言模型 Mistral Saba
Mistral AI 发布首款区域语言模型 Mistral Saba，24B 参数，基于中东和南亚数据集训练，支持阿拉伯语及多种印度语系语言，在泰米尔语等南印度语言上表现突出。官方称其回答比体量大 5 倍以上的模型更准确，速度更快、成本更低，可通过 API 调用，也能在客户本地单 GPU 系统部署，速度超过 150 tokens/s。
推荐理由：Mistral 首款区域语言模型，24B 参数却对标 5 倍体量模型，并支持单卡本地部署，可据此判断区域化模型的落地路径。
Mistral AI精选AI 评分6666 Mistral 发布全新 le Chat 助手，上线 iOS 与 Android 并推出 Pro、Team 订阅
Mistral 发布全新 le Chat AI 助手，同步上线 iOS 和 Android，并推出 Pro 与 Team 订阅层级，Enterprise 版进入私有预览。
推荐理由：官方一次性给出 le Chat 的移动端、Pro/Team 定价与 Flash Answers 等能力清单，可据此判断其与现有助手的差异。
Hugging Face Blog精选AI 评分6262 smolagents 新增视觉语言模型支持
Hugging Face 为 smolagents 加入视觉支持，可在智能体流程中原生使用视觉语言模型。图片既可在 run 方法中一次性传入并存入 TaskStep 的 task_images，也可通过 step_callbacks 在每步把截图写入 ActionStep 的 observation_images。
推荐理由：官方给出在 smolagents 中接入视觉语言模型的两条路径，读者可据此判断浏览器类智能体的实现方式。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolVLM-256M 与 500M 视觉语言模型
Hugging Face 发布 SmolVLM 家族新成员 SmolVLM-256M 和 SmolVLM-500M，共四个 checkpoint，含两个 base 模型和两个指令微调模型，可直接加载到 transformers、MLX 和 ONNX。
推荐理由：SmolVLM 家族新增 256M 与 500M 两个小尺寸视觉语言模型，读者可据此了解小模型在端侧与浏览器推理上的取舍。
Hugging Face BlogAI 评分4242 Hugging Face 发布 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型
Hugging Face 推出多语言嵌入模型 vdr-2b-multi-v1，可将文档页面截图编码为单向量，无需 OCR 即可跨语言检索视觉丰富的文档。该模型基于 MrLight/dse-qwen2-2b-mrl-v1，与 LlamaIndex 合作开发，覆盖意大利语、西班牙语、英语、法语和德语，并开源了 50 万样本的 vdr-multilingual-train 数据集。
OpenAI News精选AI 评分8080 OpenAI 视频生成模型 Sora 上线 sora.com
OpenAI 的视频生成模型 Sora 现已上线 sora.com 供用户使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频，支持宽屏、竖屏和方形画幅。用户还能导入自有素材进行延展、重混与融合，或直接由文本生成全新内容。
推荐理由：OpenAI 官方公布 Sora 的开放入口与分辨率、时长、画幅等具体规格，读者可据此判断可用性。
Hugging Face Blog精选AI 评分6060 Google 发布 PaliGemma 2 视觉语言模型，提供 3B、10B、28B 三种规模
Google 发布新一代视觉语言模型 PaliGemma 2，用 Gemma 2 替换前代的文本解码器，保留 SigLIP 图像编码器，提供 3B、10B、28B 三种参数规模，每种均支持 224x224、448x448、896x896 三种输入分辨率，而前代 PaliGemma 仅有 3B 版本。
推荐理由：PaliGemma 2 给出 3B 到 28B 三种规模与三种分辨率组合，读者可据此判断视觉语言模型的微调选型空间。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 2B 视觉语言模型 SmolVLM
Hugging Face 发布 SmolVLM，一个 2B 参数的小型视觉语言模型家族，包含 Base、Synthetic 和 Instruct 三个版本，模型权重、数据集、训练配方和工具均以 Apache 2.0 协议开源。
推荐理由：2B 参数 VLM 把显存压到 5GB 并开放全部训练配方，读者可据此判断端侧多模态部署的可行边界。
OpenAI NewsAI 评分2222 用 GPT-4o 视觉微调构建更智能的地图
OpenAI 发布案例，展示如何用 GPT-4o 的视觉微调能力构建更智能的地图。
Mistral AI精选AI 评分7272 Mistral AI 为 le Chat 加入联网搜索、Canvas 与图像生成等测试功能
Mistral AI 为免费生成式 AI 工作助手 le Chat 推出多项 beta 功能：带引用的联网搜索、用于构思与就地编辑和导出的 Canvas、由新多模态模型 Pixtral Large 支持的文档与图像理解、由 Black Forest Labs Flux Pro 支持的图像生成，以及可复用提示词并分享给同事的智能体。
推荐理由：官方列出 le Chat 新增的联网搜索、Canvas、文档图像理解与智能体，并给出与主流助手的逐项对比。
Mistral AI精选AI 评分7878 Mistral AI 发布 124B 开源多模态模型 Pixtral Large
Mistral AI 发布 Pixtral Large，一个基于 Mistral Large 2 构建的 124B 开源权重多模态模型，由 123B 多模态解码器和 1B 参数视觉编码器组成，支持 128K 上下文窗口，可容纳至少 30 张高分辨率图像。
推荐理由：官方给出 Pixtral Large 在 MathVista、DocVQA 等基准上的对比数据，可据此判断开源多模态模型的当前水平。
Hugging Face BlogAI 评分2222 CinePile 2.0：用对抗式数据集精炼打造更强的长视频问答数据集
Hugging Face 发布 CinePile 2.0 长视频问答数据集，采用其提出的对抗式数据集精炼方法进行改进。CinePile 初版于 2024 年 5 月推出，包含约 30 万训练样本和 5000 测试样本，人类在该基准上比最好的商业视觉模型高 25%、比开源模型高 65%。CinePile 2.0 与 Hugging Face 合作完成，同时开源了对抗式精炼方法的实现。
Hugging Face Blog精选AI 评分7878 Transformers.js v3 发布：支持 WebGPU、新量化格式与 120 种架构
Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持，官方称比 WASM 快至多 100 倍，并引入 fp32、fp16、q8、q4 等 dtype 量化选项。
推荐理由：官方给出 WebGPU 加速、量化格式与 1200 多个预转换模型，可据此判断浏览器端推理的可用边界。
OpenAI News精选AI 评分6262 OpenAI 为微调 API 引入视觉能力
OpenAI 宣布开发者现在可以用图像和文本对 GPT-4o 进行微调，以提升视觉能力。
推荐理由：OpenAI 把图像纳入微调 API，开发者可据此判断视觉任务能否用自有数据定制。
OpenAI NewsAI 评分4242 OpenAI 用基于 GPT-4o 的新多模态审核模型升级 Moderation API
OpenAI 推出基于 GPT-4o 的新多模态审核模型，可更准确地检测有害文本和图像，帮助开发者构建更稳健的审核系统。该模型已用于升级 Moderation API。
Mistral AI精选AI 评分7171 Mistral 发布免费额度、全线降价与 Mistral Small v24.09
Mistral 宣布 la Plateforme 推出免费额度，并对全线模型降价，其中 Mistral Small 和 Codestral 输入输出价格均下调 80%，Mistral Large 下调 33%。
推荐理由：Mistral 一次性公布免费额度、全线降价和新版小模型，可据此判断其 API 成本与部署选择。
Mistral AI精选AI 评分7373 Mistral AI 发布 Pixtral 12B 多模态模型
Mistral AI 发布 Pixtral 12B，一个原生多模态模型，采用从零训练的 400M 参数视觉编码器和基于 Mistral Nemo 的 12B 多模态解码器，支持可变图像尺寸与宽高比，128k token 上下文窗口内可处理任意数量图片。
推荐理由：官方给出架构、评测口径与本地部署方式，可据此判断这一 12B 多模态模型在开源阵营中的位置。
OpenAI NewsAI 评分1010 OpenAI 与 The Met 合作，用 AI 唤醒「睡美人」时装展
OpenAI 与 The Met 服装学院合作，在「Sleeping Beauties: Reawakening Fashion」展览中探索 AI 的艺术潜力。该合作旨在通过美与创造力丰富人们的生活。
Hugging Face BlogAI 评分2828 Hugging Face 与 Albumentations AI 推出面向文档图像的 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强流程，可同时修改文档图像及其文本标注，用于视觉语言模型（VLM）微调。该流程支持随机插入、删除、交换和停用词替换等文本增强，并配合图像黑化与修复，保持文本质量。初始版本中的同义词替换因耗时过高已被移除。