NVIDIA NIM 在 Hugging Face 上支持超 10 万个 LLM 部署
NVIDIA 宣布通过 NIM 推理微服务在 Hugging Face 上解锁超过 10 万个 LLM 的快速部署。NIM 现在提供单个 Docker 容器,可部署 TensorRT-LLM、vLLM 和 SGLang 支持的多种 LLM,自动识别模型格式、架构与量化方式并选择推理后端,无需手动配置。
推荐理由:NIM 用单个容器自动识别模型格式并选择推理后端,读者可据此判断多模型部署流程能简化到什么程度。
NVIDIA 宣布通过 NIM 推理微服务在 Hugging Face 上解锁超过 10 万个 LLM 的快速部署。NIM 现在提供单个 Docker 容器,可部署 TensorRT-LLM、vLLM 和 SGLang 支持的多种 LLM,自动识别模型格式、架构与量化方式并选择推理后端,无需手动配置。
推荐理由:NIM 用单个容器自动识别模型格式并选择推理后端,读者可据此判断多模型部署流程能简化到什么程度。
Mistral 为 Le Chat 上线一批新功能,包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects,以及与 Black Forest Labs 合作的高级图像编辑。
推荐理由:Mistral 一次性为 Le Chat 补齐深度研究、语音、推理与图像编辑,读者可据此判断其产品线走向。
OpenAI 发布 ChatGPT agent,它能够思考并行动,调用工具完成研究、预订和幻灯片制作等任务,全程由用户引导。
推荐理由:OpenAI 官方发布 ChatGPT agent,读者可了解其调用工具完成研究、预订和幻灯片等任务的能力定位。
Gradio 5.38.0 为 MCP Servers 带来五项改进:新增 "File Upload" MCP server 让智能体直接上传本地文件,支持实时进度通知,并可通过 gr.load_openapi 一行代码将 OpenAPI 规范转为 MCP 工具。
在 Gradio Agents & MCP Hackathon 期间构建的多 LLM 平台 Consilium,让多个 AI 模型围绕复杂问题展开结构化辩论并达成共识,同时提供可视化 Gradio 界面和可接入 Cline 的 MCP server。
Invideo AI 借助 OpenAI 的 GPT-4.1、gpt-image-1 和文本转语音模型,把创意想法在几分钟内转化为专业视频,创作速度提升 10 倍。
Hugging Face 官方宣布 Hub 存储后端从 Git LFS 迁移到 Xet,已有 50 万个仓库、20 PB 数据完成迁移,超过 100 万用户在用。迁移依靠 Git LFS Bridge 和后台迁移流程实现无硬切换,旧版客户端仍可正常上传下载。从本月起 Xet 将向所有用户开放,现有仓库会自动迁移,新仓库默认启用 Xet。
推荐理由:Hugging Face 官方复盘 Hub 从 Git LFS 迁移到 Xet 的工程细节,可了解大规模存储迁移如何做到对用户零打扰。
Hugging Face 发布 Python 库 ScreenEnv,可在 Docker 容器中创建隔离的 Ubuntu 桌面环境,用于测试和部署 GUI 智能体(Computer Use 智能体)。
推荐理由:Hugging Face 开源 ScreenEnv,给出 Docker 沙箱与 MCP 两种接入方式,可据此判断桌面智能体的部署路径。
Hugging Face 与 Pollen Robotics 发布开源机器人 Reachy Mini,Lite 版 399 美元、带板载计算与无线的 Compute 版 499 美元,均需另付税费和运费,预计约 90 天发货。
推荐理由:开源机器人 Reachy Mini 以 399 美元起售并接入 Hugging Face 模型库,读者可据此判断桌面级机器人实验的门槛与生态玩法。
Genspark 借助 GPT-4.1 和 OpenAI Realtime API 打造无代码个人智能体,45 天内做到 3600 万美元 ARR。该产品以无代码方式构建智能体,底层由 GPT-4.1 与 Realtime API 驱动。
Retell AI 基于 GPT-4o 和 GPT-4.1 打造 AI 语音自动化,正改变呼叫中心运营方式。其无代码平台让企业无需脚本即可部署自然、实时的语音智能体,从而降低通话成本、提升 CSAT 并自动处理客户对话。
AI GTM 平台 Unify 采用 OpenAI 的 o3、GPT-4.1 和 CUA,自动化完成潜客挖掘、调研与外联。借助超个性化消息和全天候工作流,Unify 帮助团队规模化生成销售管道,同时聚焦高价值客户互动。
SGLang 现已支持将 Hugging Face transformers 作为后端,可直接以高性能推理运行任意 transformers 兼容模型,无需原生适配。
Groq 现已作为 Inference Provider 接入 Hugging Face Hub,支持 Llama 4、Qwen QWQ-32B 等开源文本与对话模型,并集成到 JS 和 Python 客户端 SDK。
OpenAI 推出 OpenAI for Government 计划,面向美国公共服务人员提供其最先进的 AI 工具,以支持美国政府采用一流技术并将这些工具用于公共服务。
Featherless AI 现已作为 Inference Provider 接入 Hugging Face Hub,为模型页面提供无服务器推理,并集成 JS 和 Python 客户端 SDK。
Mistral AI 发布 Mistral Compute,提供从裸金属服务器到全托管 PaaS 的私有集成 AI 基础设施栈,涵盖 GPU、编排、API、产品与服务。
推荐理由:Mistral 从模型厂商延伸到自有 AI 基础设施,读者可据此判断欧洲算力供给格局的新变量。
Hugging Face 与 NVIDIA 在 GTC Paris 上宣布合作推出 Training Cluster as a Service,让全球研究机构更便捷地获取大型 GPU 集群,按训练运行时长付费。
推荐理由:Hugging Face 与 NVIDIA 联合推出按训练时长付费的 GPU 集群服务,读者可了解其申请方式与整合的组件。
Hugging Face 发布 ScreenSuite,一个面向 GUI Agent 的评测套件,整合 13 项基准,覆盖感知、定位、单步动作和多步智能体四类能力。
推荐理由:Hugging Face 开源 GUI Agent 评测套件,读者可了解其 13 项基准覆盖范围与纯视觉评测设定。
Mistral AI 发布企业级 AI 编码助手 Mistral Code,整合 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四个模型,支持云端、专属容量或气隙本地 GPU 部署,代码留在企业边界内。
推荐理由:官方给出企业级编码助手的模型组合、部署形态与首批客户,可据此判断私有化编码方案的落地路径。
Hugging Face 的 TRL 通过 PR #3394 支持 vLLM 的 external launcher,让训练与推理共置在同一批 GPU 上,不再需要单独的 vLLM 服务器进程。
推荐理由:原文给出同卡共置训练与推理的实现方式和多组吞吐对比,读者可据此判断 GRPO 训练的成本变化。
Wix 的 AI Website Builder 由 OpenAI 提供支持,用户只需在对话中描述想法,即可在几分钟内创建完整网站。
Mistral 发布 Agents API,将自家语言模型与代码执行、图像生成、文档库、web search 等内置连接器及 MCP 工具结合,并提供跨对话的持久记忆与智能体编排能力。
推荐理由:官方给出 Agents API 的连接器、记忆与多智能体编排能力,以及带 web search 的 SimpleQA 对比数据,可据此判断企业级智能体平台的落地方式。
OpenAI 将 Operator 的底层模型从 GPT-4o 版本替换为基于 OpenAI o3 的版本,API 版本仍基于 4o。该变动作为 OpenAI o3 与 o4-mini 系统卡增补内容公布。
Dell 在 Dell Tech World 上发布新版 Dell Enterprise Hub,提供可直接部署的模型与应用目录,支持 Meta Llama 4 Maverick。
CodeRabbit 采用 OpenAI 的 o3、o4-mini 和 GPT-4.1 模型改造代码审查流程,提升准确率并加快 PR 合并速度。该方案帮助开发者更快交付代码,减少 bug 并提高投资回报率。
OpenAI 发布 Codex。
Hugging Face 表示,未来目标是让 Transformers 成为各框架之间的枢纽:只要模型架构被 Transformers 支持,就能在生态其他工具中获得支持。
推荐理由:Hugging Face 说明 Transformers 将作为跨框架模型定义中枢,读者可了解其对训练、推理与本地部署工具链互通的影响。
Kaggle 上线与 Hugging Face 的集成,可直接在 Kaggle 上发现和使用 Hugging Face 模型。
Hugging Face 在 Inference Endpoints 上线新版 OpenAI Whisper 部署方案,基于 vLLM 实现,性能较上一版最高提升 8 倍。
Mistral AI 发布 Le Chat Enterprise,一款由全新 Mistral Medium 3 模型驱动的企业级 AI 助手,包含企业搜索、Agent 构建器、自定义数据与工具连接器、文档库、自定义模型和混合部署等功能,全部功能将在未来两周内陆续上线。
圣安东尼奥马刺队正在使用定制 GPT 提升球迷互动、简化运营并推动各团队创新。该案例展示了 ChatGPT 在职业体育场景中,从球迷服务到内部流程的落地方式。
Lowe's 与 OpenAI 合作构建了 Mylow 和 Mylow Companion,这两款 AI 工具为顾客和门店员工提供专家级帮助,让复杂的家装项目更易规划、推进和完成。
ChatGPT for Business 迎来 2025 年 4 月更新,新增 o3、图像生成、增强记忆和内部知识四项能力。官方同步放出这些功能的上手演示。
Cohere 正式接入 Hugging Face Inference Providers,成为首个直接在 HF Hub 上分享并托管自家模型的模型厂商。
Hugging Face 与 Cloudflare 达成合作,让 FastRTC 开发者凭 Hugging Face token 即可接入 Cloudflare 覆盖 335 多个地点的全球 TURN 网络。
Hugging Face 将已有 3 年历史的 NLP Course 更名为 LLM Course,并新增微调 LLM、构建 DeepSeek R1 等推理模型的章节。
Hugging Face 通过 PR #3091 将 Intel Gaudi 硬件支持原生集成进 TGI 主代码库,不再需要维护独立的 tgi-gaudi 分支。
Hebbia 的深度研究产品可自动化 90% 的金融与法律工作,由 OpenAI 模型提供支持。
Gradio 为 gr.Dataframe 组件发布大规模更新,6 周内关闭超 70 个 dataframe 相关问题。新增多单元格选择、行号与列固定(pinned_columns)、复制与全屏按钮、搜索(show_search="search")与筛选("filter")、静态列(static_columns)等功能,并升级键盘导航与 styler 样式参数。