跳到正文

#开源生态

今日 0 条
7月25日周五
7月23日周三
  1. Hugging Face Blog62

    用 Diffusers 和 PEFT 加速 Flux 的 LoRA 推理

    Hugging Face 发布教程,介绍如何用 Diffusers 和 PEFT 优化 Flux.1-Dev 的 LoRA 推理速度。方案组合 Flash Attention 3、torch.compile 和 FP8 量化,并通过 hotswap 机制避免切换 LoRA 时触发重新编译,在 H100 上相比基线取得 2.23 倍加速。

    推荐理由:原文给出 Flux LoRA 推理的完整优化配方与实测数据,读者可据此在 H100 或 4090 上复现加速效果。

7月22日周二
  1. Hugging Face Blog60

    NVIDIA NIM 在 Hugging Face 上支持超 10 万个 LLM 部署

    NVIDIA 宣布通过 NIM 推理微服务在 Hugging Face 上解锁超过 10 万个 LLM 的快速部署。NIM 现在提供单个 Docker 容器,可部署 TensorRT-LLM、vLLM 和 SGLang 支持的多种 LLM,自动识别模型格式、架构与量化方式并选择推理后端,无需手动配置。

    推荐理由:NIM 用单个容器自动识别模型格式并选择推理后端,读者可据此判断多模型部署流程能简化到什么程度。

7月17日周四
7月16日周三
7月15日周二
  1. Mistral AI80

    Mistral 发布 Voxtral 语音理解模型,24B 与 3B 双版本开源

    Mistral 发布 Voxtral 语音理解模型,提供 24B 和 3B 两种尺寸,均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文,可处理最长 30 分钟音频转写或 40 分钟音频理解,具备内置问答与摘要、多语言自动检测以及从语音直接触发函数调用等能力。

    推荐理由:Mistral 开源语音理解模型,给出两种尺寸、Apache 2.0 许可与 API 定价,读者可据此判断语音能力的部署与成本选择。

  2. Hugging Face Blog62

    Hugging Face 将 Hub 存储从 Git LFS 迁移到 Xet

    Hugging Face 官方宣布 Hub 存储后端从 Git LFS 迁移到 Xet,已有 50 万个仓库、20 PB 数据完成迁移,超过 100 万用户在用。迁移依靠 Git LFS Bridge 和后台迁移流程实现无硬切换,旧版客户端仍可正常上传下载。从本月起 Xet 将向所有用户开放,现有仓库会自动迁移,新仓库默认启用 Xet。

    推荐理由:Hugging Face 官方复盘 Hub 从 Git LFS 迁移到 Xet 的工程细节,可了解大规模存储迁移如何做到对用户零打扰。

7月11日周五
7月10日周四
  1. Hugging Face Blog48

    Hugging Face 详解异步机器人推理:解耦动作预测与执行,任务完成提速约 2 倍

    Hugging Face 发布博客详解异步机器人推理,将动作预测与动作执行解耦,让机器人在 PolicyServer 计算下一段动作时继续执行当前动作队列,从而消除推理等待。该方案在 SmolVLA 上实现约 2 倍任务完成提速,成功率相当,PolicyServer 与 RobotClient 通过 gRPC 通信,性能约为同类 REST API 的 5 倍。

7月9日周三
  1. Hugging Face Blog62

    Hugging Face 与 Pollen Robotics 发布开源机器人 Reachy Mini,399 美元起

    Hugging Face 与 Pollen Robotics 发布开源机器人 Reachy Mini,Lite 版 399 美元、带板载计算与无线的 Compute 版 499 美元,均需另付税费和运费,预计约 90 天发货。

    推荐理由:开源机器人 Reachy Mini 以 399 美元起售并接入 Hugging Face 模型库,读者可据此判断桌面级机器人实验的门槛与生态玩法。

7月8日周二
  1. Hugging Face Blog18

    Hugging Face 生产基础设施背后的三大关键告警

    Hugging Face 基础设施团队公开了支撑其生产环境的三大关键告警机制,包括 NAT 网关吞吐量告警和 Hub 请求日志归档成功率告警。NAT 网关告警在流量超过预设静态阈值时触发,用于发现异常流量峰值并优化成本;日志归档链路则通过 Filebeat、Logstash 与 Elasticsearch 完成日志的采集、加工与存储。

7月3日周四
  1. Mistral AI40

    Mistral AI 推出 AI for Citizens 计划,助各国政府掌控 AI 未来

    Mistral AI 推出 AI for Citizens 协作计划,帮助各国政府和公共机构战略性地运用 AI 改造公共服务、推动创新。该计划已在法国、卢森堡、新加坡、荷兰、英国、瑞士等国家落地,提供自托管、主权数据中心、SaaS 及 serverless API 等部署选项,确保数据主权并支持本地语言和文化的定制化模型研发。

7月1日周二
6月28日周六
6月26日周四
6月23日周一
6月19日周四
  1. Hugging Face Blog62

    在消费级硬件上用 QLoRA 微调 FLUX.1-dev

    Hugging Face 发布教程,介绍用 QLoRA 和 diffusers 库在单张 GPU 上微调 FLUX.1-dev,峰值显存约 10GB 以内。在 RTX 4090 上,QLoRA 微调峰值显存约 9GB,而 BF16 LoRA 需 26GB,700 步训练约 41 分钟。

    推荐理由:给出在单张消费级 GPU 上微调 FLUX.1-dev 的完整配置与显存对比,方法可直接复用。

6月16日周一
6月12日周四
6月11日周三
6月10日周二
6月6日周五
6月4日周三
6月3日周二
  1. Hugging Face Blog71

    H Company 发布 Holo1 系列 GUI 自动化 VLM 与 WebClick 基准

    H Company 发布 Holo1 系列动作视觉语言模型(含 Holo1-3B 与 Holo1-7B)以及 WebClick 多模态定位基准,模型已在 Hugging Face 开源。

    推荐理由:Holo1 开源了面向 GUI 自动化的动作 VLM 家族,并给出 WebClick 基准与 Surfer-H 智能体的组合方式,读者可据此评估网页自动化方案的成本与精度取舍。

  2. Hugging Face Blog62

    Hugging Face 发布 SmolVLA:450M 开源视觉-语言-动作模型

    Hugging Face 发布 SmolVLA,一个 450M 参数的开源视觉-语言-动作(VLA)模型,可在消费级硬件甚至 CPU 上运行,仅用 lerobot 标签下的社区共享数据集预训练。

    推荐理由:450M 的 VLA 模型仅用社区数据预训练就能在仿真和真机上超过更大模型,读者可据此判断开源机器人模型的成本门槛。

5月28日周三
5月25日周日
5月23日周五
5月21日周三
  1. Mistral AI76

    Mistral AI 发布编码智能体模型 Devstral,Apache 2.0 开源

    Mistral AI 与 All Hands AI 合作发布面向软件工程任务的智能体模型 Devstral,在 SWE-Bench Verified 上得分 46.8%,比此前开源 SOTA 模型高出 6 个百分点以上,并以 Apache 2.0 许可开源。

    推荐理由:Mistral 与 All Hands AI 联合发布开源编码智能体模型,给出 SWE-Bench Verified 分数与本地部署门槛,便于判断其可用性。