跳到正文

#开源/仓库

今日 0 条
10月1日周四
  1. Hugging Face Blog62

    AI2 发布 Olmo-core 3:面向大型 MoE 的开源可扩展训练基础设施

    AI2 发布 Olmo-core 3,这是其大语言模型开发框架的一次重大升级,重新设计了开放的 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。

    推荐理由:原文给出 MoE 训练栈的吞吐与显存实测数据,读者可据此判断万亿参数 MoE 训练的开源方案成熟度。

9月3日周四
9月1日周二
5月20日周三
5月19日周二
5月15日周五
3月7日周六
2月4日周三
1月20日周二
  1. Hugging Face Blog74

    Overworld 发布 Waypoint-1 实时交互视频扩散模型

    Overworld 发布 Waypoint-1,一个可通过文本、鼠标和键盘实时控制的交互式视频扩散模型,权重已上传 Hugging Face Hub,先开放 Waypoint-1-Small,Medium 版本即将推出。

    推荐理由:Waypoint-1 把实时交互视频扩散模型与配套推理库一并开源,读者可据此了解世界模型从预训练到低延迟部署的完整路径。

1月5日周一
12月23日周二
12月17日周三
  1. Hugging Face Blog41

    NVIDIA 发布 Nemotron 3 Nano 30B A3B,公开完整评测配方

    NVIDIA 发布 Nemotron 3 Nano 30B A3B,并公开其完整评测配方,基于开源库 NeMo Evaluator 构建,任何人可复现评测流程并独立核验结果。NeMo Evaluator 将多个评测 harness 统一到单一接口,分离评测流程与推理后端,默认生成结构化结果与日志。NVIDIA 同时公开了模型卡评测所用的 YAML 配置。

12月16日周二
9月12日周五
8月5日周二
7月16日周三
5月15日周四
  1. Hugging Face Blog62

    Falcon-Edge 发布 1B 与 3B 三值语言模型系列

    Falcon-Edge 系列发布,基于 BitNet 架构的三值(1.58bit)语言模型,提供 1B 和 3B 两种规模,各有 base 与指令微调版本。该系列采用新的预训练范式,单次训练同时产出 bfloat16 非量化版本、原生 BitNet 模型和便于微调的预量化 BitNet 变体,预训练数据约 1.5 Tera Tokens。

    推荐理由:Falcon-Edge 用一次预训练同时产出 bfloat16 与三元量化版本,并给出可直接微调的工具链,读者可据此判断 1.58bit 模型的落地路径。

4月11日周五
3月18日周二
3月12日周三
2月4日周二
1月10日周五
  1. Hugging Face Blog42

    Hugging Face 发布 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型

    Hugging Face 推出多语言嵌入模型 vdr-2b-multi-v1,可将文档页面截图编码为单向量,无需 OCR 即可跨语言检索视觉丰富的文档。该模型基于 MrLight/dse-qwen2-2b-mrl-v1,与 LlamaIndex 合作开发,覆盖意大利语、西班牙语、英语、法语和德语,并开源了 50 万样本的 vdr-multilingual-train 数据集。

12月19日周四
  1. Hugging Face Blog71

    Answer.AI 与 LightOn 发布 ModernBERT,为 BERT 提供现代替代方案

    Answer.AI 与 LightOn 发布 ModernBERT,一个仅编码器模型系列,提供 base(149M 参数)和 large(395M 参数)两个版本,支持 8192 token 上下文,可作为 BERT 类模型的直接替代。

    推荐理由:ModernBERT 用现代 LLM 技术重做编码器,给出 8k 上下文与速度数据,可据此判断它能否替换现有 BERT 类模型。

7月31日周三
  1. Hugging Face Blog62

    Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope

    Google 在 Gemma 2 发布一个月后扩充 Gemma 模型系列,新增 2.6B 参数的 Gemma 2 2B(含 base 与指令微调版)、安全分类器 ShieldGemma 以及稀疏自编码器套件 Gemma Scope。

    推荐理由:Gemma 2 新增 2B 小模型、安全分类器和可解释性工具,读者可据此判断端侧部署与安全过滤的可用选项。

7月16日周二
1月19日周五
5月4日周四
  1. Hugging Face Blog78

    BigCode 发布 StarCoder:面向代码的 15B 开源大模型

    BigCode 发布 StarCoder 与 StarCoderBase 两个代码大语言模型,基于 GitHub 上 80 多种编程语言的宽松许可数据训练,参数量约 15B、训练 1 万亿 token,上下文长度超过 8,000 token。

    推荐理由:BigCode 公开了 StarCoder 的权重、训练数据与评测结果,读者可据此判断开源代码模型当时的水平与许可条件。

11月30日周三
10月5日周三
12月15日周三