Mistral 在 la Plateforme 推出模型定制与微调服务
Mistral AI 在 la Plateforme 上线模型定制功能，提供三种微调入口：开源微调代码库 mistral-finetune、平台上的 serverless 微调服务，以及面向特定客户的定制训练服务。
推荐理由：Mistral 同时给出开源微调代码库与托管微调服务，读者可据此判断自建与托管两条路径的成本差异。
开源生态
全部主题开源模型、框架与仓库动态：权重开放、社区项目爆火、开源与闭源的力量消长。
285条精选相关主题模型发布Hugging FaceAI 编码
最新精选
第 201–220 条 · 共 285 条Mistral AI精选AI 评分6262
Mistral AI精选AI 评分7878 Mistral 发布首款代码模型 Codestral，22B 开放权重、支持 80+ 编程语言
Mistral AI 发布首款代码模型 Codestral，这是一个 22B 开放权重生成式模型，训练数据覆盖 80+ 编程语言，上下文窗口 32k，可通过指令与补全 API 端点使用。
推荐理由：Mistral 首款代码模型给出 22B 开放权重、32k 上下文和 80+ 语言支持，可对照其与既有代码模型的定位差异。
Mistral AI精选AI 评分6262 Mistral AI 推出非生产许可证 MNPL，Codestral 率先采用
Mistral AI 发布非生产许可证 MNPL，允许开发者将技术用于非商业用途并支持研究工作，Codestral 于同日在该许可证下发布。Mistral 表示会继续以 Apache 2.0 发布模型和代码，并逐步整合 Apache 2.0 与 MNPL 两条产品线。该许可证要求基于其成果开展商业业务的开发者以公平可持续的方式与各方合作。
推荐理由：Mistral 推出非生产许可证，读者可据此理解开源模型商业授权收紧对开发者使用边界的影响。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon 2 11B 预训练语言模型与 VLM
TII 发布 Falcon 2 系列首批模型，包括 11B 基座语言模型和 11B 视觉语言模型（VLM），后者在 LLM 基础上接入 CLIP ViT-L/14 视觉编码器，支持图像问答。
推荐理由：官方给出 Falcon 2 11B 的架构、训练数据与多语言评测，可对照同尺寸开源模型判断其定位。
Hugging Face Blog精选AI 评分6262 StarCoder2-15B-Instruct 发布：全透明自对齐代码生成模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个完全自对齐、全透明且许可宽松的代码 LLM，用 StarCoder2-15B 自生成指令-响应对微调自身，无需人工标注或 GPT-4 蒸馏数据。
推荐理由：StarCoder2-15B-Instruct 用自生成数据完成指令微调，读者可据此了解不依赖 GPT-4 蒸馏的代码模型训练路径。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 3 开源大模型，Hugging Face 同步集成
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸的 base 与 instruct 版本，并同步发布基于 Llama 3 8B 微调的安全模型 Llama Guard 2，全部 5 个模型已上线 Hugging Face。
推荐理由：Meta 发布 Llama 3 并同步接入 Hugging Face 生态，读者可了解新分词器、GQA 与 15T token 训练带来的变化。
Mistral AI精选AI 评分7878 Mistral 发布开源模型 Mixtral 8x22B
Mistral 发布开源模型 Mixtral 8x22B，采用稀疏 MoE 架构，141B 总参数中仅 39B 激活参数，以 Apache 2.0 许可开放。该模型支持英语、法语、意大利语、德语和西班牙语，具备数学与编码能力，原生支持函数调用，上下文窗口为 64K tokens。
推荐理由：官方给出 Mixtral 8x22B 的激活参数、上下文窗口与多语言、数学编码基准，便于判断其成本效率定位。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Idefics2：8B 多模态视觉语言模型
Hugging Face 发布 Idefics2，一个 8B 参数、Apache 2.0 许可的通用多模态模型，可处理任意文本与图像序列并生成文本回复，支持图像问答、文档信息抽取和基础算术。
推荐理由：8B 参数、Apache 2.0 许可并同步开源指令微调数据集，读者可据此判断多模态微调的门槛变化。
Hugging Face Blog精选AI 评分6060 Google 发布代码专用模型 CodeGemma，含 2B 与 7B 三个版本
Google 发布代码专用模型系列 CodeGemma，基于预训练的 2B 和 7B Gemma checkpoint，额外用 5000 亿 token 的英文、数学和代码数据训练，包含 2B base、7B base 和 7B instruct 三个版本，均保持 8K token 上下文。
推荐理由：Google 与 Hugging Face 联合发布三款代码专用 Gemma 模型，读者可据此了解其规格、基准表现与部署方式。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布二值与标量嵌入量化方法，检索提速最高 45 倍
Hugging Face 博客介绍嵌入量化方法，将 float32 嵌入转为二值或 int8，内存与磁盘占用分别缩小 32 倍和 4 倍。在 MTEB 检索的 15 个基准上，二值量化配合重排序可保留约 96% 的默认性能，检索速度平均提升 24.76 倍，int8 平均提升 3.66 倍。
推荐理由：Hugging Face 官方给出嵌入量化在检索速度、内存与成本上的实测对比，并附可复用脚本。
Hugging Face Blog精选AI 评分6262 Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件、250 亿 token，用于从零预训练大语言模型，目标是复现 Phi-1.5 的训练数据。
推荐理由：Hugging Face 公开了从提示词设计到去污染、训练评估的完整合成数据流水线，可迁移到自建预训练数据。
Hugging Face Blog精选AI 评分6262 Hugging Face 博客介绍 GaLore：在消费级硬件上训练大模型
Hugging Face 博客介绍 GaLore 优化器，通过将梯度投影到低秩子空间，可把优化器状态显存占用降低 82.5% 以上，从而在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 70 亿参数的 Llama 架构模型。
推荐理由：原文给出 GaLore 与 8-bit 优化器结合的训练流程和可运行代码，读者可据此在消费级显卡上复现大模型训练。
Hugging Face Blog精选AI 评分7878 BigCode 发布 StarCoder2 系列代码模型与 The Stack v2 数据集
BigCode 发布 StarCoder2，这是新一代透明训练的开放代码大语言模型，包含 3B、7B、15B 三个参数规模，分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由：BigCode 公开了 StarCoder2 三个尺寸的模型、数据集与训练代码，读者可据此了解开源代码模型在参数规模与训练数据上的具体取舍。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 全面集成
Google 发布开源大模型家族 Gemma，包含 2B 和 7B 两种尺寸，各有基础版和指令微调版，上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75，性能接近 Mistral 7B；Hugging Face 提供了 Transformers、Google Cloud、Inference Endpoints 集成以及基于 TRL 的微调示例。
推荐理由：Google 发布 Gemma 开源模型家族，读者可了解其两种尺寸、性能位次及在 Hugging Face 生态中的部署与微调路径。
Hugging Face Blog精选AI 评分6262 Hugging Face PEFT 新增多种 LoRA 适配器合并方法
Hugging Face 在 PEFT 中新增面向 LoRA 适配器的合并方法，包括 cat、linear、svd、TIES、DARE 和 magnitude_prune 等，可通过 add_weighted_adapter() 调用。
推荐理由：PEFT 新增多种 LoRA 合并方法并给出选型顺序，读者可据此判断不同适配器组合该用哪种策略。
Hugging Face Blog精选AI 评分6262 用开源 LLM 合成数据训练专用模型：省钱、省时、减碳
Hugging Face 博客给出用开源 LLM 生成合成数据、再蒸馏出专用小模型的完整流程，并以金融新闻投资者情绪识别为案例。
推荐理由：用开源 LLM 生成合成数据再蒸馏小模型的完整流程，附可复用 notebook 与成本、延迟、碳排放对比。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 SegMoE：从零构建混合专家扩散模型
Hugging Face 发布 SegMoE 框架，可从零创建混合专家（MoE）扩散模型，并已集成 diffusers。同时发布 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型，采用 Apache 2.0 许可，并提供 GitHub 仓库和 segmoe 包用于自建 MoE 模型。
推荐理由：原文给出从零构建 MoE 扩散模型的完整流程与配置示例，读者可据此判断能否把已有模型合并成新模型。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布开源模型 Constitutional AI 完整配方
Hugging Face 发布了一套用开源模型实现 Constitutional AI 的端到端配方，并开源了 llm-swarm 工具，用于在 Slurm 集群上基于 TGI 和 vLLM 做可扩展的合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与 Slurm 集群推理工具，可迁移到自定义对齐流程。
Hugging Face Blog精选AI 评分6262 开源 LLM 作为 LangChain 智能体：ReAct 原理、搭建与基准对比
Hugging Face 发布博客，介绍如何用新集成的 ChatHuggingFace 在 LangChain 中把开源模型搭建成 ReAct 智能体，并给出完整代码示例。
推荐理由：原文给出 ReAct 智能体的完整搭建代码与开源模型对比基准，读者可据此判断哪些模型适合驱动智能体工作流。
Hugging Face Blog精选AI 评分6262 Unsloth 与 TRL 集成：LLM 微调提速 2 倍、显存最多降 74%
Hugging Face 博客介绍社区开发的轻量库 Unsloth，与 TRL 的 SFTTrainer、DPOTrainer 等配合可将 LLM 微调提速约 2 倍，显存占用最多降低 74%，且相对标准 QLoRA 精度损失为 0%。
推荐理由：原文给出 Unsloth 与 TRL 集成的实测加速与显存数据，读者可据此判断微调成本能降到什么程度。