Mistral AI 发布 Mistral Large 2，123B 参数支持 128k 上下文
Mistral AI 发布新一代 Mistral Large 2，拥有 128k 上下文窗口和 123B 参数，可在单节点上以较大吞吐运行，支持包括中文、日文、韩文在内的数十种语言和 80 多种编程语言。
推荐理由：官方给出 Mistral Large 2 的 128k 上下文、123B 参数与多项基准对比，可据此判断其单节点部署的成本位置。
推理能力
全部主题模型推理能力的进展：思维链、推理模型、数学与逻辑基准的突破与争议。
最新精选
第 61–73 条 · 共 73 条Mistral AI精选AI 评分7878
Hugging Face Blog精选AI 评分6262 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 做两阶段全量微调，先学自然语言链式推理，再学工具集成推理，配合 SC-TIR 解码生成 N=48、深度 M=4 的候选并多数投票。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理任务。
Mistral AI精选AI 评分7878 Mistral 发布开源模型 Mixtral 8x22B
Mistral 发布开源模型 Mixtral 8x22B，采用稀疏 MoE 架构，141B 总参数中仅 39B 激活参数，以 Apache 2.0 许可开放。该模型支持英语、法语、意大利语、德语和西班牙语，具备数学与编码能力，原生支持函数调用，上下文窗口为 64K tokens。
推荐理由：官方给出 Mixtral 8x22B 的激活参数、上下文窗口与多语言、数学编码基准，便于判断其成本效率定位。
Mistral AI精选AI 评分8888 Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可的稀疏混合专家（SMoE）开放权重模型，同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。
推荐理由：官方给出稀疏 MoE 的参数量与推理成本结构，可据此判断开放权重模型在成本与性能间的取舍。
Hugging Face Blog精选AI 评分8282 Mixtral 8x7B 发布并集成进 Hugging Face 生态
Mistral 发布 Mixtral 8x7B，采用 MoE 架构，在多项基准上超过 Llama 2 70B 并追平 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由：Hugging Face 官方给出 Mixtral 在自家生态的完整接入方式，包括推理、量化与单卡微调的具体路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐量和 1200 tokens/秒。
推荐理由：官方给出单行代码接入方式与首 token 延迟、吞吐量对比数据，可据此判断现有 LLaMA 推理流程的改造代价。
Mistral AI精选AI 评分8282 Mistral AI 发布 7.3B 参数模型 Mistral 7B
Mistral AI 发布 7.3B 参数的 Mistral 7B，采用 Apache 2.0 许可，可无限制使用并支持本地部署。官方称该模型在所有基准上超过 Llama 2 13B，在多项基准上超过 Llama 1 34B，代码能力接近 CodeLlama 7B。
推荐理由：官方给出 Mistral 7B 与 Llama 2 系列的逐项对比和滑动窗口注意力设计，可据此判断小参数模型的性价比边界。
Hugging Face Blog精选AI 评分7878 Falcon 模型家族落地 Hugging Face 生态
阿布扎比技术创新研究院发布 Apache 2.0 许可的 Falcon 语言模型家族，包含 Falcon-40B 和 Falcon-7B 两个基础模型及对应 Instruct 版本。
推荐理由：介绍 Falcon 系列的开源许可、训练数据与多查询注意力设计，并给出在 Hugging Face 生态中推理和微调的具体路径。
OpenAI News精选AI 评分6262 OpenAI 用过程监督提升数学推理能力
OpenAI 训练了一个模型，通过奖励每一步正确推理（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。除性能提升外，过程监督还带来对齐收益：直接训练模型产出人类认可的思维链。
推荐理由：OpenAI 用过程监督替代结果监督提升数学推理，并给出对对齐的额外收益，可了解训练方法差异。
Hugging Face Blog精选AI 评分6262 Hugging Face 介绍 RWKV：兼具 Transformer 优势的 RNN 架构
Hugging Face 发文介绍 RWKV 架构，它结合了 RNN 与 Transformer 的优势，并已被集成进 transformers 库。RWKV 由 Bo Peng 主导，训练 GPU 由 Stability AI 捐赠，现有模型参数从约 170M 到 14B，训练上下文长度达 8192 且速度与 ctx1024 模型相当。
推荐理由：结合 RWKV 架构原理与 transformers 集成示例，读者可了解 RNN 与 Transformer 优势如何被合并。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成：低延迟文本生成的新方向
Hugging Face 发布辅助生成（assisted generation）解码方法，用一个至少小一个数量级的助手模型快速生成候选 token，再由主模型前向验证，在 Transformers 中通过 assistant_model 参数即可启用。
推荐理由：Hugging Face 官方详解辅助生成解码方法，给出可复现的延迟数据与 Transformers 调用方式。
OpenAI News精选AI 评分6262 OpenAI 构建神经定理证明器，用 Lean 求解部分数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能够求解多道高难度高中数学奥赛题，包括来自 AMC12 和 AIME 的题目，以及两道改编自 IMO 的题目。
推荐理由：OpenAI 用神经定理证明器在 Lean 中解出 AMC12、AIME 及两道改编自 IMO 的题目，可了解形式化数学推理的早期进展。
OpenAI News精选AI 评分7070 OpenAI 训练数学应用题求解系统，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学数学应用题的系统，准确率约为微调 GPT-3 模型的两倍。该系统能解出约 90% 的题目数量，在一组 9-12 岁儿童样本上，儿童在同一数据集测试中得分 60%，该系统得分为 55%。
推荐理由：读者可了解该数学应用题求解系统与微调 GPT-3 及小学生的准确率对比，判断其能力位置。