Hugging Face 复现 Infini-Attention 失败：压缩次数越多性能越差
Hugging Face 复现 Google 的 Infini-attention 实验发现，随着记忆压缩次数增加，模型性能反而持续下降。团队尝试将 Llama 3 8B 的 8k 上下文扩展至 100 万 token，但结论是 ring attention、YaRN 和 rope scaling 仍是扩展预训练模型上下文长度的最佳方案。训练好的 checkpoint 已公开，代码按原样提供。
#推理
#推理
今日 1 条Hugging Face BlogAI 评分3434
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon Mamba：首个强性能无注意力 7B 模型
阿布扎比 TII 发布 Falcon Mamba 7B，采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定，模型以 TII Falcon Mamba 7B License 1.0 开放，可在 Hugging Face 生态中使用。
推荐理由：TII 发布首个纯 Mamba 架构的 7B 开源模型，读者可据此了解无注意力架构在长序列上的取舍。
Mistral AI精选AI 评分7878 Mistral AI 发布 Mistral Large 2，123B 参数支持 128k 上下文
Mistral AI 发布新一代 Mistral Large 2，拥有 128k 上下文窗口和 123B 参数，可在单节点上以较大吞吐运行，支持包括中文、日文、韩文在内的数十种语言和 80 多种编程语言。
推荐理由：官方给出 Mistral Large 2 的 128k 上下文、123B 参数与多项基准对比，可据此判断其单节点部署的成本位置。
Mistral AIAI 评分4242 Mistral AI 发布数学推理模型 Mathstral 7B
Mistral AI 发布专注 STEM 的数学推理模型 Mathstral 7B，基于 Mistral 7B，在 MATH 上得分 56.6%、MMLU 上得分 63.47%，在同规模模型中达到 SOTA。
Hugging Face Blog精选AI 评分6262 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 做两阶段全量微调，先学自然语言链式推理，再学工具集成推理，配合 SC-TIR 解码生成 N=48、深度 M=4 的候选并多数投票。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理任务。
Hugging Face BlogAI 评分2222 Hugging Face 为 Intel Gaudi 提供更快的 assisted generation 支持
Hugging Face 将 assisted generation（基于 Speculative Sampling 的加速解码方法）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法用草稿模型生成 K 个 token 再由目标模型评估，对大 Transformer 模型通常可带来约 2x 加速，且采样质量与自回归采样相当。
Hugging Face BlogAI 评分3838 Hugging Face 与 .txt 用结构化生成提升提示词一致性
Hugging Face 的 Leaderboards and Evals 团队发现，同一任务下仅改变提示词格式，模型得分波动可达约 10 分，Qwen1.5-7B 在两种格式下准确率分别为 22.9% 和 51.2%，且模型排名也会随格式变化。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Open CoT Leaderboard，用准确率增益衡量大模型思维链能力
Hugging Face 发布 Open CoT Leaderboard，不评模型绝对准确率，而是对比有无思维链提示时的准确率增益 Δ。该榜单覆盖 LogiQA、LSAT 等多项选择题任务，目前实现 Classic 和 Reflect 两种思维链生成策略，Mixtral-8x7B-Instruct-v0.1 已参与测试。
Mistral AI精选AI 评分7878 Mistral 发布开源模型 Mixtral 8x22B
Mistral 发布开源模型 Mixtral 8x22B，采用稀疏 MoE 架构，141B 总参数中仅 39B 激活参数，以 Apache 2.0 许可开放。该模型支持英语、法语、意大利语、德语和西班牙语，具备数学与编码能力，原生支持函数调用，上下文窗口为 64K tokens。
推荐理由：官方给出 Mixtral 8x22B 的激活参数、上下文窗口与多语言、数学编码基准，便于判断其成本效率定位。
Hugging Face BlogAI 评分2222 Hugging Face 上线 NPHardEval 排行榜：用复杂度类动态评测 LLM 推理能力
Hugging Face 推出 NPHardEval 排行榜，基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准，通过计算复杂度类评估 LLM 推理能力。
Mistral AI精选AI 评分8888 Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可的稀疏混合专家（SMoE）开放权重模型，同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。
推荐理由：官方给出稀疏 MoE 的参数量与推理成本结构，可据此判断开放权重模型在成本与性能间的取舍。
Hugging Face Blog精选AI 评分8282 Mixtral 8x7B 发布并集成进 Hugging Face 生态
Mistral 发布 Mixtral 8x7B，采用 MoE 架构，在多项基准上超过 Llama 2 70B 并追平 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由：Hugging Face 官方给出 Mixtral 在自家生态的完整接入方式，包括推理、量化与单卡微调的具体路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐量和 1200 tokens/秒。
推荐理由：官方给出单行代码接入方式与首 token 延迟、吞吐量对比数据，可据此判断现有 LLaMA 推理流程的改造代价。
Hugging Face BlogAI 评分3636 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 LLM 进行文本生成，并以 Llama 2 作为演示模型。
Mistral AI精选AI 评分8282 Mistral AI 发布 7.3B 参数模型 Mistral 7B
Mistral AI 发布 7.3B 参数的 Mistral 7B，采用 Apache 2.0 许可，可无限制使用并支持本地部署。官方称该模型在所有基准上超过 Llama 2 13B，在多项基准上超过 Llama 1 34B，代码能力接近 CodeLlama 7B。
推荐理由：官方给出 Mistral 7B 与 Llama 2 系列的逐项对比和滑动窗口注意力设计，可据此判断小参数模型的性价比边界。
Hugging Face BlogAI 评分2828 如何在生产环境中优化你的 LLM
Hugging Face 博客总结了生产环境部署 LLM 的三大优化方向：降低数值精度至 8-bit 和 4-bit、采用 Flash Attention 注意力算法，以及 Alibi、Rotary embeddings、MQA、GQA 等架构改进。
Hugging Face BlogAI 评分3434 Hugging Face 实测：Transformer 对时间序列预测依然有效，Autoformer 已并入 🤗 Transformers
Hugging Face 用 Autoformer 与 DLinear 在 Traffic、Exchange-Rate、Electricity 三个数据集上对比。
Hugging Face Blog精选AI 评分7878 Falcon 模型家族落地 Hugging Face 生态
阿布扎比技术创新研究院发布 Apache 2.0 许可的 Falcon 语言模型家族，包含 Falcon-40B 和 Falcon-7B 两个基础模型及对应 Instruct 版本。
推荐理由：介绍 Falcon 系列的开源许可、训练数据与多查询注意力设计，并给出在 Hugging Face 生态中推理和微调的具体路径。
OpenAI News精选AI 评分6262 OpenAI 用过程监督提升数学推理能力
OpenAI 训练了一个模型，通过奖励每一步正确推理（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。除性能提升外，过程监督还带来对齐收益：直接训练模型产出人类认可的思维链。
推荐理由：OpenAI 用过程监督替代结果监督提升数学推理，并给出对对齐的额外收益，可了解训练方法差异。
Hugging Face Blog精选AI 评分6262 Hugging Face 介绍 RWKV：兼具 Transformer 优势的 RNN 架构
Hugging Face 发文介绍 RWKV 架构，它结合了 RNN 与 Transformer 的优势，并已被集成进 transformers 库。RWKV 由 Bo Peng 主导，训练 GPU 由 Stability AI 捐赠，现有模型参数从约 170M 到 14B，训练上下文长度达 8192 且速度与 ctx1024 模型相当。
推荐理由：结合 RWKV 架构原理与 transformers 集成示例，读者可了解 RNN 与 Transformer 优势如何被合并。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成：低延迟文本生成的新方向
Hugging Face 发布辅助生成（assisted generation）解码方法，用一个至少小一个数量级的助手模型快速生成候选 token，再由主模型前向验证，在 Transformers 中通过 assistant_model 参数即可启用。
推荐理由：Hugging Face 官方详解辅助生成解码方法，给出可复现的延迟数据与 Transformers 调用方式。
Hugging Face BlogAI 评分4242 BLOOMZ 在 Habana Gaudi2 加速器上的快速推理
Hugging Face 展示用 Optimum Habana 在 Habana Gaudi2 上部署 1760 亿参数的 BLOOMZ 并做推理，8 卡 16-bit 下延迟 3.103 秒，比 A100 80GB 的 4.402 秒快 1.42 倍。
Hugging Face BlogAI 评分2222 Hugging Face Transformers 上线 Informer：面向多变量概率时间序列预测
Informer 模型已在 🤗 Transformers 中可用，用于多变量概率时间序列预测，即预测未来时间序列目标值向量的分布。该模型基于 vanilla Transformer，通过 ProbSparse 注意力将自注意力复杂度从 O(T²D) 降至 O(T log T)，并用 Distilling 操作把堆叠层内存占用从 O(NT²) 降至 O(N·T log T)。
Hugging Face BlogAI 评分3535 Hugging Face 详解大语言模型红队测试
红队测试通过构造自然语言提示词诱导大语言模型输出有害内容，从而暴露其漏洞，与对抗攻击不同，其提示词对人类而言是正常可读的。红队测试可由人工或另一个语言模型执行，针对经 RLHF 或 SFT 对齐的模型需借助角色扮演等创造性手段。随着模型能力增强，开发可持续适配的红队方法并推动多方协作共享数据集与最佳实践变得至关重要。
Hugging Face BlogAI 评分2222 用 Intel Sapphire Rapids 加速 PyTorch Transformers：推理篇
Hugging Face 发布博客第二部分，测试在 Intel Sapphire Rapids 服务器上运行 PyTorch Transformers 推理的性能。
Hugging Face BlogAI 评分3636 用 🤗 Transformers 做概率时间序列预测
Hugging Face 博客介绍如何用 🤗 Transformers 库中的 Time Series Transformer 完成单变量概率时间序列预测。该模型基于 Encoder-Decoder 的 vanilla Transformer，通过 Ancestral Sampling 自回归生成预测，并借助掩码处理缺失值，无需插补即可训练。
Hugging Face BlogAI 评分2828 用同态加密在加密数据上做情感分析：Concrete-ML 实战教程
Hugging Face 博客发布教程，演示如何借助 Concrete-ML 库在全同态加密（FHE）环境下对加密数据做情感分析，数据科学家无需密码学背景即可上手。方案用 BERT 提取文本隐藏表示（hidden size 768），再交给 XGBoost 分类，并通过客户端/服务器协议部署到云端，最后在 Hugging Face Spaces 提供完整 demo。
Hugging Face BlogAI 评分2828 从零训练你的第一个 Decision Transformer
Hugging Face 发布教程，教你用 transformers 库的 Trainer 和自定义 Data Collator，在 Google Colab 上从零训练一个离线 Decision Transformer，让 HalfCheetah 学会奔跑。
Hugging Face BlogAI 评分2222 Nyströmformer：用 Nyström 方法以线性时间与内存近似自注意力
Nyströmformer 通过 Nyström 方法近似标准自注意力，将时间和内存复杂度从 O(n²) 降至 O(n)。它不直接对 softmax 矩阵采样，而是从 query 和 key 中选取 landmark，用分段均值构造 Q̃、K̃，并据此构建三个矩阵完成近似。实验显示仅选 32 或 64 个 landmark 即可在 n=4096 或 8192 的长序列上取得有竞争力的性能。
Hugging Face BlogAI 评分1717 Hugging Face 深度强化学习课程：Advantage Actor Critic (A2C)
Hugging Face 深度强化学习课程第 7 单元讲解 Advantage Actor Critic（A2C），一种结合策略与价值方法的混合架构，通过 Actor 控制行为、Critic 评估动作好坏来降低 Reinforce 的方差、稳定训练。课程使用 Stable-Baselines3 在 PyBullet 机器人环境中训练双足步行者和蜘蛛两个智能体行走。
Hugging Face BlogAI 评分2828 Hugging Face 指南：如何在 Twitter 上进行情感分析
Hugging Face 发布 Twitter 情感分析入门指南，面向开发者和非开发者分别给出方案。开发者可用 Tweepy 抓取推文、通过 Inference API 几行代码完成情感分类，并用 Matplotlib 和 WordCloud 可视化结果；非开发者则可借助无代码工具 Zapier 抓取推文、调用 Inference API 分析并将结果发送至 Google Sheets。
Hugging Face BlogAI 评分2222 Hugging Face 深度强化学习课程：用 PyTorch 实现 Policy Gradient
Hugging Face 深度强化学习课程第 5 单元讲解 Policy-Based 方法中的 Policy Gradient，并从头用 PyTorch 实现首个策略梯度算法 Reinforce。
Hugging Face BlogAI 评分2222 Hugging Face 深度强化学习课程：用 Deep Q-Learning 玩 Space Invaders
Hugging Face 深度强化学习课程第三单元讲解 Deep Q-Learning：不再维护 Q-table，而是用神经网络根据状态逼近每个动作的 Q 值，并训练智能体玩 Space Invaders 等 Atari 环境。输入为 4 帧堆叠、缩放至 84x84 的灰度画面，经三层卷积和全连接层输出各动作 Q 值，训练借助基于 Stable-Baselines 的 RL-Zoo 完成。
Hugging Face BlogAI 评分1717 Hugging Face 深度强化学习课程：Q-Learning 入门（下）
Hugging Face 深度强化学习课程第二单元第二部分讲解 Q-Learning 算法，并从头实现首个 RL 智能体，在 Frozen Lake v1 和自动驾驶出租车两个环境中训练。
Hugging Face BlogAI 评分3434 用 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 推理
Hugging Face 发布端到端教程，演示如何用 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。
Hugging Face BlogAI 评分2222 BERT 101：SOTA NLP 模型解析
Google AI Language 于 2018 年推出的 BERT 基于 Transformer 双向编码器，可同时处理 11 种以上常见 NLP 任务，并在多项任务上超越此前专用模型。
OpenAI News精选AI 评分6262 OpenAI 构建神经定理证明器，用 Lean 求解部分数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能够求解多道高难度高中数学奥赛题，包括来自 AMC12 和 AIME 的题目，以及两道改编自 IMO 的题目。
推荐理由：OpenAI 用神经定理证明器在 Lean 中解出 AMC12、AIME 及两道改编自 IMO 的题目，可了解形式化数学推理的早期进展。
Hugging Face BlogAI 评分2222 Hugging Face 如何用 Intel 软件在现代 CPU 上扩展 BERT 类模型推理（第二部分）
Hugging Face 博客第二部分聚焦软件优化，介绍如何借助 Intel oneAPI 生态提升 BERT 类模型在现代 CPU 上的推理性能。
OpenAI News精选AI 评分7070 OpenAI 训练数学应用题求解系统，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学数学应用题的系统，准确率约为微调 GPT-3 模型的两倍。该系统能解出约 90% 的题目数量，在一组 9-12 岁儿童样本上，儿童在同一数据集测试中得分 60%，该系统得分为 55%。
推荐理由：读者可了解该数学应用题求解系统与微调 GPT-3 及小学生的准确率对比，判断其能力位置。
Hugging Face BlogAI 评分3838 GPT-Neo 与 🤗 Accelerated Inference API 的 Few-Shot Learning 实践指南
Hugging Face 发布博客，介绍如何用 EleutherAI 的 GPT-Neo 配合 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测。