跳到正文

全部动态

今日 11 条
12月14日周四
12月13日周三
12月11日周一
  1. Hugging Face Blog62

    Hugging Face 详解混合专家模型 MoE

    Hugging Face 发布长文《Mixture of Experts Explained》,系统讲解 MoE 的构成、训练与推理取舍。文章指出 MoE 用稀疏层替换部分 FFN 层并配路由网络,预训练更快、推理比同参数量稠密模型更快,但需把全部专家载入显存,例如 Mixtral 8x7B 需容纳 47B 参数。

    推荐理由:系统梳理 MoE 的构成、训练与推理取舍,并给出并行与部署的实践要点,适合理解稀疏模型为何省算力却吃显存。

12月6日周三
12月5日周二
  1. Hugging Face Blog62

    Hugging Face 与 AMD 合作:AMD GPU 开箱即用加速大语言模型

    Hugging Face 与 AMD 公布合作进展,Transformers 模型现可在 AMD Instinct GPU 上无需修改代码直接运行,并已支持 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速与量化方案。

    推荐理由:Hugging Face 与 AMD 公布 ROCm 适配进展,读者可了解在 AMD Instinct 上零改动运行 Transformers 的现状与性能对比。

12月1日周五
  1. Hugging Face Blog34

    Open LLM Leaderboard 的 DROP 基准深度排查

    Open LLM Leaderboard 新增的 DROP 基准出现异常:绝大多数模型 f1-score 低于 10。Hugging Face 排查发现,归一化步骤在数字后跟非空格空白字符时无法匹配正确答案,且以 . 作为停止词会截断浮点答案、让高质量模型生成过多内容反而拉低 f1。改用 \n 作为停止词重新计算后,分数与整体表现的相关性明显改善。

11月29日周三
  1. OpenAI News82

    Sam Altman 回归 OpenAI 担任 CEO,公司组建新初始董事会

    OpenAI 宣布 Sam Altman 回归担任 CEO,Mira Murati 继续任 CTO,Greg Brockman 回归担任总裁,公司同时组建新的初始董事会。公告还附有 CEO Sam Altman 与董事会主席 Bret Taylor 的致辞。

    推荐理由:OpenAI 官方确认 Sam Altman 回归 CEO 并公布新一届初始董事会,读者可据此了解这场人事风波的最新落点。

11月17日周五
11月9日周四
  1. Hugging Face Blog80

    Hugging Face 发布 LCM LoRA,SDXL 4 步出图

    Hugging Face 发布 Latent Consistency LoRA,通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。

    推荐理由:原文给出 LCM LoRA 的推理代码、速度对比表和已发布权重,读者可据此判断少步生成的落地成本。

11月7日周二
11月6日周一
  1. OpenAI News85

    OpenAI 发布 GPTs,可创建自定义版 ChatGPT

    OpenAI 发布 GPTs,用户现在可以创建自定义版本的 ChatGPT,将指令、额外知识和任意技能组合在一起。该功能由 OpenAI 官方推出,具体开放范围与使用细节原文未进一步说明。

    推荐理由:OpenAI 官方发布 GPTs,读者可了解自定义 ChatGPT 的构成方式与开放范围。

11月3日周五
  1. Hugging Face Blog22

    Hugging Face Hub 推出存储区域功能

    Hugging Face 面向 Enterprise Hub 客户推出 Storage Regions,可让组织自行选择模型和数据集的存储位置。目前支持 US 和 EU 两个区域,亚太区即将上线;非默认位置的仓库会直接显示 Region 标签。官方称欧洲用户将仓库放在 EU 区域时,上传和下载速度约为存放在 US 时的 4-5 倍。

10月27日周五
10月26日周四
10月25日周三
10月24日周二
10月19日周四
  1. OpenAI News67

    DALL·E 3 在 ChatGPT Plus 和 Enterprise 上线

    OpenAI 宣布 DALL·E 3 已在 ChatGPT Plus 和 Enterprise 中可用。为准备更大范围发布,OpenAI 开发了一套安全缓解方案,并同步分享了其在内容来源溯源方面的研究进展。

    推荐理由:OpenAI 官方宣布 DALL·E 3 面向 ChatGPT Plus 和 Enterprise 开放,并同步说明安全缓解措施与来源溯源研究。

10月11日周三
10月4日周三
10月3日周二
10月2日周一