IBM Research 与 Hugging Face 在 Transformers 库中发布 PatchTSMixer
IBM Research 与 Hugging Face 团队合作，在 Transformers 库中发布了轻量级时序建模模型 PatchTSMixer。该模型基于 MLP-Mixer 架构，支持跨 patch、通道和隐藏特征的轻量混合，可预训练后用于预测、分类和回归等下游任务。
全部AI 动态
全部动态
今日 2 条Hugging Face BlogAI 评分2222
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 aMUSEd：高效非扩散文生图模型
Hugging Face 发布 aMUSEd，这是对 Google MUSE 的开源复现，采用 Masked Image Model（MIM）而非主流潜在扩散方法，以研究预览形式在宽松许可下开放。
推荐理由：Hugging Face 开源复现 Google MUSE 的非扩散文生图模型，读者可了解 MIM 路线在推理步数与体积上的取舍。
Mistral AI精选AI 评分8888 Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可的稀疏混合专家（SMoE）开放权重模型，同时发布经监督微调和 DPO 优化的 Mixtral 8x7B Instruct。
推荐理由：官方给出稀疏 MoE 的参数量与推理成本结构，可据此判断开放权重模型在成本与性能间的取舍。
Hugging Face Blog精选AI 评分8282 Mixtral 8x7B 发布并集成进 Hugging Face 生态
Mistral 发布 Mixtral 8x7B，采用 MoE 架构，在多项基准上超过 Llama 2 70B 并追平 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由：Hugging Face 官方给出 Mixtral 在自家生态的完整接入方式，包括推理、量化与单卡微调的具体路径。
OpenAI News精选AI 评分9292 OpenAI 在 DevDay 发布 GPT-4 Turbo 等新模型与开发者产品
OpenAI 在 DevDay 上发布 GPT-4 Turbo，支持 128K 上下文并下调价格，同时推出 Assistants API、GPT-4 Turbo with Vision 和 DALL·E 3 API 等开发者产品。
推荐理由：OpenAI 在 DevDay 一次性公布 GPT-4 Turbo、Assistants API 等多项更新，可据此了解其模型与开发者产品的整体走向。
OpenAI News精选AI 评分6262 OpenAI 发布 DALL·E 3 系统卡
OpenAI 发布 DALL·E 3 系统卡，用于说明该图像生成模型在安全与风险方面的评估情况。
Mistral AI精选AI 评分8282 Mistral AI 发布 7.3B 参数模型 Mistral 7B
Mistral AI 发布 7.3B 参数的 Mistral 7B，采用 Apache 2.0 许可，可无限制使用并支持本地部署。官方称该模型在所有基准上超过 Llama 2 13B，在多项基准上超过 Llama 1 34B，代码能力接近 CodeLlama 7B。
推荐理由：官方给出 Mistral 7B 与 Llama 2 系列的逐项对比和滑动窗口注意力设计，可据此判断小参数模型的性价比边界。
Mistral AI精选AI 评分7878 Mistral AI 发布首个模型 Mistral 7B，以 Apache 2.0 开源
Mistral AI 发布首个 7B 参数模型 Mistral 7B，称其在所有标准英文与代码基准上超过现有 13B 参数以下的开源模型，并以 Apache 2.0 许可发布、可无限制使用。
推荐理由：Mistral AI 官方阐述开源模型路线，并给出 Mistral 7B 在标准基准上超越同规模开源模型的具体结果。
OpenAI News精选AI 评分7878 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍该多模态模型的能力与安全评估情况。
Hugging Face Blog精选AI 评分6262 Würstchen 发布：面向图像生成的高效扩散模型
Würstchen 是一个文本条件扩散模型，其文本条件部分在高度压缩的潜空间中工作，通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 组成 Decoder，实现 42x 空间压缩，Stage C 作为 Prior 在该潜空间中训练。
推荐理由：原文给出 42x 空间压缩与训练算力对比，读者可据此判断高效扩散模型在成本上的取舍。
Hugging Face Blog精选AI 评分7878 TII 的 Falcon 180B 上线 Hugging Face
TII 发布 Falcon 180B 并上线 Hugging Face，参数规模 1800 亿，在 3.5 万亿 token 的 RefinedWeb 数据上预训练，是当时最大的公开可用语言模型。
推荐理由：Falcon 180B 以 1800 亿参数和 3.5 万亿 token 预训练规模进入开源生态，读者可据此了解当时开源模型与闭源模型的差距。
Hugging Face Blog精选AI 评分8282 Code Llama 发布：Llama 2 学会写代码
Meta 发布 Code Llama，基于 Llama 2 初始化并在 5000 亿 token 代码数据上训练，提供 7B、13B、34B 三种规格，另有 Python 专用版和指令微调版，采用与 Llama 2 相同的社区许可并允许商用。
推荐理由：梳理 Code Llama 三种规格与 Python 专用、指令微调变体的差异，并给出 Hugging Face 生态的接入方式与基准对比。
Hugging Face Blog精选AI 评分7575 Hugging Face 发布 IDEFICS：Flamingo 的开源复现视觉语言模型
Hugging Face 发布开源视觉语言模型 IDEFICS，基于 DeepMind 未公开的 Flamingo 复现，接受任意图像与文本序列输入并生成文本，提供 9B 和 80B 两个参数规模及对应的 instruct 版本。
推荐理由：Hugging Face 复现了未开源的 Flamingo，并公开训练数据、技术教训与红队评估过程，读者可据此了解开源多模态模型的复现路径。
Hugging Face Blog精选AI 评分6060 Segmind 开源 SD-Small 与 SD-Tiny 知识蒸馏代码和权重
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码，两者参数量分别比基础模型减少 35% 和 55%，同时保持接近的图像保真度。
推荐理由：Segmind 开源了 SD-Small 与 SD-Tiny 的蒸馏代码和权重，读者可了解压缩扩散模型在参数与推理速度上的取舍。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 2，Hugging Face 全面集成
Meta 发布开源大语言模型家族 Llama 2，包含 7B、13B、70B 三种规模的预训练与微调版本，采用宽松社区许可并允许商用。相比 Llama 1，预训练 token 增加 40%，上下文长度提升至 4k，70B 模型使用 grouped-query attention。
推荐理由：Meta 发布 Llama 2 并开放商用，Hugging Face 同步给出推理、部署与微调入口，可据此判断开源模型的可落地程度。
Hugging Face Blog精选AI 评分7878 Falcon 模型家族落地 Hugging Face 生态
阿布扎比技术创新研究院发布 Apache 2.0 许可的 Falcon 语言模型家族，包含 Falcon-40B 和 Falcon-7B 两个基础模型及对应 Instruct 版本。
推荐理由：介绍 Falcon 系列的开源许可、训练数据与多查询注意力设计，并给出在 Hugging Face 生态中推理和微调的具体路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 介绍 RWKV：兼具 Transformer 优势的 RNN 架构
Hugging Face 发文介绍 RWKV 架构，它结合了 RNN 与 Transformer 的优势，并已被集成进 transformers 库。RWKV 由 Bo Peng 主导，训练 GPU 由 Stability AI 捐赠，现有模型参数从约 170M 到 14B，训练上下文长度达 8192 且速度与 ctx1024 模型相当。
推荐理由：结合 RWKV 架构原理与 transformers 集成示例，读者可了解 RNN 与 Transformer 优势如何被合并。
Hugging Face Blog精选AI 评分7878 BigCode 发布 StarCoder：面向代码的 15B 开源大模型
BigCode 发布 StarCoder 与 StarCoderBase 两个代码大语言模型，基于 GitHub 上 80 多种编程语言的宽松许可数据训练，参数量约 15B、训练 1 万亿 token，上下文长度超过 8,000 token。
推荐理由：BigCode 公开了 StarCoder 的权重、训练数据与评测结果，读者可据此判断开源代码模型当时的水平与许可条件。
OpenAI News精选AI 评分9292 OpenAI 发布多模态大模型 GPT-4
OpenAI 发布 GPT-4，称其为扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型，接受图像和文本输入、输出文本，在许多真实场景中能力不及人类，但在多项专业和学术基准上达到人类水平。
推荐理由：OpenAI 官方给出 GPT-4 的多模态输入形态与基准表现，可据此了解这一代模型的能力边界。
OpenAI News精选AI 评分9090 OpenAI 发布 GPT-4
OpenAI 发布 GPT-4，可生成、编辑并与用户迭代完成创意与技术写作任务，例如创作歌曲、撰写剧本，或学习用户的写作风格。
推荐理由：OpenAI 官方发布 GPT-4，读者可据此了解新模型在创意与技术写作上的生成、编辑与迭代能力。
Hugging Face Blog精选AI 评分6262 Kakao Brain 发布 ViT 与 ALIGN 模型及 COYO 数据集
Kakao Brain 与 Hugging Face 联合发布开源图文数据集 COYO（7 亿对）以及基于它训练的 ViT 和 ALIGN 模型，这是 ALIGN 模型首次免费开源，也是 ViT 和 ALIGN 首次附带训练数据集发布。
推荐理由：Kakao Brain 公开了首个开源 ALIGN 模型及配套 COYO 数据集，读者可据此了解可复现的视觉语言训练路径。
Hugging Face Blog精选AI 评分6060 SpeechT5 上线 Hugging Face Transformers，支持语音合成、识别与音色转换
Hugging Face 宣布 SpeechT5 已集成进 Transformers，论文作者发布的官方 checkpoint 可在 Hugging Face Hub 获取，并提供语音合成、音色转换和自动语音识别三个 Spaces 演示。
推荐理由：SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR，读者可据此了解多任务语音模型在 Transformers 中的接入方式。
OpenAI News精选AI 评分6060 OpenAI 发布 Point-E：从复杂提示词生成 3D 点云的系统
OpenAI 发布 Point-E，一个可根据复杂提示词生成 3D 点云的系统。
OpenAI News精选AI 评分6262 OpenAI 发布新版嵌入模型
OpenAI 宣布推出新的嵌入模型，官方称其在能力、成本和使用简便性上均有明显改进。
推荐理由：OpenAI 发布新版嵌入模型，官方称能力更强、成本更低且更易使用，可据此评估替换现有嵌入方案。
Hugging Face BlogAI 评分3838 Hugging Face 用 Diffusers 支持 VQ-Diffusion 离散扩散模型
中国科学技术大学与微软提出的 VQ-Diffusion 是一种在量化隐空间上做加噪与去噪的条件隐扩散模型，其隐空间由离散向量集合构成。Hugging Face 现已支持通过 Diffusers 用几行代码运行该模型，加载 microsoft/vq-diffusion-ithq，并可选 FP16 权重。
Hugging Face BlogAI 评分3838 rinna 发布 Japanese Stable Diffusion：基于 Stable Diffusion 微调的日文文生图模型
rinna 通过对 Stable Diffusion 进行微调，开发出日文文生图模型 Japanese Stable Diffusion，可理解日语特有词汇、拟声词与专有名词并生成日式风格图像。
OpenAI News精选AI 评分8080 OpenAI 开源语音识别模型 Whisper
OpenAI 宣布训练并开源神经网络 Whisper，其在英文语音识别上接近人类水平的稳健性和准确度。
推荐理由：OpenAI 开源语音识别模型 Whisper，读者可了解其在英文语音识别上的稳健性与准确度定位。
Hugging Face Blog精选AI 评分8282 Hugging Face 发布 176B 参数开源多语言模型 BLOOM
Hugging Face 发布 BLOOM，一个 176B 参数的多语言大语言模型，可生成 46 种自然语言和 13 种编程语言的文本，由 70 多个国家 1000 多名研究者协作完成，在法国 Jean Zay 超算上训练 117 天。
推荐理由：BLOOM 以 176B 参数覆盖 46 种自然语言，并公开训练中间检查点与优化器状态，为研究大模型内部行为提供了少见的开放样本。
OpenAI NewsAI 评分4242 OpenAI 披露 DALL·E 2 预训练缓解措施
OpenAI 为向大众开放 DALL·E 2，在预训练阶段采取了一系列缓解措施，以降低强大图像生成模型带来的风险。为此，OpenAI 设置了多种防护机制，防止生成图像违反其内容政策。
OpenAI News精选AI 评分7070 OpenAI 发布 GPT-3 与 Codex 新版本，支持编辑和插入内容
OpenAI 发布 GPT-3 和 Codex 的新版本，可在已有文本中编辑或插入内容，而不再只是续写现有文本。
推荐理由：OpenAI 官方说明 GPT-3 与 Codex 新增编辑和插入能力，读者可了解模型从续写扩展到改写已有文本。
OpenAI News精选AI 评分8282 OpenAI 发布 InstructGPT，让语言模型更好遵循用户指令
OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型 InstructGPT，同时更真实、毒性更低，相关技术来自其对齐研究。这些模型采用人类参与的训练方式，现已作为 OpenAI API 的默认语言模型部署。
推荐理由：OpenAI 公布 InstructGPT 的指令跟随与真实性改进，并说明其已替换 API 默认模型。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 Perceiver IO 集成进 Transformers
Hugging Face 在 Transformers 库中加入 Perceiver IO，这是首个可处理文本、图像、音频、视频、点云等多种模态及其组合的 Transformer 类模型。
推荐理由：Hugging Face 把 Perceiver IO 集成进 Transformers，读者可了解其跨模态架构与各模态实现细节。
OpenAI News精选AI 评分8080 OpenAI 发布 CLIP：用自然语言连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称，即可应用于任意视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：OpenAI 介绍 CLIP 用自然语言监督学习视觉概念，读者可了解零样本视觉分类的思路来源。
OpenAI News精选AI 评分8888 OpenAI 发布 DALL·E：从文本生成图像
OpenAI 训练了一个名为 DALL·E 的神经网络，可根据自然语言文本描述生成图像，覆盖自然语言可表达的多种概念。
推荐理由：OpenAI 公布 DALL·E 这一从文本生成图像的神经网络，可据此了解文生图方向的早期形态。
OpenAI News精选AI 评分6262 OpenAI 发布音乐生成神经网络 Jukebox
OpenAI 推出 Jukebox，一个能生成音乐（包括初级人声）的神经网络，以原始音频形式输出，覆盖多种曲风和艺术家风格。OpenAI 同时公开了模型权重和代码，并提供用于试听生成样本的工具。
推荐理由：OpenAI 公开 Jukebox 的模型权重与代码，读者可了解其生成原始音频音乐的能力边界。
OpenAI News精选AI 评分7878 OpenAI 发布 GPT-2 1.5B 版本及模型权重
OpenAI 发布 GPT-2 分阶段发布的最后一个版本，即参数量 1.5B 的最大版本，并公开代码与模型权重，以便检测 GPT-2 模型的输出。OpenAI 表示，尽管自 8 月以来已有更大的语言模型发布，仍按原定分阶段发布计划推进，为社区提供一个完整分阶段发布流程的测试案例。
推荐理由：OpenAI 以分阶段发布收尾，公开 GPT-2 最大版本与权重，为后续强模型的负责任发布提供参照。
OpenAI News精选AI 评分8080 OpenAI 发布 774M 参数 GPT-2 模型
OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已先后发布 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议，便于机构之间建立模型共享合作，并发布技术报告，介绍与更广泛 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 分阶段开放 GPT-2 最大版本，并给出模型共享协议与协作发布经验，可观察大模型发布节奏与风险权衡。
OpenAI News精选AI 评分6262 OpenAI 发布 MuseNet，可生成 4 分钟多乐器音乐
OpenAI 发布 MuseNet，这是一个深度神经网络，能生成 4 分钟、包含 10 种乐器的音乐作品，并可融合从乡村到莫扎特再到披头士的多种风格。MuseNet 并未被显式编程音乐知识，而是通过学习预测数十万个 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。
推荐理由：OpenAI 公开 MuseNet 的生成能力与训练方式，读者可了解其与 GPT-2 同源的技术路线。
OpenAI News精选AI 评分8080 OpenAI Five 击败 Dota 2 世界冠军 OG
OpenAI Five 成为首个在电竞游戏中击败世界冠军的 AI，本周末在 Finals 上连续两局战胜 Dota 2 世界冠军战队 OG。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下击败优秀职业选手，但在公开职业比赛中落败，这也是 AI 首次在直播中战胜电竞职业选手。
推荐理由：OpenAI Five 在直播中击败 Dota 2 世界冠军 OG，可了解 AI 在电竞对抗中的里程碑节点。
OpenAI News精选AI 评分8585 OpenAI 训练出大规模无监督语言模型并在多项基准取得最优表现
OpenAI 训练了一个大规模无监督语言模型，能够生成连贯的段落文本，在多项语言建模基准上取得当时最优表现。该模型无需针对特定任务训练，即可完成基础的阅读理解、机器翻译、问答和摘要任务。
推荐理由：OpenAI 公布一个无监督语言模型在多项语言任务上取得当时最优表现，可了解大模型早期路线。