跳到正文

全部动态

今日 29 条
5月18日周四
  1. OpenAI News78

    OpenAI 推出 ChatGPT iOS 应用

    OpenAI 发布 ChatGPT 的 iOS 应用,可同步用户的对话记录,并支持语音输入。该应用同时带来 OpenAI 最新的模型改进。

    推荐理由:OpenAI 官方发布 ChatGPT iOS 应用,给出对话同步与语音输入两项核心能力。

5月16日周二
  1. Hugging Face Blog34

    BigCode 背后的大规模近重复数据删除

    Hugging Face 博客详解 BigCode 项目采用 MinHash + LSH(参数 256, 0.7, 5)进行文档级近重复数据删除,并确认去重同样能提升代码模型性能且所需数据集更小。文章还对比了 The Stack、CodeParrot、InCoder 等代码数据集所用的精确匹配、Levenshtein 距离等去重方法,指出去重可减少训练步数、防止基准污染与数据泄露。

5月15日周一
  1. Hugging Face Blog62

    Hugging Face 介绍 RWKV:兼具 Transformer 优势的 RNN 架构

    Hugging Face 发文介绍 RWKV 架构,它结合了 RNN 与 Transformer 的优势,并已被集成进 transformers 库。RWKV 由 Bo Peng 主导,训练 GPU 由 Stability AI 捐赠,现有模型参数从约 170M 到 14B,训练上下文长度达 8192 且速度与 ctx1024 模型相当。

    推荐理由:结合 RWKV 架构原理与 transformers 集成示例,读者可了解 RNN 与 Transformer 优势如何被合并。

5月11日周四
  1. Hugging Face Blog62

    Hugging Face 提出辅助生成:低延迟文本生成的新方向

    Hugging Face 发布辅助生成(assisted generation)解码方法,用一个至少小一个数量级的助手模型快速生成候选 token,再由主模型前向验证,在 Transformers 中通过 assistant_model 参数即可启用。

    推荐理由:Hugging Face 官方详解辅助生成解码方法,给出可复现的延迟数据与 Transformers 调用方式。

5月9日周二
  1. Hugging Face Blog62

    用 StarCoder 打造编码助手 StarChat

    Hugging Face 团队基于 BigCode 的 16B 参数 StarCoder 模型,用 OpenAssistant 对话数据集微调出编码助手 StarChat,并公开了代码、数据集与模型。

    推荐理由:原文完整给出了用对话数据微调 StarCoder 的流程与代码,读者可据此复现一个开源编码助手。

5月8日周一
  1. Hugging Face Blog42

    Hugging Face 解读文本到视频模型:从 GAN 到扩散模型的发展与挑战

    Hugging Face 发文梳理文本到视频模型的发展脉络,指出该任务比文本到图像更难,需保证帧间时空一致性。早期模型基于 GAN 和 VAE,随后 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等转向 Transformer 架构,当前主流则转向扩散模型。文章还分析了算力成本高、高质量数据集稀缺、视频描述模糊等核心挑战。

5月4日周四
  1. Hugging Face Blog78

    BigCode 发布 StarCoder:面向代码的 15B 开源大模型

    BigCode 发布 StarCoder 与 StarCoderBase 两个代码大语言模型,基于 GitHub 上 80 多种编程语言的宽松许可数据训练,参数量约 15B、训练 1 万亿 token,上下文长度超过 8,000 token。

    推荐理由:BigCode 公开了 StarCoder 的权重、训练数据与评测结果,读者可据此判断开源代码模型当时的水平与许可条件。

5月1日周一
4月27日周四
  1. Hugging Face Blog36

    用 🤗 Transformers、TensorFlow 和 TPU 从零训练语言模型

    Hugging Face 发布端到端教程,演示如何用 🤗 Transformers、TensorFlow 和 TPU 从零训练一个 RoBERTa base 模型,涵盖训练 tokenizer、在 WikiText v1 上分词并转为 TFRecord 上传 GCS,再到模型训练与上传的完整流程。代码默认使用 BERT 规模模型,可通过修改配置扩展到更大模型和更强 TPU pod 切片。

4月26日周三
4月25日周二
  1. OpenAI News62

    ChatGPT 新增关闭聊天记录功能

    ChatGPT 用户现在可以关闭聊天记录,自行选择哪些对话可以被用于训练模型。

    推荐理由:ChatGPT 新增关闭聊天记录开关,读者可据此了解对话数据是否用于模型训练的自主控制方式。

4月24日周一
4月21日周五
4月17日周一
4月14日周五
4月12日周三
  1. Hugging Face Blog27

    Hugging Face 与 Substra 合作推出联邦学习演示空间,推动隐私保护 AI

    Hugging Face 与开源联邦学习框架 Substra 合作创建了一个演示空间,展示如何在数据不出本地的前提下训练模型。联邦学习只传输模型权重而非原始数据,用多数据源训练的模型在验证数据上几乎总是优于单一数据源模型。Substra 已在乳腺癌研究等复杂安全环境中落地,MELLODDY 项目中 10 家生物制药公司借此共享了全球最大的小分子数据集。

4月11日周二
  1. OpenAI News38

    OpenAI 宣布漏洞赏金计划

    OpenAI 宣布推出漏洞赏金计划,邀请外界帮助发现其技术与服务中的安全漏洞。该计划是 OpenAI 致力于开发安全、先进 AI 的一部分,目标是打造安全、可靠、可信的技术与服务。

4月6日周四
  1. Hugging Face Blog22

    Snorkel AI 联手 Hugging Face:为企业解锁基础模型能力

    Snorkel AI 与 Hugging Face 达成合作,将 Hugging Face 的 Inference Endpoint 服务接入 Snorkel Flow 平台,让企业用户可直接调用其 150,000 多个开源模型来适配和微调基础模型。该服务支持一键创建模型 API,并具备“暂停与恢复”能力,客户按需激活、闲置休眠,从而在控制成本的同时扩展可用模型数量。

4月5日周三
3月30日周四
3月28日周二
3月27日周一
3月24日周五
  1. Hugging Face Blog62

    用 diffusers 训练你自己的 ControlNet

    Hugging Face 发布教程,介绍如何用 diffusers 训练自定义 ControlNet,并以人脸姿态为例完整走通流程。训练分三步:规划条件、构建数据集、训练模型,数据集需包含原图、条件图和提示词三列。

    推荐理由:完整复现了从条件设计、数据集构建到 diffusers 训练脚本的 ControlNet 训练流程,并给出不同显存下的参数配置。

3月23日周四
  1. OpenAI News82

    OpenAI 为 ChatGPT 推出插件支持

    OpenAI 宣布为 ChatGPT 实现插件的初步支持。插件是专为语言模型设计的工具,以安全为核心原则,可帮助 ChatGPT 获取最新信息、执行计算或使用第三方服务。

    推荐理由:OpenAI 官方给出 ChatGPT 插件的最初支持范围,读者可据此了解模型接入外部工具与实时信息的早期形态。

3月17日周五
3月14日周二
  1. OpenAI News92

    OpenAI 发布多模态大模型 GPT-4

    OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在许多真实场景中能力不及人类,但在多项专业和学术基准上达到人类水平。

    推荐理由:OpenAI 官方给出 GPT-4 的多模态输入形态与基准表现,可据此了解这一代模型的能力边界。