Hugging Face 将重新设计 Transformers 文档
Hugging Face 宣布将重新设计 Transformers 文档,以解决内容割裂、导航困难和过时的问题。新文档将面向构建 AI 产品的开发者,采用代码优先、解决方案导向的方式,并用灵活结构替代 Diátaxis 的刚性框架,让内容自然生长与整合。
Hugging Face 宣布将重新设计 Transformers 文档,以解决内容割裂、导航困难和过时的问题。新文档将面向构建 AI 产品的开发者,采用代码优先、解决方案导向的方式,并用灵活结构替代 Diátaxis 的刚性框架,让内容自然生长与整合。
Hugging Face Embedding Container for Amazon SageMaker 正式 GA,AWS 客户可在 SageMaker 上部署嵌入模型构建 RAG 等生成式 AI 应用。
Artificial Analysis 推出文生图排行榜与 Image Arena,基于超 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等开源与闭源模型。
OpenAI 使用新的稀疏自编码器扩展技术,自动识别出 GPT-4 计算过程中的 1600 万个模式。
Mistral AI 在 la Plateforme 上线模型定制功能,提供三种微调入口:开源微调代码库 mistral-finetune、平台上的 serverless 微调服务,以及面向特定客户的定制训练服务。
推荐理由:Mistral 同时给出开源微调代码库与托管微调服务,读者可据此判断自建与托管两条路径的成本差异。
Mistral AI 于 2024 年 6 月 5 日至 30 日举办线上微调黑客松,参赛项目必须使用其全新微调 API。前三名各获 2500 欧元 Mistral API 额度,入选者可申请 100 美元免费额度,需在 6 月 10 日前提交表单。评审按影响力、技术实现、创意和展示各占 25% 打分,团队最多 4 人。
Hugging Face 发布 NPC-Playground,一个可在浏览器中与 LLM 驱动的 NPC 互动的 3D 演示,由 Cubzh 与 Gigax 联合打造。
Hugging Face 将 assisted generation(基于 Speculative Sampling 的加速解码方法)适配并优化到 Intel Gaudi,现已集成进 Optimum Habana。该方法用草稿模型生成 K 个 token 再由目标模型评估,对大 Transformer 模型通常可带来约 2x 加速,且采样质量与自回归采样相当。
OpenAI 封禁了一批与隐蔽影响力行动相关的账号,并称这些账号未因使用其服务获得显著受众增长。
OpenAI 推出面向大学的平价方案 OpenAI for Education,帮助高校负责任地将 AI 引入校园。该方案主打可负担的定价,具体功能与价格细节尚未在原文中披露。
OpenAI 推出面向非营利组织的 OpenAI for Nonprofits 计划,为这类机构提供 ChatGPT Team 和 Enterprise 的折扣价格,以提升其工具的可及性。
Mistral AI 发布首款代码模型 Codestral,这是一个 22B 开放权重生成式模型,训练数据覆盖 80+ 编程语言,上下文窗口 32k,可通过指令与补全 API 端点使用。
推荐理由:Mistral 首款代码模型给出 22B 开放权重、32k 上下文和 80+ 语言支持,可对照其与既有代码模型的定位差异。
MavenAGI 推出基于 GPT-4 的 AI 客服智能体,Tripadvisor、Clickup 和 Rho 等公司已在使用,以节省时间并更好地服务客户。
Mistral AI 发布非生产许可证 MNPL,允许开发者将技术用于非商业用途并支持研究工作,Codestral 于同日在该许可证下发布。Mistral 表示会继续以 Apache 2.0 发布模型和代码,并逐步整合 Apache 2.0 与 MNPL 两条产品线。该许可证要求基于其成果开展商业业务的开发者以公平可持续的方式与各方合作。
推荐理由:Mistral 推出非生产许可证,读者可据此理解开源模型商业授权收紧对开发者使用边界的影响。
The Atlantic 宣布与 OpenAI 达成内容与产品战略合作,成为 OpenAI 体系内的优质新闻来源。The Atlantic 的文章将可在 ChatGPT 等 OpenAI 产品中被发现,作为合作方,The Atlantic 还将参与塑造未来实时发现产品中新闻的呈现方式。
OpenAI 与 Vox Media 达成一项多层面协议,Vox Media 的内容将用于增强 ChatGPT 的输出。Vox Media 还将基于 OpenAI 的技术开发产品,以更好地服务其受众和广告主。
Hugging Face 发布博客介绍 Text Generation Inference(TGI)配套的 TGI Benchmarking 工具,可在 Hugging Face Space 中部署模型并通过 CLI 运行,同时测量吞吐量与延迟。该工具提供 pre-fill 统计与直方图、吞吐量对延迟散点图,并按 batch size 展示结果,帮助用户在 TTFT 与吞吐之间权衡调优部署。
Hugging Face 发布博客,介绍如何用 Python 库 Sentence Transformers 微调嵌入模型以提升特定任务表现,也可从零训练新模型。
TII 发布 Falcon 2 系列首批模型,包括 11B 基座语言模型和 11B 视觉语言模型(VLM),后者在 LLM 基础上接入 CLIP ViT-L/14 视觉编码器,支持图像问答。
推荐理由:官方给出 Falcon 2 11B 的架构、训练数据与多语言评测,可对照同尺寸开源模型判断其定位。
Meta 发布 CyberSecEval 2,从代码不安全实践、提示词注入、网络攻击协助、代码解释器滥用和自动化攻击能力五个维度评测 LLM 的网络安全风险。相比 2023 年 12 月的首版,LLM 协助网络攻击的平均合规率从 52% 降至 28%。提示词注入仍是未解难题,代码解释器滥用风险突出,评测代码已全部开源。
OpenAI 与 News Corp 宣布建立多年全球合作伙伴关系,将把后者旗下优质新闻内容引入 OpenAI 的生成式 AI 产品与平台。
Hugging Face 宣布用户可从 Hub 直接部署模型到 AWS Inferentia2,覆盖超 10 万个公开模型,新增 albert、bert、roberta、vit 等 14 种模型架构和 text-classification、text-generation 等 6 类任务。
OpenAI 阐述了其安全实践的核心立场:通用人工智能有潜力惠及生活几乎方方面面,因此必须以负责任的方式开发和部署。
Hugging Face 宣布 AMD Instinct MI300 已在其平台实现一等公民级集成,transformers 和 text-generation-inference 无需改代码即可在 Azure ND MI300x V5 上运行。
Hugging Face 与微软在 Microsoft Build 上宣布深化战略合作,将 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等热门开源大模型加入 Azure 模型目录的 Hugging Face Collection,支持从 Azure AI Studio 一键部署。
Hugging Face Spaces 上线 Dev Mode,支持一键从 VS Code 或 SSH 直连 Space 编辑代码,无需再用 git 推送本地改动。该功能目前处于 beta 阶段,仅向 PRO 订阅用户开放,改完代码可在 Space 内直接刷新测试,满意后再 commit 和 merge 持久化。
Hugging Face 与 Dell 推出 Dell Enterprise Hub,可在 Dell 平台上本地训练和部署 Llama 3、Mixtral、Gemma 等开源模型,将原本数周的工程工作缩短至几分钟。
OpenAI 与业内顶尖选角及导演专业人士合作,从 400 多份投稿中筛选,最终为 ChatGPT 选定 5 种语音。
ChatGPT 的数据分析功能获得升级,用户现在可以与表格和图表进行交互,并直接从 Google Drive 和 Microsoft OneDrive 添加文件。
OpenAI 与 Reddit 达成合作,将 Reddit 的独特内容带入 ChatGPT 及 OpenAI 旗下产品。
Canva 为月活超 1.75 亿的视觉传播平台打造 AI 驱动的 Magic Studio,帮助缺乏设计训练的知识工作者快速创作演示文稿、视频、文档、网站和社交媒体图片等内容。该平台结合易用界面、庞大素材库与省时工具,让任何人都能制作出视觉出色的作品。
Hugging Face 在 Transformers 中新增 KV Cache 量化功能,通过将键值缓存压缩为低精度格式降低长上下文生成的内存占用,且对生成质量影响极小。
OpenAI 宣布 Ilya Sutskever 将离开公司,Jakub Pachocki 被任命为首席科学家。
Hugging Face 与 LangChain 联合发布合作包 langchain_huggingface,这是一个由双方共同维护的 Python 包,用于将 Hugging Face 最新能力接入 LangChain 并保持同步更新。
Google 发布视觉语言模型家族 PaliGemma,由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成,可输入图像和文本并输出文本。
推荐理由:原文给出 PaliGemma 的架构、三种 checkpoint 与微调流程,读者可据此判断它适合哪些视觉语言任务。
Hugging Face 发布 Open Arabic LLM Leaderboard(OALL),用于评测和对比阿拉伯语大语言模型性能,服务全球超 3.8 亿阿拉伯语使用者。
OpenAI 宣布推出新旗舰模型 GPT-4 Omni(GPT-4o),可在音频、视觉和文本之间进行实时推理。
推荐理由:OpenAI 官方发布新旗舰模型,读者可据此了解其在音频、视觉与文本上的实时推理定位。
OpenAI 发布 GPT-4o,并在 ChatGPT 中免费开放更多能力。
推荐理由:OpenAI 发布 GPT-4o 并扩大 ChatGPT 免费能力,读者可据此了解模型与产品开放策略的同步变化。
OpenAI 发布最新旗舰模型 GPT-4o,同时为 ChatGPT 免费用户开放更多能力。官方称这是其最新旗舰模型,免费用户将获得更多工具。
推荐理由:OpenAI 发布新旗舰模型 GPT-4o,并首次把更多能力开放给 ChatGPT 免费用户。
Hugging Face 发布 Transformers Agents 2.0,在原有 agent 类型之外新增两类可基于历史观察迭代的 agent,并加入共享功能。
推荐理由:官方给出 Agents 2.0 的模块划分与 GAIA 榜单成绩,可据此判断开源智能体框架的可用边界。