Hugging Face 将无服务器 GPU 推理引入 Cloudflare Workers AI
Hugging Face 与 Cloudflare 合作推出 Deploy on Cloudflare Workers AI,让开发者以无服务器 API 方式调用 Hugging Face 上的开源模型,由部署在 Cloudflare 边缘数据中心的 GPU 和 Text Generation Inference 提供支持,按请求付费。
Hugging Face 与 Cloudflare 合作推出 Deploy on Cloudflare Workers AI,让开发者以无服务器 API 方式调用 Hugging Face 上的开源模型,由部署在 Cloudflare 边缘数据中心的 GPU 和 Text Generation Inference 提供支持,按请求付费。
Harvey 与 OpenAI 合作,为法律从业者构建了一个定制训练的模型。
Oscar 将 AI 引入健康保险业务,用于降低保险成本并改善患者护理。该合作由 OpenAI 提供技术支持,具体模型版本、参数规模与可用性信息未在原文中披露。
OpenAI 宣布让用户无需注册即可直接使用 ChatGPT,以便更轻松地体验 AI 带来的好处。
推荐理由:OpenAI 官方宣布 ChatGPT 无需注册即可使用,读者可据此了解其降低使用门槛的具体变化。
OpenAI 分享了 Voice Engine 小规模预览的经验教训,该模型可用于创建自定义语音。
Zelma 借助 GPT-4 让教育数据变得易于获取。
OpenAI 公布 Sora 的首批艺术家使用反馈,展示该视频生成模型在创作流程中的应用效果。自 Sora 上月发布以来,OpenAI 与艺术家合作探索其如何辅助创意工作。
Pollen Robotics 开源 pollen-vision 库,为机器人提供零样本视觉模型的统一接口,首个版本聚焦 3D 物体检测,通过组合 OWL-ViT、Mobile Sam 和 RAM 等模型输出物体的 (x, y, z) 坐标,无需训练即可开箱使用。
Hugging Face 博客介绍嵌入量化方法,将 float32 嵌入转为二值或 int8,内存与磁盘占用分别缩小 32 倍和 4 倍。在 MTEB 检索的 15 个基准上,二值量化配合重排序可保留约 96% 的默认性能,检索速度平均提升 24.76 倍,int8 平均提升 3.66 倍。
推荐理由:Hugging Face 官方给出嵌入量化在检索速度、内存与成本上的实测对比,并附可复用脚本。
Hugging Face 发布面向非技术读者的 Transformers 入门指南,从零讲解这一开源 Python 库如何调用数千个预训练 Transformer 模型,并区分了 Hub 与 Spaces 的用途。
JetBrains 借助 OpenAI 的 API 打造出公司史上增长最快的产品,将 AI 嵌入开发者软件。
Hugging Face 与 Lighthouz AI 联合推出 Chatbot Guardrails Arena,让用户与两个匿名 LLM 聊天,尝试诱导其泄露虚构银行 XYZ001 客户的敏感信息,并投票选出隐私保护更强的模型。
Hugging Face 发布 Cosmopedia,一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集,包含超 3000 万个文件、250 亿 token,用于从零预训练大语言模型,目标是复现 Phi-1.5 的训练数据。
推荐理由:Hugging Face 公开了从提示词设计到去污染、训练评估的完整合成数据流水线,可迁移到自建预训练数据。
Hugging Face 博客介绍 GaLore 优化器,通过将梯度投影到低秩子空间,可把优化器状态显存占用降低 82.5% 以上,从而在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 70 亿参数的 Llama 架构模型。
推荐理由:原文给出 GaLore 与 8-bit 优化器结合的训练流程和可运行代码,读者可据此在消费级显卡上复现大模型训练。
Hugging Face 与 Intel 合作,通过 Optimum Intel 中的 OpenVINO 集成对微软 Phi-2 模型权重做 4-bit 量化,并在搭载 Core Ultra 7 155H 的中端笔记本上完成本地推理。
Superhuman 宣布与 OpenAI 合作,推出由 AI 驱动的新一代邮件体验。官方称这标志着邮件进入新纪元,但未披露具体模型版本、功能细节或上线时间。
Holiday Extras 在全公司各团队推广 ChatGPT Enterprise,每周提升生产力 500 小时。这家旅游附加服务公司借助 AI 打造数据驱动、高效的企业文化。
Salesforce 集成 OpenAI 的企业级 LLM,用于改造客户应用。此次合作强调企业就绪的信任与安全能力。
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud,可在 Hub 内通过 AutoTrain 无代码创建训练任务,直接使用 NVIDIA DGX Cloud 的 H100 GPU。
Hugging Face 发布 Quanto,一个面向 Optimum 的 PyTorch 量化后端,支持 int2、int4、int8 和 float8 权重以及 int8、float8 激活,可在 CUDA 和 MPS 等任意设备上运行。
Hugging Face 发布教程,展示如何用 Optimum Intel 与 fastRAG 在基于 Xeon 的 CPU 上加速嵌入模型并接入现有 RAG 流程。
Hugging Face 推出 WebSight 数据集,用于训练视觉语言模型将网页截图转换为 HTML 代码。该数据集从 v0.1 的 823,000 对截图/HTML 样本扩展至 v0.2 的 200 万例,改用真实截图和 Tailwind CSS。基于该数据集微调的模型 Sightseer 可将网页截图转为可用的 HTML 代码,并还原截图中的图像。
Healthify 与 OpenAI 合作,借助 AI 健康教练帮助数百万用户实现可持续减重。该合作旨在通过 AI 健康指导改善用户健康状况,并已在实际应用中挽救生命。
OpenAI 与 Le Monde 和 Prisa Media 两家国际新闻机构达成合作,将法语和西班牙语新闻内容引入 ChatGPT。
OpenAI 宣布 Sue Desmond-Hellmann 博士、Nicole Seligman 和 Fidji Simo 加入董事会,Sam Altman 同时重新加入。
OpenAI 宣布审查已完成,Altman 与 Brockman 将继续领导 OpenAI,并公布了新任董事会成员及治理结构的改进措施。
推荐理由:OpenAI 公布审查结论并确认管理层留任,同时引入新董事与治理调整,可了解其治理结构变化。
Match Group 采用 ChatGPT Enterprise 来激发创造力并提升业务影响。OpenAI 分享了这一企业级产品的应用案例。
Paradigm 正使用 OpenAI 的 API 改善患者参与临床试验的可及性。该举措旨在让更多患者更容易找到并加入合适的临床试验。
Lifespan 利用 GPT-4 大幅提升健康素养并改善患者预后。该机构将 GPT-4 应用于患者沟通与健康教育场景,以提升患者对医疗信息的理解能力。
OpenAI 就与 Elon Musk 的关系作出回应,表示始终致力于 OpenAI 的使命,并在每一步都坚持追求这一使命。
加州大学洛杉矶分校研究者推出 ConTextual,一个包含 506 条指令的文本密集视觉推理数据集,覆盖时间阅读、购物、导航、信息图等 8 类真实场景,并同步上线排行榜。初步评测 13 个模型显示,GPT-4V 表现最佳,在抽象推理上超过人类,但在时间相关任务上落后;开源模型在多个领域表现不佳,用 OCR 加 caption 增强 LLM 的方案人类通过率仅 17.2%。
Argilla 与 Hugging Face 推出 Data is Better Together 实验,几天内吸引 350 名社区贡献者完成超 11,000 条 prompt 评分,并发布含 10,000 条 prompt 用户评分的 10k_prompts_ranked 数据集。
Hugging Face 展示了如何用 Optimum Habana 的自定义 pipeline 类在 Intel Gaudi 2 加速器上运行 Llama 2 系列模型(7b、13b、70b)进行文本生成,只需几行代码即可完成端到端推理。
BigCode 发布 StarCoder2,这是新一代透明训练的开放代码大语言模型,包含 3B、7B、15B 三个参数规模,分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由:BigCode 公开了 StarCoder2 三个尺寸的模型、数据集与训练代码,读者可据此了解开源代码模型在参数规模与训练数据上的具体取舍。
Hugging Face 发布 TTS Arena,借鉴 LMSys 的 Chatbot Arena,让用户输入文本后听两个模型朗读并投票选出更自然的一个,投票前不显示模型名以避免偏见。
Mistral AI 发布最新旗舰文本生成模型 Mistral Large,可通过 la Plateforme 使用,并首次通过 Azure 分发。官方称其在常用基准上表现强劲,是继 GPT-4 之后第二个可通过 API 获得的顶级模型,具备 32K token 上下文窗口、原生函数调用与 JSON 格式输出,原生支持英语、法语、西班牙语、德语和意大利语。
推荐理由:官方给出 Mistral Large 的基准对比、32K 上下文与函数调用能力,可据此判断其与 GPT-4 的定位差异。
Mistral AI 发布对话助手 Le Chat,作为与 Mistral 各模型交互的对话入口,底层可调用 Mistral Large、Mistral Small 或原型模型 Mistral Next。同时推出面向企业的 Le Chat Enterprise,支持自部署和细粒度审核机制。Le Chat 目前无法访问互联网,可能给出不准确或过时的信息,现以 beta 形式开放注册。
推荐理由:Mistral 官方发布对话助手 Le Chat 及企业版,读者可了解其模型接入方式与自部署能力。
Hugging Face 发布 AI 水印入门指南,介绍在内容生成时嵌入水印和生成后添加水印两种主要方法,并盘点 Hub 上的相关工具。文中还提及 Glaze、Photoguard、Nightshade、Fawkes 等图像防护工具,以及 Truepic 基于 C2PA 标准的内容签名方案。
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark,用人类越狱提示词测试前沿模型的安全鲁棒性,最终得分为判定为 Safe 的提示词百分比。
Hugging Face 发布 Matryoshka 嵌入模型入门指南,这类模型可将嵌入截断到多种维度而性能损失不大,灵感来自俄罗斯套娃。