OpenAI 为 ChatGPT Enterprise 推出合规与管理工具
OpenAI 为 ChatGPT Enterprise 新增 Compliance API 集成、SCIM 和 GPT 控制功能,用于支持大规模合规项目、数据安全与用户访问管理。
OpenAI 为 ChatGPT Enterprise 新增 Compliance API 集成、SCIM 和 GPT 控制功能,用于支持大规模合规项目、数据安全与用户访问管理。
Hugging Face 发布 Docmatix,一个包含 240 万张图像、950 万问答对(源自 130 万份 PDF)的文档视觉问答数据集,规模是此前数据集的 240 倍。
OpenAI 提出用证明者-验证者博弈(Prover-Verifier Games)提升语言模型输出的可读性,让 AI 给出的解答更清晰、更易被验证。该方法旨在使模型输出对人类和机器都更可信。
Mistral AI 发布专注 STEM 的数学推理模型 Mathstral 7B,基于 Mistral 7B,在 MATH 上得分 56.6%、MMLU 上得分 63.47%,在同规模模型中达到 SOTA。
Mistral AI 发布 Codestral Mamba,这是继 Mixtral 系列之后对 Mamba 架构的又一次探索,采用 Apache 2.0 许可,可自由使用、修改和分发。
推荐理由:Mistral 发布基于 Mamba 架构的代码模型,给出参数规模、256k 检索测试与多种部署方式,可据此判断非 Transformer 架构在代码场景的可用性。
Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M 和 1.7B 三个参数规模,并同步开源训练语料 SmolLM-Corpus。
推荐理由:原文公开了三个尺寸小模型的训练数据配比与评测对比,可据此判断端侧小模型的选型与数据策略。
Hugging Face 博客展示了如何用 distilabel 生成合成数据、微调领域专用嵌入模型,并为 Argilla 2.0 构建能理解技术文档的聊天机器人。流程包括将文档按约 256 token 分块、构建向量数据库,并将 Gradio 应用部署到 Hugging Face Space,交互记录存入 Argilla 用于持续评估改进。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 做两阶段全量微调,先学自然语言链式推理,再学工具集成推理,配合 SC-TIR 解码生成 N=48、深度 M=4 的候选并多数投票。
推荐理由:获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计,可迁移到其他推理任务。
OpenAI 与洛斯阿拉莫斯国家实验室宣布建立研究合作,双方将开发安全评估方法,用于评估和衡量前沿模型相关的生物能力与风险。
Hugging Face 正在 Dataset Hub 上试验一项基于开源 PII 检测工具 Presidio 的新功能,用户可查看数据集 PII 含量的估算报告。Presidio 依靠检测模式和机器学习模型识别 PII,报告可帮助开发者在训练前决定是否进一步过滤数据,也便于数据集所有者验证自身的 PII 过滤流程。
Hugging Face 与 KerasHub 宣布共享模型保存格式,Hugging Face Hub 上 30 万+ Transformers 模型现可直接加载进 KerasHub。首批支持 Gemma 1/2、Llama 3 和 PaliGemma,模型可在 TensorFlow、JAX、PyTorch 后端间一行代码切换。需升级 keras-hub 及 keras>=3.3.3。
Hugging Face 的 TRL 库现已支持视觉语言模型(VLM)的直接偏好优化(DPO),并给出完整训练教程。示例使用 Idefics2-8b 模型和 openbmb/RLAIF-V-Dataset(含超 83,000 条标注数据),TRL 的 DPO 实现同时支持 Llava 1.5 和 PaliGemma。
Hugging Face 用户现可在 Inference Endpoints 和 Spaces 上使用 Google Cloud TPU v5e,提供 v5litepod-1(1 核 16 GB,$1.375/小时)、v5litepod-4(4 核 64 GB,$5.50/小时)和 v5litepod-8(8 核 128 GB,$11.00/小时)三种配置。
Banque des Territoires(CDC 集团)、Polyconseil 与 Hugging Face 合作,为法国校园环保改造项目 EduRénov 构建基于 RAG 的主权数据方案,第一阶段已完成。
Hugging Face 为 Dataset Hub 的数据集搜索新增四项筛选功能:按模态(文本、图像、音频、表格、时间序列、3D、视频、地理空间)、按行数大小、按格式(如 Parquet、WebDataset)以及按兼容库(如 Pandas、Dask、Datasets)搜索。
Intel 与 MILA 将多模态蛋白质设计语言模型 ProtST 重新架构并发布在 Hugging Face Hub,可用 Optimum for Intel Gaudi 库在 Gaudi 2 上运行推理与微调。
Hugging Face 用基于 transformers.agents 构建的 ReactCodeAgent 在 GAIA 基准验证集上取得 44.2%,排名第一,比第二名高 4 个百分点;测试集得分 33.3%,排名第二,并在 Level 3 难题上取得最佳平均分。
推荐理由:Hugging Face 公开了用 Code Agent 登顶 GAIA 的完整实现细节,包括工具设计、安全解释器与规划策略,可迁移到自建智能体系统。
OpenAI 发布基于 GPT-4 的模型 CriticGPT,用于对 ChatGPT 的回复撰写批评意见,帮助人类训练员在 RLHF 过程中发现错误。
推荐理由:OpenAI 提出用 GPT-4 训练的 CriticGPT 辅助人类标注者发现 ChatGPT 回复中的错误,可用于 RLHF 环节。
OpenAI 与 TIME 达成战略内容合作,将接入 TIME 101 年的档案内容,用于增强模型回答并提供 Time.com 文章链接。
Google 发布开源大模型 Gemma 2,提供 9B 和 27B 两个规模,各有基础版与指令微调版,上下文长度 8K tokens,采用允许商用和再分发的宽松许可。
推荐理由:文章梳理了 Gemma 2 的滑动窗口注意力、软上限与蒸馏等训练改动,并给出与 Llama 3、Qwen 1.5 的基准对比。
XLSCOUT 发布专为专利与知识产权打造的嵌入模型 ParaEmbed 2.0,基于高质量多领域专利数据微调,准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Hugging Face 发布 Ethics and Society Newsletter #6,探讨高质量数据对 AI 开发的重要性。文章指出好数据应契合具体用途,需具备相关性、全面性、时效性并减少偏见,因为数据质量直接影响模型性能、鲁棒性、效率与公平性。
Hugging Face 博客展示了如何微调微软 6 月发布的 Florence-2 视觉语言模型,使其具备 DocVQA 视觉问答能力。该模型有 0.2B 和 0.7B 两个小尺寸版本,原生支持 captioning、目标检测、OCR 等任务,但发布的模型不含 VQA 能力。
OpenAI 宣布收购 Rockset。Rockset 是一家提供实时检索与分析数据基础设施的公司,此次收购的具体金额和整合方式尚未在材料中披露。
推荐理由:OpenAI 收购 Rockset 是其补齐检索与数据基础设施的一步,读者可据此观察其产品数据能力的走向。
OpenAI 公布网络安全资助计划,重点展示网络安全领域的创新研究与 AI 集成。
Hugging Face 与 Argilla 合作的 Data Is Better Together 计划已产出 DIBT/10k_prompts_ranked 数据集,由 385 多人参与完成 1 万条合成与人工提示词的质量排序,并被用于训练 SPIN 等新模型。
OpenAI 提出一套构建稳健自然语言分类系统的整体性方法,用于真实场景下的内容审核与不良内容检测。该方法强调从整体视角应对真实世界内容审核需求。
OpenAI 提出 Consistency Models,可在不依赖迭代采样过程的情况下实现快速生成。扩散模型虽推动了图像、音频和视频生成的发展,但其迭代采样过程导致生成速度缓慢。
OpenAI 提出改进的一致性模型(Consistency Models)训练技术。一致性模型是一类新兴生成模型,无需对抗训练即可一步采样出高质量数据。
Prezi 加入 Hugging Face Expert Support Program,将更小更高效的开源模型整合进其 ML 工作流。其旗舰产品 Prezi AI 结合视觉模型、文本模型和 VLM 生成演示文稿,专家建议在检索流程中加入开源 re-ranker 模型,比 LLM 更便宜、更快、更好地匹配图文素材。
Paf 在全公司采用 ChatGPT Enterprise,工程师每天用自定义 GPT 加速日常开发任务,70% 员工活跃使用,覆盖财务、HR、营销和客服等业务团队。Paf 还将 ChatGPT Enterprise 接入 grit:lab 编程学院,让学员从第一天起就以 AI 增强的系统架构思维学习。
Hugging Face 发布 BigCodeBench,包含 1,140 个函数级任务,要求 LLM 调用 139 个库中的多个函数作为工具,每个任务平均含 5.6 个测试用例、分支覆盖率 99%。
Color Health 与 OpenAI 合作推出 Cancer Copilot,利用 GPT-4o 识别缺失的诊断项目并生成个性化检查方案,帮助医疗人员就癌症筛查和治疗做出循证决策,从而加速癌症患者获得治疗。
OpenAI 任命退役美国陆军上将 Paul M. Nakasone 加入董事会,他将同时进入董事会的安全与安保委员会。Nakasone 为这一持续扩大的董事会带来网络安全领域的经验。
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting,使其在混合精度下与 DeepSpeed 行为对齐。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已在 Hugging Face Hub 发布并接入 Diffusers。
推荐理由:原文给出 SD3 Medium 的架构变化与 Diffusers 集成细节,读者可据此判断显存占用与推理速度的取舍。
Hugging Face 在 TRL 中推出 RLOO(REINFORCE Leave One-Out)Trainer,作为 PPO 之外的在线 RLHF 训练算法。
OpenAI 与 Apple 宣布建立合作,将 ChatGPT 集成到 Apple 的各项体验中。
推荐理由:OpenAI 与 Apple 宣布合作,读者可据此了解 ChatGPT 进入 Apple 生态这一商业动作的基本事实。
OpenAI 宣布 Sarah Friar 出任首席财务官(CFO),Kevin Weil 出任首席产品官(CPO)。两人将加入 OpenAI 管理层,具体职责与到任时间未在文中披露。
OpenAI 进一步说明其文本转语音模型 Voice Engine 的技术原理与安全研究。该模型可根据文本生成语音,OpenAI 同时公布了围绕这一技术开展的安全研究工作。