OpenAI 提出 Consistency Models，实现快速生成
OpenAI 提出 Consistency Models，可在不依赖迭代采样过程的情况下实现快速生成。扩散模型虽推动了图像、音频和视频生成的发展，但其迭代采样过程导致生成速度缓慢。
全部AI 动态
全部动态
今日 2 条OpenAI NewsAI 评分3636 OpenAI NewsAI 评分2727 OpenAI 改进一致性模型（Consistency Models）训练技术
OpenAI 提出改进的一致性模型（Consistency Models）训练技术。一致性模型是一类新兴生成模型，无需对抗训练即可一步采样出高质量数据。
Hugging Face BlogAI 评分4343 BigCodeBench：下一代 HumanEval 代码评测基准发布
Hugging Face 发布 BigCodeBench，包含 1,140 个函数级任务，要求 LLM 调用 139 个库中的多个函数作为工具，每个任务平均含 5.6 个测试用例、分支覆盖率 99%。
OpenAI NewsAI 评分5252 OpenAI 用稀疏自编码器从 GPT-4 中提取 1600 万个模式
OpenAI 使用新的稀疏自编码器扩展技术，自动识别出 GPT-4 计算过程中的 1600 万个模式。
Hugging Face BlogAI 评分3838 Meta 发布 CyberSecEval 2：面向大语言模型网络安全风险与能力的综合评测框架
Meta 发布 CyberSecEval 2，从代码不安全实践、提示词注入、网络攻击协助、代码解释器滥用和自动化攻击能力五个维度评测 LLM 的网络安全风险。相比 2023 年 12 月的首版，LLM 协助网络攻击的平均合规率从 52% 降至 28%。提示词注入仍是未解难题，代码解释器滥用风险突出，评测代码已全部开源。
Hugging Face BlogAI 评分2222 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布希伯来语 LLM 开放排行榜，用于评估和提升希伯来语语言模型。该排行榜包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式，模型通过 HuggingFace Inference Endpoints 部署、由 lighteval 库评估。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Open CoT Leaderboard，用准确率增益衡量大模型思维链能力
Hugging Face 发布 Open CoT Leaderboard，不评模型绝对准确率，而是对比有无思维链提示时的准确率增益 Δ。该榜单覆盖 LogiQA、LSAT 等多项选择题任务，目前实现 Classic 和 Reflect 两种思维链生成策略，Mixtral-8x7B-Instruct-v0.1 已参与测试。
Hugging Face BlogAI 评分4040 Hugging Face 开源通用智能体 JAT：一个 Transformer 玩转 Atari、机器人控制与导航
Hugging Face 发布通用智能体项目 Jack of All Trades（JAT），基于 GPT-Neo 的 Transformer 架构，用单一网络在 Atari 57。
OpenAI NewsAI 评分4242 OpenAI 提出指令层级：训练 LLM 优先执行高优先级指令
OpenAI 提出"指令层级"方法，通过训练让 LLM 优先执行高优先级指令，以抵御提示词注入、越狱等攻击。当前 LLM 易被对抗者用恶意提示词覆盖原始指令，该方法旨在解决这一安全问题。
Hugging Face BlogAI 评分3636 Hugging Face 发布 Open Medical-LLM Leaderboard：医疗大模型基准评测
Hugging Face 推出 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标，覆盖 MedQA、MedMCQA、PubMedQA 及 MMLU 的医学与生物学子集。
Hugging Face BlogAI 评分4040 Hugging Face 推出 LiveCodeBench 排行榜：面向代码 LLM 的无污染整体评估
Hugging Face 上线 LiveCodeBench 排行榜，该基准由 UC Berkeley、MIT 和 Cornell 研究者开发，从 LeetCode、AtCoder、CodeForces 持续收集带发布日期的编程题，通过“随时间滚动”评估窗口检测并防止数据污染。
Hugging Face Blog精选AI 评分6262 Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，包含超 3000 万个文件、250 亿 token，用于从零预训练大语言模型，目标是复现 Phi-1.5 的训练数据。
推荐理由：Hugging Face 公开了从提示词设计到去污染、训练评估的完整合成数据流水线，可迁移到自建预训练数据。
Hugging Face BlogAI 评分4040 Hugging Face 发布 WebSight 数据集，用 VLM 将网页截图转为 HTML 代码
Hugging Face 推出 WebSight 数据集，用于训练视觉语言模型将网页截图转换为 HTML 代码。该数据集从 v0.1 的 823,000 对截图/HTML 样本扩展至 v0.2 的 200 万例，改用真实截图和 Tailwind CSS。基于该数据集微调的模型 Sightseer 可将网页截图转为可用的 HTML 代码，并还原截图中的图像。
Hugging Face BlogAI 评分3636 Hugging Face 发布 ConTextual：评测多模态模型在文本密集场景中的图文联合推理能力
加州大学洛杉矶分校研究者推出 ConTextual，一个包含 506 条指令的文本密集视觉推理数据集，覆盖时间阅读、购物、导航、信息图等 8 类真实场景，并同步上线排行榜。初步评测 13 个模型显示，GPT-4V 表现最佳，在抽象推理上超过人类，但在时间相关任务上落后；开源模型在多个领域表现不佳，用 OCR 加 caption 增强 LLM 的方案人类通过率仅 17.2%。
Hugging Face BlogAI 评分3636 Haize Labs 联合 Hugging Face 推出红队抵抗基准测试排行榜
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark，用人类越狱提示词测试前沿模型的安全鲁棒性，最终得分为判定为 Safe 的提示词百分比。
Hugging Face BlogAI 评分2222 Hugging Face 与 Upstage 推出 Open Ko-LLM Leaderboard：韩国大语言模型评测生态
Upstage 于 2023 年 9 月发起 Open Ko-LLM Leaderboard，为韩语 LLM 提供公开评测平台，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA 和 Ko-CommonGEN V2 五项任务，并使用不公开的私有测试集防止数据污染。
Hugging Face BlogAI 评分2222 Hugging Face 上线 NPHardEval 排行榜：用复杂度类动态评测 LLM 推理能力
Hugging Face 推出 NPHardEval 排行榜，基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准，通过计算复杂度类评估 LLM 推理能力。
OpenAI NewsAI 评分5757 OpenAI 构建 LLM 辅助生物威胁的早期预警系统
OpenAI 正在为评估大语言模型可能协助制造生物威胁的风险制定蓝图。在一项有生物学专家和学生参与的评测中，OpenAI 发现 GPT-4 对生物威胁制造准确率的提升最多只是轻微的。这一提升幅度尚不足以得出确定结论，但该发现是后续研究和社区讨论的起点。
Hugging Face BlogAI 评分3838 Hugging Face 与 Patronus 推出 Enterprise Scenarios Leaderboard：面向真实企业用例的 LLM 排行榜
Patronus 团队基于 Hugging Face Leaderboard Template 推出 Enterprise Scenarios Leaderboard，用于评估语言模型在真实企业场景中的表现。
Hugging Face BlogAI 评分3636 Hugging Face 发布 Hallucinations Leaderboard，开放评测大语言模型幻觉
Hugging Face 推出 Hallucinations Leaderboard，基于 EleutherAI Language Model Evaluation Harness 在 NQ Open、TriviaQA、TruthfulQA、XSum、CNN/DM、RACE、SQuADv2、FEVER、FaithDial、HaluEval 等基准上评测 LLM 的幻觉表现。
Hugging Face BlogAI 评分3838 Hugging Face 推出 AI Secure LLM Safety Leaderboard
Hugging Face 发布 LLM Safety Leaderboard，基于 DecodingTrust 对 LLM 安全性进行评估，该平台曾获 NeurIPS 2023 杰出论文奖。评估覆盖毒性、刻板印象偏见、对抗鲁棒性、OOD 鲁棒性、隐私、机器伦理和公平性等八个可信度维度，并提供针对各维度的红队测试算法。用户可将模型权重转为 safetensors 格式后通过排行榜提交评估。
OpenAI NewsAI 评分5252 OpenAI 提出弱到强泛化：用弱监督者控制强模型
OpenAI 提出面向超级对齐的新研究方向，探讨能否利用深度学习的泛化特性，用弱监督者控制更强的模型，并给出了初步结果。
Hugging Face BlogAI 评分3434 Hugging Face 与 Intel Labs 推出 SetFitABSA：基于 SetFit 的少样本方面级情感分析
Hugging Face 与 Intel Labs 推出 SetFitABSA，一个用于少样本训练领域特定方面级情感分析（ABSA）模型的框架，在少样本场景下表现优于 Llama2 和 T5 等生成式模型。
Hugging Face BlogAI 评分3434 Open LLM Leaderboard 的 DROP 基准深度排查
Open LLM Leaderboard 新增的 DROP 基准出现异常：绝大多数模型 f1-score 低于 10。Hugging Face 排查发现，归一化步骤在数字后跟非空格空白字符时无法匹配正确答案，且以 . 作为停止词会截断浮点答案、让高质量模型生成过多内容反而拉低 f1。改用 \n 作为停止词重新计算后，分数与整体表现的相关性明显改善。
Hugging Face BlogAI 评分3838 Hugging Face 研究：基础模型能否像人类一样标注数据？
Hugging Face 在 Open LLM Leaderboard 评估套件中新增 GPT-4 评测，与 Scale AI 的人类标注对比，检验 LLM 能否替代人工标注偏好数据。
OpenAI News精选AI 评分6262 OpenAI 用过程监督提升数学推理能力
OpenAI 训练了一个模型，通过奖励每一步正确推理（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。除性能提升外，过程监督还带来对齐收益：直接训练模型产出人类认可的思维链。
推荐理由：OpenAI 用过程监督替代结果监督提升数学推理，并给出对对齐的额外收益，可了解训练方法差异。
OpenAI News精选AI 评分6262 OpenAI 研究：语言模型可解释语言模型中的神经元
OpenAI 用 GPT-4 自动为大型语言模型的神经元行为撰写解释，并对这些解释打分。团队同时发布了覆盖 GPT-2 全部神经元的解释与评分数据集，并说明这些解释并不完美。
推荐理由：OpenAI 用 GPT-4 自动解释并评分 GPT-2 神经元行为，并公开全部神经元的解释与评分数据集。
OpenAI News精选AI 评分6060 GPTs are GPTs：大语言模型对劳动力市场潜在影响的早期观察
OpenAI 发布题为 GPTs are GPTs 的研究，初步考察大语言模型对劳动力市场的潜在影响。原文正文未能抓取，仅标题可用。
OpenAI NewsAI 评分4242 OpenAI 与乔治城大学、斯坦福互联网天文台联合研究：语言模型如何被用于虚假信息宣传及如何降低风险
OpenAI 联合乔治城大学安全与新兴技术中心及斯坦福互联网天文台，研究大语言模型可能被用于虚假信息宣传的方式，并发布了一份基于一年多研究的联合报告。报告梳理了语言模型若被用于增强虚假信息宣传会对信息环境构成的威胁，并提出了一套分析潜在缓解措施的框架。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 MTEB：大规模文本嵌入基准
Hugging Face 发布 MTEB（Massive Text Embedding Benchmark），用于在多种嵌入任务上衡量文本嵌入模型性能，包含 56 个数据集、8 类任务，覆盖最多 112 种语言，榜单已汇总超过 2000 条结果。
推荐理由：MTEB 把 56 个数据集、8 类任务和 112 种语言汇总成统一榜单，读者可据此理解文本嵌入模型的评测口径与选型依据。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 SetFit：无需提示词的高效少样本微调框架
Hugging Face 联合 Intel Labs 和 UKP Lab 发布 SetFit，一个用于 Sentence Transformers 少样本微调的框架，无需提示词或 verbaliser。
推荐理由：原文给出 SetFit 的两阶段训练流程与 RAFT 基准对比，读者可据此判断少样本分类的成本与精度取舍。
OpenAI News精选AI 评分7474 OpenAI 用视频预训练让神经网络学会玩 Minecraft
OpenAI 提出 Video PreTraining（VPT）方法，在大量无标注的人类玩 Minecraft 视频上训练神经网络，仅使用少量承包商标注数据。经微调后，模型能学会制作钻石工具，这一任务通常需要熟练人类花费 20 多分钟、约 24000 次操作。模型直接使用键盘按键和鼠标移动这类原生人类交互接口，具有较强通用性，是迈向通用计算机使用智能体的一步。
推荐理由：OpenAI 用少量标注数据加海量无标注视频训练出能玩 Minecraft 的模型，可了解视频预训练在通用计算机智能体上的早期尝试。
OpenAI News精选AI 评分6262 OpenAI 训练批评写作模型，帮助人类发现摘要缺陷
OpenAI 训练了批评写作模型，用于描述摘要中的缺陷。人类评估者在看到模型给出的批评后，发现摘要缺陷的频率明显提高。研究还发现，模型越大自批评能力越强，规模对批评写作的提升大于对摘要写作的提升，这为用 AI 系统辅助人类监督 AI 系统提供了可能。
推荐理由：OpenAI 用批评写作模型辅助人类发现摘要缺陷，并给出模型规模与自批评能力的关系。
Hugging Face BlogAI 评分2727 TAPEX：无需真实数据的高效表格预训练
微软提出 TAPEX，通过让 BART 学习执行合成 SQL 查询来实现表格预训练，无需真实数据。在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准上均取得 SOTA，其中 WikiSQL 准确率达 89.6%，WikiTableQuestions 达 57.5%。
OpenAI News精选AI 评分6262 OpenAI 构建神经定理证明器，用 Lean 求解部分数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能够求解多道高难度高中数学奥赛题，包括来自 AMC12 和 AIME 的题目，以及两道改编自 IMO 的题目。
推荐理由：OpenAI 用神经定理证明器在 Lean 中解出 AMC12、AIME 及两道改编自 IMO 的题目，可了解形式化数学推理的早期进展。
OpenAI NewsAI 评分5252 OpenAI 发布 WebGPT：通过网页浏览提升语言模型事实准确率
OpenAI 对 GPT-3 进行微调，使其能借助基于文本的网页浏览器更准确地回答开放式问题。
OpenAI News精选AI 评分7070 OpenAI 训练数学应用题求解系统，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学数学应用题的系统，准确率约为微调 GPT-3 模型的两倍。该系统能解出约 90% 的题目数量，在一组 9-12 岁儿童样本上，儿童在同一数据集测试中得分 60%，该系统得分为 55%。
推荐理由：读者可了解该数学应用题求解系统与微调 GPT-3 及小学生的准确率对比，判断其能力位置。
OpenAI NewsAI 评分4242 OpenAI 用人类反馈摘要书籍：为难以评估的任务扩展人类监督
OpenAI 提出用人类反馈来扩展 AI 系统在难以评估任务上的监督能力，并以书籍摘要作为测试场景。该方法针对的是评估困难、无法用简单指标衡量的任务，试图让人类监督在规模上可行。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出 DeDLOC：40 名志愿者协作预训练孟加拉语模型 sahajBERT
Hugging Face 联合 Yandex Research 等机构提出 DeDLOC 协作式分布式训练方法，可自适应参与者的网络与硬件条件，并通过 40 名志愿者在互联网上预训练出孟加拉语模型 sahajBERT。
推荐理由：Hugging Face 团队用 40 名志愿者在互联网上预训练出孟加拉语模型，给出了分布式协作训练在真实场景中的可行路径。
OpenAI NewsAI 评分4040 OpenAI 研究：用精选数据集微调可改善语言模型行为
OpenAI 研究发现，通过在小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。