OpenAI 发布 GPT-4
OpenAI 发布 GPT-4,可生成、编辑并与用户迭代完成创意与技术写作任务,例如创作歌曲、撰写剧本,或学习用户的写作风格。
推荐理由:OpenAI 官方发布 GPT-4,读者可据此了解新模型在创意与技术写作上的生成、编辑与迭代能力。
OpenAI 的全部动态:GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。
OpenAI 发布 GPT-4,可生成、编辑并与用户迭代完成创意与技术写作任务,例如创作歌曲、撰写剧本,或学习用户的写作风格。
推荐理由:OpenAI 官方发布 GPT-4,读者可据此了解新模型在创意与技术写作上的生成、编辑与迭代能力。
OpenAI 发布《Planning for AGI and beyond》,阐述其使命是确保通用人工智能(即整体上比人类更聪明的 AI 系统)造福全人类。
推荐理由:OpenAI 官方阐述 AGI 使命与长期规划,可了解其对通用人工智能安全与治理的基本立场。
OpenAI 发文说明 ChatGPT 的行为是如何被塑造的,并介绍其改进计划,包括让用户拥有更多自定义空间,以及在相关决策中引入更多公众意见。
推荐理由:OpenAI 说明 ChatGPT 行为如何被塑造,并给出用户自定义与公众参与决策的改进方向。
OpenAI 宣布为 ChatGPT 推出试点订阅方案 ChatGPT Plus。ChatGPT 是一款对话式 AI,可与用户聊天、回答追问并指出错误假设。
推荐理由:OpenAI 官方公布 ChatGPT 付费订阅试点,读者可据此了解其早期商业化路径的起点。
OpenAI 发布一款经过训练的分类器,用于区分 AI 生成文本与人类撰写文本。
推荐理由:OpenAI 官方发布 AI 文本检测分类器,读者可了解其用途与官方定位。
OpenAI 宣布与 Microsoft 延长双方的合作关系,未披露具体条款与期限。
OpenAI 发布 Point-E,一个可根据复杂提示词生成 3D 点云的系统。
OpenAI 宣布推出新的嵌入模型,官方称其在能力、成本和使用简便性上均有明显改进。
推荐理由:OpenAI 发布新版嵌入模型,官方称能力更强、成本更低且更易使用,可据此评估替换现有嵌入方案。
Hugging Face 博客图解 RLHF 的完整训练流程,将其拆为预训练语言模型、收集人类偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文中说明奖励模型输出标量奖励,训练时用 KL 散度惩罚策略偏离初始模型,并给出 OpenAI、Anthropic、DeepMind 在模型与奖励模型规模上的不同选择。
推荐理由:把 RLHF 拆成预训练、奖励模型、PPO 微调三步,并列出 TRL、TRLX、RL4LMs 等开源工具与数据成本。
OpenAI 训练并发布名为 ChatGPT 的模型,以对话方式交互。官方称对话格式让 ChatGPT 能够回答追问、承认自身错误、质疑错误前提并拒绝不当请求。
推荐理由:OpenAI 官方给出 ChatGPT 的对话式交互定位,读者可据此了解其与以往模型在交互方式上的差异。
OpenAI 宣布 DALL·E API 进入公开测试,开发者从即日起可以基于该 API 构建应用。
推荐理由:OpenAI 官方开放 DALL·E API 公测,开发者可据此判断图像生成能力接入自家应用的门槛变化。
Hugging Face 发布教程,介绍如何用 🤗 Transformers 在任意多语种 ASR 数据集上微调 Whisper。教程以 Common Voice 11.0 的印地语为例,用约 8 小时训练数据微调 Whisper small,在测试集上把 WER 从预训练模型的 63.5% 降到 32.0%。
推荐理由:以印地语为例给出 Whisper 多语种 ASR 微调全流程,8 小时数据即可把 WER 从 63.5% 降到 32.0%。
OpenAI 宣布 DALL·E 不再需要等待名单,新用户可以直接开始创作。官方表示,部署中积累的经验以及安全系统的改进使更广泛的开放成为可能。
推荐理由:OpenAI 官方说明 DALL·E 取消等待名单,并给出安全系统改进这一放开依据。
OpenAI 宣布训练并开源神经网络 Whisper,其在英文语音识别上接近人类水平的稳健性和准确度。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可了解其在英文语音识别上的稳健性与准确度定位。
OpenAI 为 DALL·E 推出 outpainting 功能,可生成任意尺寸的图像,用于延展创作并讲述更大的故事。
推荐理由:OpenAI 为 DALL·E 加入 outpainting,读者可了解图像生成从单张出图扩展到任意尺寸延展的能力变化。
OpenAI 宣布 DALL·E 进入测试版,将在未来数周从候补名单中邀请 100 万人使用。用户可用每月重置的免费积分生成图像,也可按 115 次生成 15 美元的价格购买额外积分。
推荐理由:OpenAI 公布 DALL·E 测试版开放节奏与积分定价,读者可据此了解早期图像生成产品的使用门槛。
OpenAI 公布 DALL·E 2 研究预览进展,来自 118 个以上国家的 3000 多名艺术家已将 DALL·E 纳入自己的创作流程。OpenAI 表示,早期访问组的艺术家帮助发现了 DALL·E 的新用法,并在其决定 DALL·E 功能时提供了关键意见。
推荐理由:官方披露 DALL·E 2 研究预览的艺术家使用规模,可了解早期创作者如何把它接入创作流程。
OpenAI 提出 Video PreTraining(VPT)方法,在大量无标注的人类玩 Minecraft 视频上训练神经网络,仅使用少量承包商标注数据。经微调后,模型能学会制作钻石工具,这一任务通常需要熟练人类花费 20 多分钟、约 24000 次操作。模型直接使用键盘按键和鼠标移动这类原生人类交互接口,具有较强通用性,是迈向通用计算机使用智能体的一步。
推荐理由:OpenAI 用少量标注数据加海量无标注视频训练出能玩 Minecraft 的模型,可了解视频预训练在通用计算机智能体上的早期尝试。
OpenAI 训练了批评写作模型,用于描述摘要中的缺陷。人类评估者在看到模型给出的批评后,发现摘要缺陷的频率明显提高。研究还发现,模型越大自批评能力越强,规模对批评写作的提升大于对摘要写作的提升,这为用 AI 系统辅助人类监督 AI 系统提供了可能。
推荐理由:OpenAI 用批评写作模型辅助人类发现摘要缺陷,并给出模型规模与自批评能力的关系。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从候补名单中新增最多 1000 名用户。
推荐理由:官方披露 DALL·E 2 预览期用户产出与安全流程改进,并给出每周扩量节奏,可据此判断其开放进度。