OpenAI 分享 22 国全球对话洞察
OpenAI 分享了在 22 个国家开展对话所获得的洞察,并表示将把这些洞察纳入后续工作。
OpenAI 分享了在 22 个国家开展对话所获得的洞察,并表示将把这些洞察纳入后续工作。
OpenAI 宣布首次国际扩张,在英国伦敦设立新办公室。这是 OpenAI 的首个海外办公室。
OpenAI 宣布一系列 API 更新,包括更易引导的模型、函数调用能力、更长的上下文以及更低的价格。
推荐理由:OpenAI 官方公布 API 多项更新,读者可据此了解模型可控性、函数调用与价格的变化方向。
OpenAI 启动网络安全资助计划,通过资助及其他支持方式,推动面向防御方的 AI 网络安全能力开发。
OpenAI 训练了一个模型,通过奖励每一步正确推理(过程监督)而非只奖励最终正确答案(结果监督),在数学问题求解上取得新的 SOTA。除性能提升外,过程监督还带来对齐收益:直接训练模型产出人类认可的思维链。
推荐理由:OpenAI 用过程监督替代结果监督提升数学推理,并给出对对齐的额外收益,可了解训练方法差异。
OpenAI 旗下非营利组织 OpenAI, Inc. 启动一项资助计划,将发放十笔各 10 万美元的拨款,用于资助在法律规定范围内建立民主流程、决定 AI 系统应遵循何种规则的实验。
OpenAI 发文呼吁现在就开始思考超级智能的治理问题,即未来能力远超 AGI 的 AI 系统。文章未给出具体治理方案或时间表。
OpenAI 发布 ChatGPT 的 iOS 应用,可同步用户的对话记录,并支持语音输入。该应用同时带来 OpenAI 最新的模型改进。
推荐理由:OpenAI 官方发布 ChatGPT iOS 应用,给出对话同步与语音输入两项核心能力。
OpenAI 用 GPT-4 自动为大型语言模型的神经元行为撰写解释,并对这些解释打分。团队同时发布了覆盖 GPT-2 全部神经元的解释与评分数据集,并说明这些解释并不完美。
推荐理由:OpenAI 用 GPT-4 自动解释并评分 GPT-2 神经元行为,并公开全部神经元的解释与评分数据集。
ChatGPT 用户现在可以关闭聊天记录,自行选择哪些对话可以被用于训练模型。
推荐理由:ChatGPT 新增关闭聊天记录开关,读者可据此了解对话数据是否用于模型训练的自主控制方式。
OpenAI 宣布推出漏洞赏金计划,邀请外界帮助发现其技术与服务中的安全漏洞。该计划是 OpenAI 致力于开发安全、先进 AI 的一部分,目标是打造安全、可靠、可信的技术与服务。
OpenAI 阐述了其确保 AI 系统安全构建、部署和使用的方法,并称这是其使命的关键。
OpenAI 公布 ChatGPT 3 月 20 日宕机事故的调查结果,说明问题原因、已采取的处置措施及该 bug 的技术细节。
OpenAI 宣布为 ChatGPT 实现插件的初步支持。插件是专为语言模型设计的工具,以安全为核心原则,可帮助 ChatGPT 获取最新信息、执行计算或使用第三方服务。
推荐理由:OpenAI 官方给出 ChatGPT 插件的最初支持范围,读者可据此了解模型接入外部工具与实时信息的早期形态。
OpenAI 发布题为 GPTs are GPTs 的研究,初步考察大语言模型对劳动力市场的潜在影响。原文正文未能抓取,仅标题可用。
冰岛正在使用 GPT-4 保护其语言。
OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在许多真实场景中能力不及人类,但在多项专业和学术基准上达到人类水平。
推荐理由:OpenAI 官方给出 GPT-4 的多模态输入形态与基准表现,可据此了解这一代模型的能力边界。
Be My Eyes 借助 GPT-4 改造视觉无障碍体验。该应用利用 GPT-4 为视障用户提供视觉辅助能力。
Stripe 利用 GPT-4 简化用户体验并打击欺诈。GPT-4 被用于优化 Stripe 的用户流程,同时增强其反欺诈能力。
Khan Academy 正在一项有限试点项目中探索 GPT-4 用于虚拟课堂教育的潜力。
GPT-4 被用于 Duolingo,以填补关键的语言学习空白。OpenAI 与 Duolingo 深化对话,将 GPT-4 引入语言学习场景。
OpenAI 发布 GPT-4,可生成、编辑并与用户迭代完成创意与技术写作任务,例如创作歌曲、撰写剧本,或学习用户的写作风格。
推荐理由:OpenAI 官方发布 GPT-4,读者可据此了解新模型在创意与技术写作上的生成、编辑与迭代能力。
OpenAI 发布《Planning for AGI and beyond》,阐述其使命是确保通用人工智能(即整体上比人类更聪明的 AI 系统)造福全人类。
推荐理由:OpenAI 官方阐述 AGI 使命与长期规划,可了解其对通用人工智能安全与治理的基本立场。
红队测试通过构造自然语言提示词诱导大语言模型输出有害内容,从而暴露其漏洞,与对抗攻击不同,其提示词对人类而言是正常可读的。红队测试可由人工或另一个语言模型执行,针对经 RLHF 或 SFT 对齐的模型需借助角色扮演等创造性手段。随着模型能力增强,开发可持续适配的红队方法并推动多方协作共享数据集与最佳实践变得至关重要。
OpenAI 发文说明 ChatGPT 的行为是如何被塑造的,并介绍其改进计划,包括让用户拥有更多自定义空间,以及在相关决策中引入更多公众意见。
推荐理由:OpenAI 说明 ChatGPT 行为如何被塑造,并给出用户自定义与公众参与决策的改进方向。
OpenAI 宣布为 ChatGPT 推出试点订阅方案 ChatGPT Plus。ChatGPT 是一款对话式 AI,可与用户聊天、回答追问并指出错误假设。
推荐理由:OpenAI 官方公布 ChatGPT 付费订阅试点,读者可据此了解其早期商业化路径的起点。
OpenAI 发布一款经过训练的分类器,用于区分 AI 生成文本与人类撰写文本。
推荐理由:OpenAI 官方发布 AI 文本检测分类器,读者可了解其用途与官方定位。
Hugging Face 博客梳理了让对话智能体有用的关键技术,包括指令微调(IFT)、监督微调(SFT)、思维链(CoT)和基于人类反馈的强化学习(RLHF),并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 和 Anthropic Assistant 在访问方式、模型规模、训练数据和评测标准上的差异。
OpenAI 宣布与 Microsoft 延长双方的合作关系,未披露具体条款与期限。
OpenAI 联合乔治城大学安全与新兴技术中心及斯坦福互联网天文台,研究大语言模型可能被用于虚假信息宣传的方式,并发布了一份基于一年多研究的联合报告。报告梳理了语言模型若被用于增强虚假信息宣传会对信息环境构成的威胁,并提出了一套分析潜在缓解措施的框架。
OpenAI 展示了用 GPT-3 从客户反馈中快速提取细致洞察的能力。该方案面向客户反馈分析场景,可输出更细腻的洞察结果。
OpenAI 通过微调 GPT-3 来驱动并规模化"代客制作"的视频创作。
OpenAI 利用 GPT-3 创建新一代 AI 驱动的角色。
OpenAI 应用 AI 研究团队的 Lilian Weng 探讨持续学习。原文未披露具体模型、参数或评测数据。
Hugging Face 发布指南,介绍如何通过 transformers 使用零样本图像分割模型 CLIPSeg。CLIPSeg 在冻结的 CLIP 之上训练 Transformer 解码器,可生成粗略分割掩码,用于机器人感知、图像修复等任务,并支持以文本或示例图像作为提示词的"视觉提示"。
OpenAI 发布 Point-E,一个可根据复杂提示词生成 3D 点云的系统。
OpenAI 宣布推出新的嵌入模型,官方称其在能力、成本和使用简便性上均有明显改进。
推荐理由:OpenAI 发布新版嵌入模型,官方称能力更强、成本更低且更易使用,可据此评估替换现有嵌入方案。
Hugging Face 博客图解 RLHF 的完整训练流程,将其拆为预训练语言模型、收集人类偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文中说明奖励模型输出标量奖励,训练时用 KL 散度惩罚策略偏离初始模型,并给出 OpenAI、Anthropic、DeepMind 在模型与奖励模型规模上的不同选择。
推荐理由:把 RLHF 拆成预训练、奖励模型、PPO 微调三步,并列出 TRL、TRLX、RL4LMs 等开源工具与数据成本。
OpenAI 超算团队工程师 Christian Gibson 分享了发现后端系统细节的工作。原文未披露具体系统、模型或技术细节。
OpenAI 训练并发布名为 ChatGPT 的模型,以对话方式交互。官方称对话格式让 ChatGPT 能够回答追问、承认自身错误、质疑错误前提并拒绝不当请求。
推荐理由:OpenAI 官方给出 ChatGPT 的对话式交互定位,读者可据此了解其与以往模型在交互方式上的差异。