用遥感（卫星）图像与描述微调 CLIP
一个跨 12 个时区的团队用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP，让模型支持用文本查询检索卫星图像。RSICD 约含 10,000 张来自 Google Earth、百度地图等的图像，每张最多 5 条描述；训练采用对比学习，并用图像增强与 Marian MT 回译文本增强抑制过拟合。模型已开放下载，并提供在线 demo。
#多模态
#多模态
今日 0 条Hugging Face BlogAI 评分2222
OpenAI News精选AI 评分6060 OpenAI 在 CLIP 中发现多模态神经元
OpenAI 在 CLIP 中发现了一类多模态神经元，无论概念以文字、符号还是概念形式呈现，这些神经元都会产生响应。这可能解释 CLIP 为何能准确分类出人意料的概念视觉变体，也是理解 CLIP 及类似模型所学关联与偏见的重要一步。
推荐理由：OpenAI 在 CLIP 中发现对同一概念的多模态神经元，为理解其分类准确性与习得偏见提供线索。
OpenAI News精选AI 评分8080 OpenAI 发布 CLIP：用自然语言连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称，即可应用于任意视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：OpenAI 介绍 CLIP 用自然语言监督学习视觉概念，读者可了解零样本视觉分类的思路来源。
OpenAI News精选AI 评分8888 OpenAI 发布 DALL·E：从文本生成图像
OpenAI 训练了一个名为 DALL·E 的神经网络，可根据自然语言文本描述生成图像，覆盖自然语言可表达的多种概念。
推荐理由：OpenAI 公布 DALL·E 这一从文本生成图像的神经网络，可据此了解文生图方向的早期形态。
OpenAI News精选AI 评分6262 OpenAI 发布音乐生成神经网络 Jukebox
OpenAI 推出 Jukebox，一个能生成音乐（包括初级人声）的神经网络，以原始音频形式输出，覆盖多种曲风和艺术家风格。OpenAI 同时公开了模型权重和代码，并提供用于试听生成样本的工具。
推荐理由：OpenAI 公开 Jukebox 的模型权重与代码，读者可了解其生成原始音频音乐的能力边界。
OpenAI News精选AI 评分6262 OpenAI 发布 MuseNet，可生成 4 分钟多乐器音乐
OpenAI 发布 MuseNet，这是一个深度神经网络，能生成 4 分钟、包含 10 种乐器的音乐作品，并可融合从乡村到莫扎特再到披头士的多种风格。MuseNet 并未被显式编程音乐知识，而是通过学习预测数十万个 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。
推荐理由：OpenAI 公开 MuseNet 的生成能力与训练方式，读者可了解其与 GPT-2 同源的技术路线。