Hugging Face Hub 上线 CO2 排放追踪与筛选功能
Hugging Face Hub 推出 emissions_threshold 参数,可按训练碳排放量筛选模型,例如搜索排放不超过 100 克的模型可返回 191 个结果。Transformers 集成 codecarbon,训练时自动记录排放数据并生成 emissions.csv,方便写入模型卡。
Hugging Face Hub 推出 emissions_threshold 参数,可按训练碳排放量筛选模型,例如搜索排放不超过 100 克的模型可返回 191 个结果。Transformers 集成 codecarbon,训练时自动记录排放数据并生成 emissions.csv,方便写入模型卡。
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hugging Face Hub,并发布 9 个 Gym 环境连续控制任务的预训练 checkpoint,覆盖 Hopper、Walker2D 和 Halfcheetah,Atari 环境 checkpoint 即将推出。
huggingface_hub 库新增 ModelSearchArguments 和 ModelFilter 类,让用户无需离开 IDE 即可通过 Python API 搜索 Hub 上的模型和数据集。
Hugging Face 将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hugging Face Hub,用户可通过 huggingface_sb3 库上传和加载已保存的智能体模型。
Hugging Face 发布教程,介绍如何用 Transformers 和 Amazon SageMaker 将 EleutherAI 的 GPT-J 6B 部署为实时推理端点。
Hugging Face 在 Transformers 库中加入 Perceiver IO,这是首个可处理文本、图像、音频、视频、点云等多种模态及其组合的 Transformer 类模型。
推荐理由:Hugging Face 把 Perceiver IO 集成进 Transformers,读者可了解其跨模态架构与各模态实现细节。
Hugging Face 发布首个自研深度强化学习环境 Snowball Fight 1vs1,基于 Unity ML-Agents 构建,玩家可与深度强化学习智能体对战扔雪球,游戏已托管在 Hugging Face Spaces 并可在线游玩。训练环境已在 Hugging Face Hub 开源,后续将推出 2vs2 版本,使用 MA-POCA 算法训练智能体团队协作。
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool,基于 Dataset 和 Spaces Hub 及 Streamlit 构建,可在线构建、测量和比较数据集。该工具提供数据集基础信息、描述性统计和分布统计三类指标,包括缺失值、词汇量、标签分布、实例长度及 Zipf 定律拟合度等,帮助开发者在无需编程的情况下审查数据集质量与偏差。
Hugging Face 发布开源库 Optimum,目标是简化 Transformers 在特定硬件上的训练与推理性能优化,首个合作方为 Intel。
推荐理由:Hugging Face 官方发布 Optimum 开源库,读者可了解其与 Intel 合作在特定硬件上做模型量化的思路。
OpenAI 发布 Triton 1.0,这是一门开源的类 Python 编程语言,让没有 CUDA 经验的研究者也能编写高效的 GPU 代码,多数情况下能达到专家水平。
推荐理由:OpenAI 开源 Triton 1.0,让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
Hugging Face Hub 现已集成 Sentence Transformers 框架,并随 Sentence Transformers v2 发布上线 90 多个预训练模型,覆盖 100 多种语言。
OpenAI 宣布 2021 届 OpenAI Scholars 已完成为期六个月的导师计划,并在 OpenAI 提供的津贴与支持下完成了开源研究项目。
Hugging Face 发布 Accelerate 库,面向希望完全掌控训练循环、又不愿编写分布式训练和混合精度样板代码的 PyTorch 用户。只需在标准训练脚本中加入约五行代码,即可在单机多卡、多节点、TPU 等分布式环境以及有无混合精度的情况下运行,并自动处理设备放置。
推荐理由:官方给出五处代码改动即可切换分布式与混合精度的具体做法,便于评估对现有 PyTorch 训练脚本的改造成本。
Hugging Face 博客发布 Stas Bekman 的客座文章,记录将 fairseq wmt19 翻译系统移植到 transformers 的完整过程。作者选用 en-ru / ru-en 预训练模型进行移植,并创建了 configuration_fsmt.py、modeling_fsmt.py、tokenization_fsmt.py 及转换脚本等文件。
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse,其 BlockSparseLinear 可直接替换 torch.nn.Linear,实现块稀疏矩阵运算。
OpenAI 推出 Microscope,一个收录八个视觉"模式生物"模型中每个重要层与神经元可视化的工具集。它让研究者更易分析这些神经网络内部形成的特征,以推动对复杂系统的理解。
OpenAI 发布 Safety Gym,一套用于衡量强化学习智能体在训练中遵守安全约束进展的环境与工具。该套件面向在训练过程中尊重安全约束的强化学习智能体,提供相应的环境和工具来度量其进展。
OpenAI 发布 Neural MMO,一个面向强化学习智能体的大规模多智能体游戏环境,支持在持久、开放式的任务中容纳大量且数量可变的智能体。该平台引入众多智能体与物种,带来更好的探索、差异化的生态位形成以及整体能力的提升。
OpenAI 发布深度强化学习教育资源 Spinning Up in Deep RL,旨在让任何人都能学习成为深度强化学习的熟练实践者。该资源包含清晰的 RL 代码示例、教学练习、文档和教程。
OpenAI 发布八个模拟机器人环境及 Hindsight Experience Replay 的 Baselines 实现,均为过去一年研究开发,并已用于训练可迁移到实体机器人的模型。同时发布一组机器人研究课题请求。
OpenAI Baselines 发布 ACKTR 和 A2C 两个新实现。A2C 是 A3C 的同步确定性变体,性能与之相当;ACKTR 比 TRPO 和 A2C 更具样本效率,每次更新仅比 A2C 略多计算量。
OpenAI 开源了 RL-Teacher,这是其通过偶尔的人类反馈而非手工设计奖励函数来训练 AI 的接口实现。该技术为迈向安全 AI 系统而开发,也适用于奖励难以明确指定的强化学习问题。
OpenAI 开源了一个基于 MuJoCo 引擎的高性能 Python 机器人仿真库,该库在其过去一年的机器人研究中开发完成。
OpenAI 开源内部项目 OpenAI Baselines,目标是以与已发表结果相当的性能复现强化学习算法。首批发布包含 DQN 及其三个变体,其余算法将在接下来几个月内陆续放出。
推荐理由:OpenAI 开源内部强化学习复现项目 Baselines,首批放出 DQN 及三个变体,可了解其复现思路与后续发布节奏。
OpenAI 发布开源机器人仿真软件 Roboschool,并已集成到 OpenAI Gym 中。