2023：开源大语言模型之年

Hugging Face 回顾 2023 年开源 LLM 进展，指出公众对开源与闭源之争的关注度大幅上升。文章梳理了预训练大模型的构成要素，包括架构、训练数据、tokenizer、训练超参数与模型权重，并回顾 2022 年的代表模型：176B 参数的 BLOOM、175B 参数的 OPT 以及 GLM-130B。