Hugging Face 用 10 亿句对训练句嵌入模型

Hugging Face 在社区周期间用 10 亿句对训练出 SOTA 句嵌入模型，硬件为 7 块 TPU v3-8。方法采用 Transformer 加池化，并以 in-batch negatives 对比学习目标训练，通过增大 batch、引入 hard negatives 和跨数据集组批提升质量。模型与数据集已在模型卡中公开。