PRX Part 4：我们的数据策略

Hugging Face 发布 PRX 系列第四篇，详解其数据策略：预训练数据由公开与内部数据集混合组成，用 VLM 重新生成图像描述，并转为可流式训练的语料。团队用 Lance 做数据构建与筛选、MDS 做流式训练，改用 Qwen3-VL 后在训练中实时计算文本 latent，7B 规模下吞吐仅损失约 3–4%（30 天训练多约 1 天）。图像统一编码为 quality 92 的 JPEG。