Hugging Face 详解高效多模态数据管道：从朴素填充到背包算法

Hugging Face 以 nanoVLM 项目为例，分五个阶段构建高效多模态数据管道，解决 GPU 空转与填充浪费问题。朴素填充阶段约 60% 的 batch 被无用 padding token 占据，随后依次采用受限填充、背包算法打包，并推出支持贪心与 binpack 策略的 ConstantLengthDataset，按 token 与图像数量打包样本。