Ulysses 序列并行：用百万 token 上下文训练大模型

Hugging Face 博客介绍 Ulysses 序列并行（来自 Snowflake AI Research 的 ALST 协议），通过按注意力头切分并配合 all-to-all 通信，把长序列注意力计算分散到多张 GPU，并已集成到 Accelerate、Transformers Trainer 和 TRL 的 SFTTrainer。