从第一性原理理解 continuous batching

Hugging Face 发布博客，从 attention 机制与 KV caching 出发，通过优化吞吐量推导出 continuous batching。该技术通过并行处理多个对话、完成即换出，最大化高负载场景下的推理性能。文中指出 attention 是 token 间唯一交互之处，其计算量随序列长度呈平方增长。