Hugging Face Infinity 在 Intel Ice Lake CPU 上的毫秒级延迟案例研究

Hugging Face 公布 Infinity 在第三代 Intel Xeon 可扩展处理器（Ice Lake）上的端到端推理基准：优化后的 DistilBERT 序列分类容器相比 Ice Lake 上原生 Transformers 延迟与吞吐最高提升 800%，相比 Cascade Lake 实例提升最高 34%。