Hugging Face 与 AMD 为 MI300X 打造自定义 kernel，优化 Llama 3.1 405B FP8 推理

Hugging Face 与 AMD 合作，为 MI300X GPU 编写了三个开源自定义 kernel——融合残差连接/RMS norm/FP8 转换、融合 SwiGLU 激活/FP8 转换以及 Skinny GEMM，用于在 8 卡 MI300X 节点上通过 VLLM 加速 Llama 3.1 405B 的 FP8 推理。