Llama 2 在 Amazon SageMaker 上的部署基准测试

Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试，覆盖 7B、13B、70B 三种规模，在 g5.2xlarge、g5.12xlarge、g5.48xlarge 和 p4d.24xlarge 实例上测试了 1、5、10、20 并发请求，并对比了 GPTQ 4-bit 量化与未量化性能。