NVIDIA NIM 在 Hugging Face 上支持超 10 万个 LLM 部署

NVIDIA 宣布通过 NIM 推理微服务在 Hugging Face 上解锁超过 10 万个 LLM 的快速部署。NIM 现在提供单个 Docker 容器，可部署 TensorRT-LLM、vLLM 和 SGLang 支持的多种 LLM，自动识别模型格式、架构与量化方式并选择推理后端，无需手动配置。