Latent Space·· 5 小时前精选AI 评分85
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155T tokens
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源生产推理框架 DeepInfer，支持分布式推理、投机解码与结构化输出，覆盖 NVIDIA 和华为昇腾平台。官方披露单集群日处理 155T tokens、96% 输入缓存命中、首 token 延迟 400ms，但 KV 缓存管理与负载均衡组件尚未完全开源。vLLM 团队称在 GB200 匹配配置下解码吞吐与 DeepInfer 公布结果相差 6% 以内。
推荐理由
材料把 DeepInfer 的架构细节、缓存分层与 vLLM 复现结果放在一起，便于判断开源推理栈的真实边界。
来源：Latent Space · latent.space