deepseek-ai/DeepInfer

DeepInfer 是 DeepSeek 官方开源的高性能推理框架，也就是支撑 DeepSeek 线上大规模生产服务的那套推理引擎，目前支持 DeepSeek-V4.1-Flash 模型的离线推理。它把 FlashMLA、DeepGEMM、DeepEP 等自研算子和 MoE 专家并行、EPLB 负载均衡、投机采样、异步调度等生产级优化打包在一起，还提供确定性采样和结构化输出（按 JSON schema 或正则约束生成），保证不同 batch 组成下结果一致。适合需要在自有集群上高吞吐部署 DeepSeek 模型的团队，比如做推理服务的算法工程师、负责 GPU 集群利用率的 infra 工程师，以及需要复现 DeepSeek 官方性能基线做选型对比的人。注意它只开源了推理核心，KV cache 系统、Prefill/Decode 分离和负载均衡等完整服务组件并未包含，纯做应用层开发或轻量调用 API 的读者关系不大。

Star 趋势

仓库信息