DeepInfer 面向大规模推理
DeepInfer 是 DeepSeek 开源的推理框架，项目称其为 DeepSeek 大规模生产服务所使用的框架，并开放了用于离线推理的核心能力。当前列出的支持模型是 DeepSeek-V4.1-Flash。
框架包含优化内核，以及注意力和专家混合等并行机制；它还提供异步调度、草稿令牌辅助解码、确定性采样和受约束的结构化输出。硬件支持列为 NVIDIA SM100 GPU 与华为昇腾 950 NPU。上述功能和平台支持都有明确边界，不能据此推断其他模型或硬件也能直接运行。
DeepInfer 尚非完整在线服务
最重要的限制是，发布版本没有包含完整推理服务所需的全部组件：KV 缓存系统、预填充与解码的分离部署，以及跨数据并行副本的负载均衡仍需补齐。因此，团队评估时应区分框架已实现的推理功能与自行搭建服务所需的工程工作。
项目以 Apache 2.0 许可发布。实际部署还受环境要求约束，包括 Linux、GCC 13 或更高版本及 Python 3.12；NVIDIA 路径需要 CUDA 13，昇腾路径需要 CANN 9.2。现有材料没有提供足以概括的性能数字，性能判断应参考项目的可复现实测流程，并结合目标硬件与负载验证。