登录
2026年10月20日，DeepSeek宣布将内部生产级推理框架DeepInfer全面开源，并同步放出生产级Token编解码组件deepseek-recipe。放出来的不是模型权重，也不是又一个算子库，而是跑在DeepSeek线上服务上的那台推理引擎——支撑着DeepSeek-V4.1-Flash的线上服务，单一集群日吞吐量已达155万亿Token，按谷电价计算每卡每小时收入38美元。该框架以Apache-2.0许可证发布，连“怎么把大模型跑便宜”这本账，也一并摊开了。界面新闻36氪知乎
开源的是完整引擎，不再是一堆零件
DeepInfer集成了高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay及结构化输出，英伟达SM100 GPU和华为昇腾950 NPU都在支持名单上。这与FlashMLA、DeepGEMM、DeepEP、TileLang等此前陆续开放、需要自行拼装的独立组件不同，这次是把整套生产引擎直接放进了开源仓库。新智元知乎
立场的变化更值得注意。2025年4月，DeepSeek曾在GitHub公布自研推理引擎的开源计划，称不会直接开源内部完整、高度优化的代码库，会把核心优化成果贡献给现有开源项目，尤其是vLLM。一年多以后这个决定被推翻，README的致谢也坦率承认：DeepInfer was originally built primarily on vLLM, with additional inspiration from SGLang and TensorRT-LLM。微博知乎
省钱的三招，各砍掉一层算力
第一招是把请求拆给两类机器。Prefill负责读完输入，Decode负责逐Token生成，两段负载完全不同：DeepSeek用常见的8卡机器承担Prefill任务，用64至128卡超节点承担Decode任务。官方给出的效率底线是一个最小部署单元：64卡Prefill加64卡Decode。36氪新智元
第二招是别把算过的再算一遍。命中前缀的KV缓存存放在自建的全固态3FS存储集群里，Agent流量的缓存保留3天，聊天流量保留7天。官方线上统计里，平均96%的输入直接命中缓存、无需重算，这让单卡Prefill吞吐量从每秒6万Token跳到150万Token。36氪新智元
第三招是没命中、没算完的部分只补一小口。缓存未命中时采用SWA Bounded Replay机制，仅重算最近128个Token，并把注意力窗口限制在重算区间内。生成环节则用DSpark投机解码，按候选Token的预期接受概率动态决定验证范围，相比固定验证5个Token，线上吞吐提升6%；MoE模型的384个路由专家摊在64张卡上，负载均衡后最忙的卡只比平均高9%。36氪新智元
护城河没动：与内部设施耦合最深的三样
把“推理引擎”变成“DeepSeek线上服务”的能力，README自己列了“完整推理服务需要、但本次未包含”的清单：KV cache系统、Prefill/Decode分离、数据并行负载均衡，三样一件没出门。36氪转述的官方口径与之一致：由于KVCache管理和负载均衡部分与内部基础设施耦合较深，相关代码目前尚未完整开源。知乎36氪
热度不小但预期要摆正：发布后仓库一天涨到约1.25万stars，并登上Hacker News首页热帖。需要留意的是，上文所有吞吐与成本数字目前均为DeepSeek自报口径，尚无公开的第三方复现，实际能省多少，还要等各家的实测数据说话。知乎
对开发者意味着什么
对想私有化部署V4.1-Flash的团队，deepseek-recipe补上了最容易踩坑的一环：它支持Chat Completions、Responses、Messages等主流接口格式，让第三方部署的API处理逻辑与官方服务保持一致。硬件一侧，昇腾950是这次的原生支持对象之一，此前DeepSeek已于9月30日开源了面向昇腾平台的TileLang编译工具、计算库和分布式通信库，双方还共同推进了基于昇腾950的128卡超节点方案。不过昇腾版的实测性能尚未公布，芯片本身买不买得到仍是现实约束。36氪界面新闻
行业层面的信号已经写明：DeepSeek表示未来新模型的推理代码及后续性能优化都将在该框架中持续开源。当引擎本身进入公共货架，厂商之间在“怎么跑”这一层的差距会越压越薄，缓存系统和运营手艺成了没开源的那道门槛——接下来值得盯的，是第三方复现数据、fork社区的动作，以及昇腾平台上第一次像样的公开成绩单。36氪
