DeepInfer 是 DeepSeek 推出的开源推理框架，用于大规模部署 DeepSeek-V4.1-Flash 模型。它将 FlashMLA、DeepGEMM 和 DeepEP 等优化内核统一到一个引擎中，并支持专家并行、投机解码和滑动窗口缓存恢复。
它是一个引擎，而非一项服务。
该版本包含确定性模式和异步调度，但不包含 KV 缓存、预填充/解码分离以及负载均衡——这些交由用户自行处理。它支持 NVIDIA SM100 和华为昇腾 950 硬件路径。
| 功能 | 是否包含 |
|---|---|
| 优化内核 | 是 |
| 专家并行 | 是 |
| KV 缓存系统 | 否 |
产品关键词
加载评论中...
制作者
DeepInfer 是 DeepSeek 开源的推理框架，用于大规模服务 DeepSeek-V4.1-Flash 模型。它将此前各自独立的优化内核——FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 以及自定义 TileLang 内核——整合进单一引擎，以 Apache-2.0 协议发布。它并非托管服务，而是一个源自生产环境的引擎，围绕专家并行、投机解码和滑动窗口缓存恢复构建，并提供面向 NVIDIA SM100 和华为昇腾 950 的硬件路径。
FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 以及自定义 TileLang 内核被接入同一引擎。这些组件此前已分别发布；本次发布将它们整合在一起。
注意力部分以数据并行运行，而 MoE 部分采用专家并行。在 DeepSeek 的生产设计中，解码阶段将专家分散到 64–128 块 GPU 上，并通过冗余副本对热点专家进行再平衡。
提前提出草稿 token，并由置信度头预测哪些值得验证。DeepSeek 报告称，在其生产运行点上吞吐量提升 +4–7%。
引擎不再逐层重建完整的滑动窗口缓存，而是仅重放最近的尾部。结果是近似的，但重算成本变得有界。
是引擎，不是服务。
这一区别是理解 DeepInfer 最重要的一点。完整的推理服务还需要 KV 缓存系统、预填充/解码分离，以及跨数据并行副本的负载均衡——而这三者均未包含在内。这一缺口是有意的设计边界，而非疏漏：DeepSeek 保留了与其内部基础设施耦合最紧密的部分，这既影响了谁能使用这些代码，也影响了他们应对其抱有何种预期。批处理不变推理和确定性采样在 NVIDIA 上可用，使基准测试和智能体运行可审计。
你想深入了解 DeepSeek 如何服务一个前沿开放权重模型——解码阶段的宽专家并行、置信度调度的投机解码，以及以精确性换取有界重算的缓存策略——并且你准备自行提供 KV 缓存、分离和负载均衡层。即使你从不运行这些代码，其中的思路也很有价值。
其他您可能感兴趣的工具
认识一下 Mellum，一个快速语言模型家族，其中包括一款专为超低延迟和高性能推理而设计的下一代模型。
BeatAPI 是一个面向 AI 智能体和开发者所构建应用的统一 API 平台。它通过一个 API 密钥、一个能力目录和一个预付费美元余额，将 70 多个 AI 模型、1,000 多个社交数据 API 以及网络工具整合在一起，减少了管理多个服务商账户、集成和账单的需求。 模型、数据和工具一站式搞定 访问文本、图像和视频模型，同时获取来自 TikTok、Instagram、YouTube、X、Reddit 和 LinkedIn 等平台的公开社交数据。以结构化数据的形式检索帖子、个人资料、评论、搜索结果和趋势。网络工具支持搜索、页面阅读、站点地图和研究，而创意工作流则覆盖音乐视频和电商视频等使用场景。 为智能体和开发者而打造 BeatAPI 可与 Claude Code、Codex、Cursor、OpenCode、Muse 以及支持 MCP 或 HTTP 请求的自定义智能体或应用配合使用。其搜索、检查、运行的工作流帮助智能体发现某项能力，查看其输入模式、输出、定价和执行模式，然后通过支持的运行界面或其文档化的 API 端点来执行。开发者还可以通过 REST 和受支持的模型兼容 API 直接集成。 透明的定价和可追溯的执行 定价在调用前即可查看，模型费率与公开的服务商价格并列展示，部分模型最高可节省 78%。图像、视频和工作流任务会公开任务 ID、状态、用量、输出和失败详情。完成的媒体任务会返回托管文件 URL，让你无需构建单独的存储管道就能更轻松地交付结果。 从原型到产品 BeatAPI 专为独立开发者、初创公司、产品和工程团队、SaaS 平台以及自动化构建者而设计。用它为应用添加 AI 生成能力、研究公开社交内容、支持创作者发现、自动化网络研究，或让智能体访问模型和数据，而无需逐一对接每项服务。从一个密钥开始，探索目录，在演练场中测试模型，并随着产品成长复用同一套集成。
PgDog 是一个开源的 PostgreSQL 连接池、负载均衡器和分片代理。它兼容 PostgreSQL，快速、安全，并由数据库工程师社区公开构建。
MCP 应用就是新一代的网站：它们是真实、可交互的应用，能直接在 ChatGPT 和 Claude 等 AI 助手中运行。由于此前缺乏构建这类应用的工具，我们便自行开发了。欢迎使用 Skybridge，这款 React 框架负责处理基础设施和开发循环，让您能专注于功能开发：MCP 服务器、视图渲染、客户端兼容性、测试隧道等。一次编码，随处发布。目前已获得超过 50 万次下载，并有数十款应用上架各大商店！
加载评论中...
