O que é o DeepInfer?
O DeepInfer é o framework de inferência open-source da DeepSeek para servir o modelo DeepSeek-V4.1-Flash em escala. Ele reúne kernels otimizados antes separados — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect e kernels TileLang personalizados — em um único engine, lançado sob a licença Apache-2.0. Mais do que um serviço hospedado, é um engine derivado de produção, construído em torno de paralelismo de especialistas, decodificação especulativa e recuperação de cache por janela deslizante, com caminhos de hardware para NVIDIA SM100 e Huawei Ascend 950.
Para quem é
- Engenheiros de infraestrutura que avaliam como um modelo open-weight de fronteira é de fato servido em escala.
- Pesquisadores de kernels e sistemas interessados em como FlashMLA, DeepGEMM e DeepEP se encaixam em uma única stack.
- Equipes que planejam sua própria camada de serving e precisam de um engine, já contando com construir o serviço ao redor por conta própria.
Principais recursos
Stack de kernels unificada
FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect e kernels TileLang personalizados são conectados em um único engine. As peças individuais já haviam sido lançadas antes; esta versão as combina.
Paralelismo de especialistas
A atenção roda com paralelismo de dados, enquanto a parte de MoE usa paralelismo de especialistas. No design de produção da DeepSeek, a decodificação distribui especialistas por 64–128 GPUs e reequilibra especialistas sobrecarregados com cópias redundantes.
Decodificação especulativa
Tokens de rascunho são propostos antecipadamente, e uma cabeça de confiança prevê quais deles vale a pena verificar. A DeepSeek relata +4–7% de throughput em seu ponto de operação de produção.
Recuperação de cache por janela deslizante
Em vez de reconstruir o cache de janela deslizante completo em cada camada, o engine reproduz apenas a cauda recente. O resultado é aproximado, mas o custo de recomputação passa a ser limitado.
O que se destaca
Um engine, não um serviço.
Essa distinção é o ponto mais importante para entender o DeepInfer. Um serviço de inferência completo também precisa de um sistema de cache KV, de desagregação de prefill/decode e de balanceamento de carga entre réplicas de paralelismo de dados — e nenhum dos três está incluído. A lacuna é uma fronteira de design deliberada, não um descuido: a DeepSeek manteve as partes mais fortemente acopladas à sua infraestrutura interna, o que muda tanto quem pode usar o código quanto o que se deve esperar dele. A inferência invariante a lote e a amostragem determinística estão disponíveis na NVIDIA, tornando benchmarks e execuções de agentes auditáveis.
Vale a pena conferir se…
Você quer um olhar de perto sobre como a DeepSeek serve um modelo open-weight de fronteira — paralelismo de especialistas amplo na decodificação, especulação agendada por confiança e uma política de cache que troca exatidão por recomputação limitada — e está disposto a fornecer você mesmo as camadas de cache KV, desagregação e balanceamento de carga. As ideias são úteis mesmo que você nunca execute o código.
