¿Qué es DeepInfer?
DeepInfer es el framework de inferencia de código abierto de DeepSeek para servir el modelo DeepSeek-V4.1-Flash a escala. Reúne kernels optimizados que antes estaban separados —FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect y kernels personalizados de TileLang— en un único motor, publicado bajo Apache-2.0. Más que un servicio alojado, es un motor derivado de producción construido en torno al paralelismo de expertos, la decodificación especulativa y la recuperación de caché de ventana deslizante, con rutas de hardware para NVIDIA SM100 y Huawei Ascend 950.
Para quién es
- Ingenieros de infraestructura que evalúan cómo se sirve realmente a escala un modelo de pesos abiertos de frontera.
- Investigadores de kernels y sistemas interesados en cómo encajan FlashMLA, DeepGEMM y DeepEP en una sola pila.
- Equipos que planean su propia capa de servicio y necesitan un motor, con la expectativa de construir ellos mismos el servicio que lo rodea.
Características clave
Pila de kernels unificada
FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect y kernels personalizados de TileLang están conectados en un solo motor. Las piezas individuales ya se habían publicado antes; esta versión las combina.
Paralelismo de expertos
La atención se ejecuta con paralelismo de datos, mientras que la parte MoE usa paralelismo de expertos. En el diseño de producción de DeepSeek, la decodificación distribuye los expertos entre 64–128 GPUs y reequilibra los expertos con alta demanda mediante copias redundantes.
Decodificación especulativa
Se proponen tokens borrador por adelantado, y una cabeza de confianza predice cuáles vale la pena verificar. DeepSeek reporta +4–7% de rendimiento en su punto de operación de producción.
Recuperación de caché de ventana deslizante
En lugar de reconstruir la caché de ventana deslizante completa en cada capa, el motor reproduce solo la cola reciente. El resultado es aproximado, pero el costo de recómputo queda acotado.
Lo que destaca
Un motor, no un servicio.
Esa distinción es lo más importante que hay que entender sobre DeepInfer. Un servicio de inferencia completo también necesita un sistema de caché KV, desagregación de prefill/decode y balanceo de carga entre réplicas de paralelismo de datos, y ninguno de los tres está incluido. La brecha es un límite de diseño deliberado y no un descuido: DeepSeek conservó las partes más estrechamente acopladas a su infraestructura interna, lo que cambia tanto quién puede usar el código como qué debería esperar de él. La inferencia invariante por lotes y el muestreo determinista están disponibles en NVIDIA, lo que hace auditables los benchmarks y las ejecuciones de agentes.
Vale la pena revisarlo si…
Quieres ver de cerca cómo DeepSeek sirve un modelo de pesos abiertos de frontera —paralelismo de expertos amplio en decodificación, especulación programada por confianza y una política de caché que cambia exactitud por recómputo acotado— y estás dispuesto a aportar tú mismo las capas de caché KV, desagregación y balanceo de carga. Las ideas son útiles incluso si nunca ejecutas el código.
