Qu'est-ce que DeepInfer ?
DeepInfer est le framework d'inférence open source de DeepSeek pour servir le modèle DeepSeek-V4.1-Flash à grande échelle. Il assemble des kernels optimisés jusqu'ici séparés — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect et des kernels TileLang personnalisés — au sein d'un moteur unique, publié sous licence Apache-2.0. Plutôt qu'un service hébergé, c'est un moteur issu de la production, construit autour du parallélisme d'experts, du décodage spéculatif et de la récupération de cache à fenêtre glissante, avec des chemins matériels pour NVIDIA SM100 et Huawei Ascend 950.
À qui s'adresse-t-il
- Aux ingénieurs infrastructure qui évaluent comment un modèle open-weight de pointe est réellement servi à grande échelle.
- Aux chercheurs en kernels et en systèmes intéressés par la façon dont FlashMLA, DeepGEMM et DeepEP s'articulent au sein d'une même pile.
- Aux équipes qui planifient leur propre couche de serving et qui ont besoin d'un moteur en s'attendant à construire elles-mêmes le service environnant.
Fonctionnalités clés
Pile de kernels unifiée
FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect et des kernels TileLang personnalisés sont intégrés dans un seul moteur. Les différents éléments avaient déjà été publiés séparément ; cette version les réunit.
Parallélisme d'experts
L'attention fonctionne en parallélisme de données tandis que la partie MoE utilise le parallélisme d'experts. Dans la conception de production de DeepSeek, le décodage répartit les experts sur 64 à 128 GPU et rééquilibre les experts sollicités à l'aide de copies redondantes.
Décodage spéculatif
Des tokens candidats sont proposés en amont, et une tête de confiance prédit lesquels valent la peine d'être vérifiés. DeepSeek annonce +4 à 7 % de débit à son point de fonctionnement en production.
Récupération de cache à fenêtre glissante
Au lieu de reconstruire l'intégralité du cache à fenêtre glissante à chaque couche, le moteur ne rejoue que la fin récente. Le résultat est approximatif, mais le coût de recalcul devient borné.
Ce qui ressort
Un moteur, pas un service.
Cette distinction est la chose la plus importante à comprendre à propos de DeepInfer. Un service d'inférence complet nécessite aussi un système de cache KV, une désagrégation prefill/decode et un équilibrage de charge entre les réplicas en parallélisme de données — et aucun des trois n'est inclus. Cet écart est une frontière de conception délibérée plutôt qu'un oubli : DeepSeek a conservé les parties les plus étroitement couplées à son infrastructure interne, ce qui change à la fois qui peut utiliser le code et ce qu'il faut en attendre. L'inférence invariante par lot et l'échantillonnage déterministe sont disponibles sur NVIDIA, ce qui rend les benchmarks et les exécutions d'agents auditables.
À examiner si…
Vous voulez observer de près comment DeepSeek sert un modèle open-weight de pointe — un large parallélisme d'experts au décodage, une spéculation planifiée par confiance et une politique de cache qui échange l'exactitude contre un recalcul borné — et vous êtes prêt à fournir vous-même les couches de cache KV, de désagrégation et d'équilibrage de charge. Les idées restent utiles même si vous n'exécutez jamais le code.
