Mis on DeepInfer?
DeepInfer on DeepSeeki avatud lähtekoodiga inferentsiraamistik, mis on mõeldud DeepSeek-V4.1-Flash mudeli teenindamiseks suures mahus. See koondab varem eraldi olnud optimeeritud kernelid — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect ja kohandatud TileLang kernelid — ühte mootorisse, mis on avaldatud Apache-2.0 litsentsi all. See ei ole hostitud teenus, vaid tootmiskeskkonnast pärinev mootor, mis on üles ehitatud ekspertparalleelsuse, spekulatiivse dekodeerimise ja libiseva akna vahemälu taastamise ümber, pakkudes riistvarateid NVIDIA SM100 ja Huawei Ascend 950 jaoks.
Kellele see mõeldud on
- Taristuinseneridele, kes hindavad, kuidas tipptasemel avatud kaaludega mudelit tegelikult suures mahus teenindatakse.
- Kernelite ja sĂĽsteemide uurijatele, keda huvitab, kuidas FlashMLA, DeepGEMM ja DeepEP ĂĽhes virnas kokku sobivad.
- Meeskondadele, kes plaanivad oma teeninduskihti, kes vajavad mootorit ja on valmis ĂĽmbritseva teenuse ise ĂĽles ehitama.
Põhifunktsioonid
Ăśhtne kernelivirn
FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect ja kohandatud TileLang kernelid on ühendatud ühte mootorisse. Üksikud osad olid varem avaldatud; see väljalase ühendab need.
Ekspertparalleelsus
Tähelepanu (attention) töötab andmeparalleelsusega, samal ajal kui MoE osa kasutab ekspertparalleelsust. DeepSeeki tootmisdisainis jaotab dekodeerimine eksperdid 64–128 GPU vahel ja tasakaalustab kuumi eksperte üleliigsete koopiatega.
Spekulatiivne dekodeerimine
Mustandtokensid pakutakse ette ja usalduspead (confidence head) ennustab, milliseid tasub kontrollida. DeepSeek teatab +4–7% läbilaskevõimest oma tootmise tööpunktis.
Libiseva akna vahemälu taastamine
Selle asemel, et igas kihis kogu libiseva akna vahemälu uuesti üles ehitada, kordab mootor ainult viimast saba. Tulemus on ligikaudne, kuid ümberarvutuse kulu muutub piiratuks.
Mis silma paistab
Mootor, mitte teenus.
See eristus on kõige olulisem asi, mida DeepInferi puhul mõista. Täielik inferentsteenus vajab lisaks KV-vahemälu süsteemi, prefill/decode eraldamist ja koormuse tasakaalustamist andmeparalleelsete replikate vahel — ja ükski neist kolmest ei ole kaasas. See lünk on teadlik disainipiir, mitte tähelepanuta jätmine: DeepSeek jättis alles osad, mis on kõige tihedamalt seotud tema sisemise taristuga, mis muudab nii seda, kes saab koodi kasutada, kui ka seda, mida sellest oodata. Paketi-invariantne inferents ja deterministlik valimine on saadaval NVIDIA-l, muutes võrdlusalused ja agendikäivitused auditeeritavaks.
Tasub uurida, kui…
Soovid lähemalt näha, kuidas DeepSeek teenindab tipptasemel avatud kaaludega mudelit — lai ekspertparalleelsus dekodeerimisel, usaldusel põhinev spekulatsioonide ajastamine ja vahemälupoliitika, mis vahetab täpsuse piiratud ümberarvutuse vastu — ja oled valmis KV-vahemälu, eraldamise ja koormuse tasakaalustamise kihid ise pakkuma. Ideed on kasulikud ka siis, kui sa koodi kunagi ei käivita.
