Mellum by JetBrains

Mis on Mellum?

Mellum on JetBrainsi poolt arendatud kiirete avatud lähtekoodiga keelemudelite perekond, mis on optimeeritud reaalsete arendustöövoogude jaoks, kus latentsus ja jõudlus on kõige olulisemad. Uusim põlvkond tutvustab ekspertide segu (MoE) arhitektuuri, mis tagab ülimadalat latentsust ja suurt läbilaskevõimet, olles sageli kaks korda kiirem kui sarnase suurusega mudelid. Mellum mõistab koodi, konteksti ja eesmärki, ulatudes puhtast koodi täiendamisest kaugemale, toetades nii loomulikku keelt kui ka programmeerimisülesandeid.

Kellele see on mõeldud

• AI/ML-inseneridele, kes vajavad kiiret ja kulutõhusat järelduste tegemist tootmistöökoormuste ja reaalaja rakenduste jaoks
• Arendajatele, kes ehitavad kodeerimisassistente või agendipõhiseid torustikke, mis nõuavad madala latentsusega vastuseid spetsialiseeritud alamülesannete jaoks
• Meeskondadele, kes liiguvad katsetamiselt tootmisse, soovides prognoositavaid kulusid, kohalikke juurutamisvõimalusi ning täielikku kontrolli jõudluse ja privaatsuse üle

Peamised omadused

Ekspertide segu arhitektuur

Mellum kasutab MoE-disaini, millel on vähem aktiivseid parameetreid päringu kohta, võimaldades tugevat koodi kvaliteeti, vähendades samal ajal järelduste tegemise kulusid poole võrra. See arhitektuur toob MoE võimalused palju väiksemasse mudeliklassi, muutes kõrge jõudlusega AI kättesaadavaks ilma suuremate mudelite ülekoormuseta.

Ülimadalat latentsusega järelduste tegemine

Mudel on loodud reaalajas töövoogude jaoks, pakkudes vastuseid millisekundite, mitte sekundite jooksul. See muudab selle ideaalseks nutika suunamise, eeltöötluse ja järeltöötluse ülesannete jaoks, kus kiirus on kriitiline.

Paindlikud juurutamisvõimalused

Mellumi saab peenhäälestada ja juurutada kohapeal või pilves, andes teile täieliku kontrolli jõudluse, privaatsuse ja infrastruktuuri üle. Olenemata sellest, kas vajate privaatset, kohalikku AI kasutamist või pilvepõhist skaleerimist, kohandub mudel teie keskkonnaga.

Läbipaistev treenimine ja joondamine

Treenitud läbipaistvatel andmetel ja joondatud järjepidevuse tagamiseks, tagab Mellum usaldusväärsed väljundid nii kodeerimis- kui ka loomuliku keele ülesannete puhul. Mudel on eeltreenitud nullist, kasutades nii loomuliku keele kui ka koodi andmete segu, keskendudes kodeerimise ja matemaatika valdkondadele.

Mis paistab silma

"Me ehitasime Mellumi, sest mitte iga ülesanne ei vaja kõige suuremaid või keerukamaid mudeleid."

See filosoofia juhib Mellumi disaini: selle asemel, et sundida iga kasutusjuhtu läbi massiivse ja kalli mudeli, pakub Mellum kiiret ja tõhusat alternatiivi suure mahuga, latentsustundlike ülesannete jaoks. See paistab silma alamagentide toiteallikana keerukates töövoogudes, võimaldades madala latentsusega RAG-torustikke ja haldades nutikat suunamist mudelite vahel. Keskendudes jõudlusele, latentsusele ja kuludele, täidab Mellum lõhe mänguasjamudelite ja kallite piirimudelite vahel, muutes tootmistasemel AI praktiliseks igas suuruses meeskondadele.

Tasub vaadata, kui…

Vajate kiiret avatud lähtekoodiga keelemudelit, mis tasakaalustab tugevaid kodeerimis- ja keelevõimeid erakordse tõhususega. Mellum on eriti väärtuslik, kui ehitate reaalajas AI-töövooge, tegelete suure päringumahuga või soovite hoida koodi ja andmeid täielikult oma kontrolli all kohaliku juurutamisega. See on ka tugev valik meeskondadele, kes soovivad vähendada järelduste tegemise kulusid ilma kvaliteeti ohverdamata, eriti selliste ülesannete puhul nagu koodi täiendamine, nutikas suunamine ja spetsialiseeritud alamagentide töötlemine.