Mellum by JetBrains

Mis on Mellum?

Mellum on JetBrainsi poolt arendatud kiirete avatud lähtekoodiga keelemudelite perekond, mis on optimeeritud reaalsete arendustöövoogude jaoks, kus latentsus ja jõudlus on kõige olulisemad. Uusim põlvkond tutvustab ekspertide segu (MoE) arhitektuuri, mis tagab ülimadalat latentsust ja suurt läbilaskevõimet, olles sageli kaks korda kiirem kui sarnase suurusega mudelid. Mellum mõistab koodi, konteksti ja eesmärki, ulatudes puhtast koodi täiendamisest kaugemale, toetades nii loomulikku keelt kui ka programmeerimisülesandeid.

Kellele see on mõeldud

• AI/ML-inseneridele, kes vajavad kiiret ja kulutõhusat järelduste tegemist tootmistöökoormuste ja reaalaja rakenduste jaoks
• Arendajatele, kes ehitavad kodeerimisassistente või agendipõhiseid torustikke, mis nõuavad madala latentsusega vastuseid spetsialiseeritud alamülesannete jaoks
• Meeskondadele, kes liiguvad katsetamiselt tootmisse, soovides prognoositavaid kulusid, kohalikke juurutamisvõimalusi ning täielikku kontrolli jõudluse ja privaatsuse üle

Peamised omadused

Ekspertide segu arhitektuur

Mellum kasutab MoE-disaini, millel on vähem aktiivseid parameetreid päringu kohta, võimaldades tugevat koodi kvaliteeti, vähendades samal ajal järelduste tegemise kulusid poole võrra. See arhitektuur toob MoE võimalused palju väiksemasse mudeliklassi, muutes kõrge jõudlusega AI kättesaadavaks ilma suuremate mudelite ülekoormuseta.

Ülimadalat latentsusega järelduste tegemine

Mudel on loodud reaalajas töövoogude jaoks, pakkudes vastuseid millisekundite, mitte sekundite jooksul. See muudab selle ideaalseks nutika suunamise, eeltöötluse ja järeltöötluse ülesannete jaoks, kus kiirus on kriitiline.

Paindlikud juurutamisvõimalused

Mellumi saab peenhäälestada ja juurutada kohapeal või pilves, andes teile täieliku kontrolli jõudluse, privaatsuse ja infrastruktuuri üle. Olenemata sellest, kas vajate privaatset, kohalikku AI kasutamist või pilvepõhist skaleerimist, kohandub mudel teie keskkonnaga.

Läbipaistev treenimine ja joondamine

Treenitud läbipaistvatel andmetel ja joondatud järjepidevuse tagamiseks, tagab Mellum usaldusväärsed väljundid nii kodeerimis- kui ka loomuliku keele ülesannete puhul. Mudel on eeltreenitud nullist, kasutades nii loomuliku keele kui ka koodi andmete segu, keskendudes kodeerimise ja matemaatika valdkondadele.

Mis paistab silma