BaseRT

Mis on BaseRT?

BaseRT on suure jõudlusega LLM-i käituskeskkond, mis on loodud spetsiaalselt Apple Siliconi jaoks. See paigaldatakse ühe terminalikäsuga ja võimaldab käitada suuri keelemudeleid täielikult enda seadmes – ilma pilvesõltuvuse, API-võtmete või andmete seadmest lahkumiseta. Loodud kiiruse ja kohaliku privaatsuse jaoks, on BaseRT positsioneeritud kiireima käituskeskkonnana Apple'i M-seeria kiipidele.

Kellele see on mõeldud

• Arendajad, kes soovivad käitada kohalikke kodeerimisagente, ilma et koodi või konteksti välistele serveritele saadetaks
• Privaatsusteadlikud insenerid, kes vajavad tundlike töökoormuste jaoks seadmesisest järeldamist ega saa tugineda pilve API-dele
• AI-teadlased ja katsetajad, kes võrdlevad avatud lähtekoodiga mudeleid ja vajavad maksimaalset märkide läbilaskevõimet Apple'i riistvaral

Peamised omadused

Ühe käsuga paigaldus

BaseRT paigaldatakse ühe curl-käsuga: curl -LsSf https://basecompute.co/install.sh | sh. Pole vaja käsitsi kompileerida ega sõltuvustega tegeleda – lihtsalt kestakanal ja olete valmis mudeleid teenindama.

Juhtiv jõudlus võrdlustestides

Dekodeerimisülesannetes edestab BaseRT MLX-i kuni 33% ja llama.cpp-d sarnase marginaaliga. Täitmiseelseid ülesandeid lahendab see aga märkimisväärselt kiiremini: kuni 6,4 korda kiiremini kui llama.cpp ja 3,9 korda kiiremini kui MLX, mõõdetuna Apple M5 Pro-l mudelitega nagu Qwen3 30B-A3B ja Gemma 4 E2B.

Kohaliku kodeerimisagendi integreerimine

BaseRT sisaldab pistikprogrammi, mis muudab teie kohaliku mudeli kodeerimisagendiks. Teenindage mudelit käsuga basert serve basecompute/gemma-4-E4B-it, paigaldage pistikprogramm ja käivitage pi – kõik jääb teie masinasse. Pole API-võtmeid ega andmete seadmest lahkumist.

Lai mudelitugi

BaseRT toetab laia valikut avatud lähtekoodiga mudeleid, sealhulgas Qwen3, Qwen3.5, Qwen3.6, Llama 3.1, Llama 3.2, Gemma 3, Gemma 4, Mistral, Phi-3 ja Nomic BERT. Uusi mudeleid lisatakse kogukonna ja ametlike väljalasete kaudu.

Mis paistab silma

BaseRT on kiireim LLM-i käituskeskkond Apple Siliconil – täitmiseelsetes ülesannetes kuni 6,4 korda kiirem kui llama.cpp.

See jõudluse eelis pole pelgalt pealkirjanumber. Arendajatele, kes käitavad kodeerimisagente või interaktiivseid rakendusi, tähendab kiirem täitmiseelne töötlus väiksemat viivitust päringu töötlemisel, mis omakorda tagab sujuvama kasutuskogemuse. Dekodeerimiskiiruse paranemine tähendab ka suuremat läbilaskevõimet voogedastusvastuste puhul. Koos ühe käsuga paigalduse ja kohaliku tööga pakub BaseRT haruldast kiiruse ja lihtsuse kombinatsiooni, mida teistest käituskeskkondadest on raske leida.