Mis on Inkling?

Inkling on Thinking Machinesi esimene avatud kaaludega mudel, mis on avaldatud Apache 2.0 litsentsi all. Tegemist on ekspertide seguga (MoE) trafoarhitektuuriga mudeliga, millel on kokku 975 miljardit parameetrit ja 41 miljardit aktiivset parameetrit edasisuunamise kohta. Inkling toetab kuni 1 miljoni märgi pikkust kontekstiakent ja on eeltreenitud 45 triljonil märgil, mis hõlmavad teksti, pilte, heli ja videot. See arutleb nende meediumite vahel loomupäraselt ja pakub juhitavat mõtlemisvaeva, võimaldades kasutajatel tasakaalustada kulusid ja jõudlust. Mudel on saadaval peenhäälestamiseks Tinkeris ja selle täielikke kaalusid saab otse alla laadida.

Kellele see on mõeldud

• Arendajad ja AI-insenerid, kes soovivad tugevat, kohandatavat avatud kaaludega baasmudelit, mida nad saavad konkreetsete kasutusjuhtude jaoks peenhäälestada ilma müüjast sõltumata.
• Teadlased ja avatud lähtekoodiga kaastöötajad, kes vajavad juurdepääsu mudeli kaaludele lubava litsentsi (Apache 2.0) all katsetamiseks, kohandamiseks või edasiseks treenimiseks.
• Meeskonnad, kes ehitavad multimodaalseid rakendusi, mis nõuavad loomupärast arutlemist teksti, piltide ja heli üle, tõhusate ja juhitavate järeldamiskuludega.

Peamised omadused

975B MoE 41B aktiivse parameetriga

Inkling kasutab ekspertide segu arhitektuuri, mis aktiveerib märgi kohta ainult murdosa selle kogu parameetritest. See disain annab suure mudeli võimekuse, hoides samal ajal järeldamise arvutuse tõhusana ja latentsuse juhitavana.

1M märgi kontekstiaken

Mudel toetab kuni 1 miljonit märki konteksti, muutes selle sobivaks pikkade dokumentide analüüsiks, pikendatud vestlusteks ja ülesanneteks, mis nõuavad arutlemist suure hulga teabe üle ühe läbimisega.

Loomupärane multimodaalne arutlemine

Inkling on eeltreenitud tekstil, piltidel, helil ja videol ning arutleb nende meediumite vahel loomupäraselt. See ei tugine eraldi kodeerijatele või torustikele erinevate sisenditüüpide jaoks.

Juhitav mõtlemisvaev

Kasutajad saavad reguleerida, kui palju arvutust mudel enne vastuse genereerimist arutlemisele kulutab. See võimaldab peent kontrolli vastuse kvaliteedi ja kulude või latentsuse vahelise kompromissi üle.

Mis paistab silma

Inkling ei ole tugevaim üldine mudel, mis täna saadaval on – selle asemel muudab omaduste kombinatsioon selle heaks avatud kaaludega baasiks kohandamiseks.

See aus positsioneerimine eristab Inklingut. Selle asemel, et püüelda parimate võrdlusnäitajate poole, keskendus Thinking Machines tasakaalustatud, paindliku alusmudeli ehitamisele, mis paistab silma peenhäälestamise lähtepunktina. Mudel on Tinkeris koheseks kohandamiseks saadaval ja meeskond demonstreeris seda, lastes Inklingul end peenhäälestada – kirjutades oma treeningtöö, käivitades selle ja hinnates tulemust – kõik Tinkeri platvormi sees.

Tasub vaadata, kui…

Otsite lubava litsentsiga, avatud kaaludega mudelit, mis tasakaalustab multimodaalset võimekust tõhusa järeldamisega ja hindate võimalust mudelit oma kasutusjuhtude jaoks peenhäälestada ja kohandada. Inklingut tasub eriti uurida, kui soovite katsetada juhitava arutlemisvaevaga või vajate mudelit, mis suudab käsitleda pikki kontekste teksti, piltide ja heli lõikes.