Mis on GLM-4.6V?

GLM-4.6V on GLM-i uusim avatud lähtekoodiga multimodaalne mudelite seeria, mis on loodud ühendama visuaalset taju teostatavate toimingutega. See on saadaval kahes versioonis: GLM-4.6V (106B parameetrit) pilve- ja suure jõudlusega klastrite jaoks ning GLM-4.6V-Flash (9B parameetrit) kohalikuks paigutuseks ja väikese latentsusajaga rakendusteks. 128k märgi kontekstiaknaga töötleb mudel ühe korraga kuni ~150 lehekülge dokumente, 200 slaidi või ühe tunni pikkust videot. Selle silmapaistev uuendus on loomulik funktsioonikutse, mis võimaldab visuaalsetest sisenditest otse tööriistu kasutada ilma vahepealsete tekstiteisendusteta.

Kellele see on mõeldud

• Multimodaalseid agente arendavad arendajad – Need, kes loovad töövooge, mis nõuavad mudelilt piltide tajumist, veebiandmete hankimist ja toimingute (nt veebiotsingud või koodi genereerimine) teostamist.
• Visuaalse mõistmise teadlased – Meeskonnad, kes töötavad selliste võrdlusuuringutega nagu MMBench, MathVista või OCRBench ja vajavad tipptasemel avatud lähtekoodiga mudelit multimodaalseks arutlemiseks ja pika kontekstiga ülesanneteks.
• Esiosa- ja kasutajaliidese insenerid – Spetsialistid, kes soovivad lühendada "disainist koodini" tsüklit, kasutades GLM-4.6V-d visuaalsete makettide otseseks teisendamiseks struktureeritud koodiks.

Peamised omadused

Multimodaalsete sisendite loomulik funktsioonikutse

GLM-4.6V integreerib tööriistade kutsumise otse oma visuaalsesse torustikku, välistades vajaduse eraldi tekstipõhiste teisenduste järele. See võimaldab mudelil tajuda pilti, kutsuda otsingu API-d ja tagastada põhjendatud vastuse – kõik ühes otsast lõpuni voos. Võimekus on treenitud suuremahuliste sünteetiliste agendiandmete abil ja seda laiendatakse mudeli konteksti protokolli (MCP) kaudu.

128K kontekstiaken pika kontekstiga treenimiseks

Mudel laiendab oma treeningkonteksti 128k märgini, võimaldades tõhusat ristmodaalset sõltuvuste modelleerimist suure teabesisaldusega sisendite puhul. Süstemaatiline pidev eeltreening tohutute pika kontekstiga pilt-tekst andmekogumitega tagab, et mudel säilitab sidususe sadade lehekülgede või pikkade videote lõikes.

Miljardite mõõtmetega maailmateadmiste andmekogum

Eeltreeningu ajal kasutab GLM-4.6V miljardite mõõtmetega multimodaalset andmekogumit, mis hõlmab entsüklopeedilisi teadmisi. See mitmekihiline kontseptuaalne süsteem parandab põhilist visuaalset taju ja suurendab täpsust ristmodaalsetes küsimustele vastamise ülesannetes, eriti keerukate või niššiteemade puhul.

Visuaalne tagasiside ahel eneseparanduseks

UI2Code^N lähenemisest inspireerituna saab mudel kasutada visuaalse renderdamise tulemusi oma koodi või toimingute eneseparanduseks. See "visuaalne tagasiside ahel" võimaldab GLM-4.6V-l oma väljundeid iteratiivselt täiustada, näidates potentsiaali isetäiustuvate multimodaalsete agentide jaoks reaalsetes äristsenaariumides.

Mis paistab silma

"GLM-4.6V sulgeb tsükli tajumisest mõistmiseni ja teostamiseni, võimaldades keerukaid ülesandeid, nagu rikkaliku sisuga teksti loomine ja visuaalne veebiotsing, ühes otsast lõpuni läbimises."

See funktsioonikutse loomulik integreerimine visuaalsete sisenditega on esimene avatud lähtekoodiga multimodaalsete mudelite seas. Traditsiooniline tööriistade kasutamine nõuab piltide või videote töötlemisel mitmeid tekstipõhiseid teisendusi, mis võib põhjustada teabe kadu. GLM-4.6V väldib seda täielikult, võimaldades mudelil tajuda slaidi, hankida asjakohaseid andmeid veebist ja koostada struktureeritud aruande – ilma vahepealsete sammudeta. Tulemuseks on ühtne tehniline alus multimodaalsetele agentidele, mis suudavad keerukates tööriistaahelates planeerida, teostada ja end parandada.

Tasub proovida, kui…

Vajate avatud lähtekoodiga multimodaalset mudelit, mis suudab tajuda, arutleda ja tegutseda ühes töövoos – olgu selleks visuaalne otsing, dokumendianalüüs või esiosa koodi genereerimine. 128k kontekstiaken ja loomulik tööriistakutse muudavad selle eriti väärtuslikuks suure teabesisaldusega ülesannete jaoks, nagu pikkade videote või keerukate aruannete töötlemine. Arendajad, kes uurivad MCP integreerimisega agendisüsteeme, leiavad sisseehitatud funktsioonikutse ja visuaalse tagasiside ahela praktilise aluse isetäiustuvate agentide ehitamiseks.