Mis on Brain2Qwerty v2?

Brain2Qwerty v2 on Meta loodud mitteinvasiivne aju-arvuti liides, mis dekodeerib töötlemata MEG-ajusignaalidest teksti. Kasutades otsast lõpuni süvaõpet ja suuri keelemudeleid, saavutab see kuni 78% sõnatäpsuse ilma kirurgilise implantaadita. Süsteem töötleb magnetoentsefalograafia (MEG) salvestusi osalejatelt, kes loomulikult trükivad, tõlkides närviaktiivsuse otse sidusateks lauseteks reaalajas.

Kellele see on mõeldud

• Neuroteaduse teadlastele — neile, kes uurivad aju dekodeerimist, keeletöötlust või mitteinvasiivseid närvi-liideseid ning vajavad avatud lähtekoodiga koodi ja andmekogumeid oma töö edendamiseks.
• Suhtlushäireid ravivatele kliinikutele — spetsialistidele, kes töötavad patsientidega, kellel on ajukahjustused, mis takistavad kõnet, ning otsivad skaleeritavaid alternatiive invasiivsetele neuroproteesidele.
• AI ja masinõppe inseneridele — arendajatele, kes on huvitatud otsast lõpuni süvaõppe ja LLM-i peenhäälestuse rakendamisest mürarikastele bioloogilistele signaalidele reaalajas keele genereerimiseks.

Peamised omadused

Otsast lõpuni süvaõpe töötlemata signaalidest

Brain2Qwerty v2 möödub traditsioonilistest käsitsi loodud torustikest, dekodeerides otse töötlemata MEG-ajusalvestustest. See lähenemine välistab vajaduse käsitsi tunnuste kujundamise järele ja tabab närvi mustreid, mida tavapärased meetodid kahe silma vahele jätavad.

LLM-i peenhäälestus närviandmetel

Suuri keelemudeleid peenhäälestatakse närvi salvestustel, et kasutada semantilist konteksti, ületades lõhe mürarikaste ajusignaalide ja sidusa keele väljundi vahel. See võimaldab süsteemil taastada täislauseid isegi ebatäiuslikest sisenditest.

Reaalajas lausete dekodeerimine

Torustik töötab reaalajas, dekodeerides ajutegevuse tekstiks, kui osalejad trükivad. Keskmise sõnatäpsusega 61% ja parima osaleja puhul kuni 78% läheneb see jõudlustasemetele, mis olid varem ainuõiguslikud kirurgilistele implantaatidele.

Avatud lähtekoodiga kood ja andmekogumi avaldamine

Meta avaldab täieliku treeningkoodi nii Brain2Qwerty v1 kui ka v2 jaoks, samas kui Baski Kognitsiooni, Aju ja Keele Keskus (BCBL) avaldab v1 andmekogumi. See avatud lähenemine eesmärgiga kiirendada neuroteaduse läbimurdeid kogu valdkonnas.

Mis paistab silma

"Brain2Qwerty v2 taastab laused sidusalt mürarikastest närvi sisenditest, saavutades sõnatäpsuse määra 61%, parandades oluliselt 8% sõnatäpsust teistest mitteinvasiivsetest meetoditest."

See hüpe 8%-lt 61% keskmisele täpsusele tähistab põhimõttelist muutust selles, mida mitteinvasiivsed aju-arvuti liidesed suudavad saavutada. Süsteemi võime skaleerida jõudlust log-lineaarselt andmemahuga viitab sellele, et edasised kasud on saavutatavad ainult andmete kogumise kaudu, võimalikult sulgedes lõhe kirurgiliste lähenemistega täielikult.

Tasub vaadata, kui…

Töötate närvi dekodeerimise, suhtluse taastamisega ajukahjustustega patsientidele või avatud neuroteaduse uurimisega. Brain2Qwerty v2 on eriti asjakohane, kui vajate mitteinvasiivset, skaleeritavat alternatiivi kirurgilistele neuroproteesidele ja soovite juurdepääsu reprodutseeritavale treeningkoodile ja andmekogumitele.