Mis on CyberVerse?

CyberVerse on avatud lähtekoodiga digitaalse inimese agendi platvorm, mis võimaldab reaalajas heli/video suhtlust tehisintellektiga juhitud tegelastega. WebRTC tehnoloogial põhinev platvorm võimaldab kasutajatel luua ühest fotost elutruu tehisintellekti agendi ja suhelda näost näkku madala latentsusega otsevideo kõnede kaudu. Platvorm toetab reaalajas näo animatsiooni, loomulikku huulte sünkroniseerimist, pluginapõhiseid tehisintellekti komponente ning konfigureeritavaid taustasüsteeme LLM, TTS, ASR ja avatarisüsteemide jaoks.

Kellele see on mõeldud

• Arendajad ja nokitsejad, kes soovivad ehitada kohandatud hääl- või video tehisintellekti agente avatud lähtekoodi paindlikkusega
• Sisuloojad ja jutuvestjad, kes soovivad tuua väljamõeldud tegelased või ajaloolised isikud ellu interaktiivsete digitaalsete inimeste kaudu
• Teadlased ja tehisintellekti entusiastid, kes uurivad multimodaalset suhtlust, reaalajas avatare ja agendi arhitektuure

Peamised funktsioonid

Reaalajas videokõned digitaalsete inimestega

CyberVerse kasutab WebRTC-d madala latentsusega heli/video voogedastuseks, toetades otseseid P2P ühendusi või LiveKit SFU režiimi. Agent võib vastu võtta kasutaja kaamerakaadreid või ekraanijagamise sisendit, võimaldades näost näkku suhtlust, kus tehisintellekt näeb ja kuuleb sind samaaegselt.

Mitme agendi arhitektuur sujuvate vestluste jaoks

Platvorm eraldab esiplaani ja tausta töötlemise: PersonaAgent haldab reaalajas vestlust, katkestusi ja konteksti vahetusi, samas kui SubAgendid tegelevad asünkroonselt pikaajaliste ülesannetega nagu otsing, uurimine, kokkuvõtete tegemine ja aruannete genereerimine. See hoiab häälsuhtluse reageerivana isegi keerukate toimingute ajal.

Modulaarsed ja asendatavad komponendid

Iga agendi osa – aju, hääl, kuulmine, tööriistad, mälu ja nägu – on asendatav moodul. Saate kombineerida erinevaid omni-mudeleid, LLM-e, TTS-i, ASR-i, manustusi, RAG-i, tööriistade kutseid ja avatari taustasüsteeme ühe konfiguratsioonifaili kaudu, seejärel vahetada pakkujaid ja mudelikombinatsioone stsenaariumi põhiselt veebiliidese kaudu.

Püsiv mälu ja teadmiste integreerimine

Vestluse ajalugu salvestatakse kohalikule kettale ja laaditakse automaatselt seansi jätkamisel. Saate importida teadmusbaase, dokumente ja biograafilist materjali iga tegelase jaoks, mida süsteem indekseerib otsinguga täiustatud genereerimiseks, et hoida vastused kooskõlas tegelase iseloomuga.

Mis paistab silma

Ainult üks foto. CyberVerse teeb nad ellu. See tabab platvormi põhimaagiat: ühe referentspildi muutmine täielikult interaktiivseks digitaalseks inimeseks, millel on reaalajas näo animatsioon, huulte sünkroniseerimine ja vahemällu salvestatud jõudeoleku video taasesitus. Erinevalt paljudest tehisintellekti agentidest, mis jäävad ainult teksti- või helipõhiseks, pakub CyberVerse nähtavat, emotsionaalselt kaasahaaravat kohalolekut, mis võib sind näha, kuulda ja vastata loomulike väljendustega.

Tasub vaadata, kui…

Soovid ehitada kohandatud tehisintellekti agenti, mis läheb kaugemale tekstivestlusest – üks, mis suudab pidada reaalajas häälsuhtlust, näha su nägu ja kuvada elutruud digitaalset avatari. CyberVerse on eriti veenev, kui väärtustad avatud lähtekoodi paindlikkust, modulaarset arhitektuuri ja võimalust vahetada puhta hääle režiimi (GPU pole vajalik) ja täisvideo avatari režiimi vahel sõltuvalt oma riistvarast ja kasutusjuhist.