
Avatud lähtekoodiga reaalajas digitaalse inimese agendi plat

Avatud lähtekoodiga reaalajas digitaalse inimese agendi plat

CyberVerse on avatud lähtekoodiga digitaalse inimese agendi platvorm, mis võimaldab reaalajas videokõnesid. See lubab kasutajatel luua AI-agendi ühest fotost ja suhelda näost näkku madala latentsusega otsevideoga. Platvorm toetab reaalajas näoanimatsiooni, loomulikku huulte sünkroniseerimist, pluginapõhiseid AI-komponente ning konfigureeritavaid LLM-, TTS-, ASR- ja avatari taustasüsteeme.
CyberVerse on avatud lähtekoodiga digitaalse inimese agendi platvorm, mis võimaldab reaalajas heli/video suhtlust tehisintellektiga juhitud tegelastega. WebRTC tehnoloogial põhinev platvorm võimaldab kasutajatel luua ühest fotost elutruu tehisintellekti agendi ja suhelda näost näkku madala latentsusega otsevideo kõnede kaudu. Platvorm toetab reaalajas näo animatsiooni, loomulikku huulte sünkroniseerimist, pluginapõhiseid tehisintellekti komponente ning konfigureeritavaid taustasüsteeme LLM, TTS, ASR ja avatarisüsteemide jaoks.
CyberVerse kasutab WebRTC-d madala latentsusega heli/video voogedastuseks, toetades otseseid P2P ühendusi või LiveKit SFU režiimi. Agent võib vastu võtta kasutaja kaamerakaadreid või ekraanijagamise sisendit, võimaldades näost näkku suhtlust, kus tehisintellekt näeb ja kuuleb sind samaaegselt.
Platvorm eraldab esiplaani ja tausta töötlemise: PersonaAgent haldab reaalajas vestlust, katkestusi ja konteksti vahetusi, samas kui SubAgendid tegelevad asünkroonselt pikaajaliste ülesannetega nagu otsing, uurimine, kokkuvõtete tegemine ja aruannete genereerimine. See hoiab häälsuhtluse reageerivana isegi keerukate toimingute ajal.
Iga agendi osa – aju, hääl, kuulmine, tööriistad, mälu ja nägu – on asendatav moodul. Saate kombineerida erinevaid omni-mudeleid, LLM-e, TTS-i, ASR-i, manustusi, RAG-i, tööriistade kutseid ja avatari taustasüsteeme ühe konfiguratsioonifaili kaudu, seejärel vahetada pakkujaid ja mudelikombinatsioone stsenaariumi põhiselt veebiliidese kaudu.
Vestluse ajalugu salvestatakse kohalikule kettale ja laaditakse automaatselt seansi jätkamisel. Saate importida teadmusbaase, dokumente ja biograafilist materjali iga tegelase jaoks, mida süsteem indekseerib otsinguga täiustatud genereerimiseks, et hoida vastused kooskõlas tegelase iseloomuga.
Ainult üks foto. CyberVerse teeb nad ellu. See tabab platvormi põhimaagiat: ühe referentspildi muutmine täielikult interaktiivseks digitaalseks inimeseks, millel on reaalajas näo animatsioon, huulte sünkroniseerimine ja vahemällu salvestatud jõudeoleku video taasesitus. Erinevalt paljudest tehisintellekti agentidest, mis jäävad ainult teksti- või helipõhiseks, pakub CyberVerse nähtavat, emotsionaalselt kaasahaaravat kohalolekut, mis võib sind näha, kuulda ja vastata loomulike väljendustega.
Soovid ehitada kohandatud tehisintellekti agenti, mis läheb kaugemale tekstivestlusest – üks, mis suudab pidada reaalajas häälsuhtlust, näha su nägu ja kuvada elutruud digitaalset avatari. CyberVerse on eriti veenev, kui väärtustad avatud lähtekoodi paindlikkust, modulaarset arhitektuuri ja võimalust vahetada puhta hääle režiimi (GPU pole vajalik) ja täisvideo avatari režiimi vahel sõltuvalt oma riistvarast ja kasutusjuhist.
Teised tööriistad, mida võiksid kaaluda
Loading comments…
Toote märksõnad