Qu'est-ce que CyberVerse ?

CyberVerse est une plateforme open-source d'agents numériques humains permettant une interaction audio/vidéo en temps réel avec des personnages alimentés par l'IA. Construite sur la technologie WebRTC, elle permet aux utilisateurs de créer un agent IA réaliste à partir d'une seule photo et d'engager des conversations en face-à-face via des appels vidéo en direct à faible latence. La plateforme prend en charge l'animation faciale en temps réel, le synchronisme labial naturel, des composants IA basés sur des plugins, ainsi que des backends configurables pour les systèmes LLM, TTS, ASR et d'avatar.

À qui s'adresse-t-elle ?

• Développeurs et bricoleurs souhaitant construire des agents IA vocaux ou vidéo personnalisés avec une flexibilité open-source
• Créateurs de contenu et conteurs cherchant à donner vie à des personnages fictifs ou historiques via des humains numériques interactifs
• Chercheurs et passionnés d'IA explorant l'interaction multimodale, les avatars en temps réel et les architectures d'agents

Fonctionnalités clés

Appel vidéo en temps réel avec des humains numériques

CyberVerse utilise WebRTC pour le streaming audio/vidéo à faible latence, prenant en charge les connexions P2P directes ou le mode SFU LiveKit. L'agent peut recevoir les images de la caméra de l'utilisateur ou les entrées de partage d'écran, permettant une interaction en face-à-face où l'IA vous voit et vous entend simultanément.

Architecture multi-agents pour des conversations fluides

La plateforme sépare le traitement de premier plan et d'arrière-plan : PersonaAgent gère la conversation en temps réel, les interruptions et les changements de contexte, tandis que les SubAgents traitent de manière asynchrone les tâches longues comme la recherche, l'étude, la synthèse et la génération de rapports. Cela maintient les interactions vocales réactives même lors d'opérations complexes.

Composants modulaires et remplaçables

Chaque partie de l'agent — cerveau, voix, ouïe, outils, mémoire et visage — est un module remplaçable. Vous pouvez combiner différents modèles omni, LLM, TTS, ASR, embeddings, RAG, appels d'outils et backends d'avatar via un seul fichier de configuration, puis changer de fournisseurs et de combinaisons de modèles par scénario via l'interface web.

Mémoire persistante et intégration des connaissances

L'historique des conversations est sauvegardé sur le disque local et chargé automatiquement lors de la reprise d'une session. Vous pouvez importer des bases de connaissances, des documents et du matériel biographique pour chaque personnage, que le système indexe pour la génération augmentée par récupération, afin de maintenir les réponses alignées sur la personnalité du personnage.

Ce qui se démarque

Une seule photo. CyberVerse les rend vivants. Cela capture la magie centrale de la plateforme : transformer une seule image de référence en un humain numérique entièrement interactif avec animation faciale en temps réel, synchronisme labial et lecture vidéo de veille mise en cache. Contrairement à de nombreux agents IA qui restent uniquement textuels ou audio, CyberVerse offre une présence visible et émotionnellement engageante qui peut vous voir, vous entendre et répondre avec des expressions naturelles.

À considérer si…

Vous souhaitez construire un agent IA personnalisé qui va au-delà du chat textuel — un agent capable de tenir des conversations vocales en temps réel, de voir votre visage et d'afficher un avatar numérique réaliste. CyberVerse est particulièrement intéressant si vous valorisez la flexibilité open-source, l'architecture modulaire et la possibilité de passer entre le mode vocal pur (sans GPU requis) et le mode avatar vidéo complet en fonction de votre matériel et de votre cas d'utilisation.