O que é o CyberVerse?

CyberVerse é uma plataforma open-source de agentes humanos digitais que permite interação em tempo real de áudio/vídeo com personagens alimentados por IA. Construída com tecnologia WebRTC, permite que os usuários criem um agente de IA realista a partir de uma única foto e interajam cara a cara por meio de chamadas de vídeo ao vivo com baixa latência. A plataforma suporta animação facial em tempo real, sincronização labial natural, componentes de IA baseados em plugins e backends configuráveis para sistemas LLM, TTS, ASR e avatar.

Para quem é

• Desenvolvedores e entusiastas que desejam construir agentes de IA personalizados de voz ou vídeo com flexibilidade open-source
• Criadores de conteúdo e contadores de histórias que buscam dar vida a personagens fictícios ou figuras históricas por meio de humanos digitais interativos
• Pesquisadores e entusiastas de IA que exploram interação multimodal, avatares em tempo real e arquiteturas de agentes

Principais recursos

Chamada de vídeo em tempo real com humanos digitais

O CyberVerse usa WebRTC para streaming de áudio/vídeo com baixa latência, suportando conexões P2P diretas ou modo LiveKit SFU. O agente pode receber quadros da câmera do usuário ou entrada de compartilhamento de tela, permitindo interação face a face onde a IA vê e ouve você simultaneamente.

Arquitetura multiagente para conversas fluidas

A plataforma separa o processamento em primeiro e segundo plano: o PersonaAgent lida com conversas em tempo real, interrupções e mudanças de contexto, enquanto os SubAgents lidam assincronamente com tarefas de longa duração, como pesquisa, investigação, sumarização e geração de relatórios. Isso mantém as interações de voz responsivas mesmo durante operações complexas.

Componentes modulares e substituíveis

Cada parte do agente — cérebro, voz, audição, ferramentas, memória e rosto — é um módulo substituível. Você pode combinar diferentes modelos omni, LLMs, TTS, ASR, embeddings, RAG, chamadas de ferramentas e backends de avatar por meio de um único arquivo de configuração e, em seguida, alternar provedores e combinações de modelos por cenário via interface web.

Memória persistente e integração de conhecimento

O histórico de conversas é salvo no disco local e carregado automaticamente ao retomar uma sessão. Você pode importar bases de conhecimento, documentos e material biográfico para cada personagem, que o sistema indexa para geração aumentada por recuperação, mantendo as respostas alinhadas com a persona do personagem.

O que se destaca

Apenas uma foto. O CyberVerse os torna vivos. Isso captura a magia central da plataforma: transformar uma única imagem de referência em um humano digital totalmente interativo com animação facial em tempo real, sincronização labial e reprodução de vídeo inativo em cache. Diferente de muitos agentes de IA que permanecem apenas em texto ou áudio, o CyberVerse oferece uma presença visível e emocionalmente envolvente que pode vê-lo, ouvi-lo e responder com expressões naturais.

Vale a pena conferir se…

Você deseja construir um agente de IA personalizado que vá além do chat de texto — um que possa realizar conversas de voz em tempo real, ver seu rosto e exibir um avatar digital realista. O CyberVerse é especialmente atraente se você valoriza flexibilidade open-source, arquitetura modular e a capacidade de alternar entre modo de voz puro (sem necessidade de GPU) e modo de avatar de vídeo completo, dependendo do seu hardware e caso de uso.