

CyberVerse 是一款开源的数字人智能体平台,支持实时视频通话。用户只需一张照片即可创建AI智能体,并通过低延迟实时视频进行面对面互动。该平台具备实时面部动画、自然唇形同步、基于插件的AI组件,以及可配置的LLM、TTS、ASR和虚拟形象后端。
CyberVerse 是一个开源数字人智能体平台,支持与AI驱动的角色进行实时音视频交互。基于WebRTC技术,用户只需一张照片即可创建栩栩如生的AI智能体,并通过低延迟实时视频通话进行面对面交流。该平台支持实时面部动画、自然唇形同步、基于插件的AI组件,以及可配置的LLM、TTS、ASR和虚拟形象系统后端。
CyberVerse采用WebRTC实现低延迟音视频流传输,支持直接P2P连接或LiveKit SFU模式。智能体可接收用户摄像头画面或屏幕共享输入,实现AI同时"看见"和"听见"你的面对面交互。
平台将前台与后台处理分离:PersonaAgent负责实时对话、打断处理和上下文切换,SubAgents则异步处理搜索、研究、摘要生成和报告撰写等耗时任务。即使在复杂操作期间,语音交互依然保持响应灵敏。
智能体的每个部分——大脑、语音、听觉、工具、记忆和面部——均为可替换模块。通过单一配置文件即可组合不同的全能模型、LLM、TTS、ASR、嵌入、RAG、工具调用和虚拟形象后端,并通过Web UI按场景切换提供商和模型组合。
对话历史保存至本地磁盘,恢复会话时自动加载。可为每个角色导入知识库、文档和传记资料,系统将其索引用于检索增强生成,确保回答与角色人设保持一致。
仅需一张照片,CyberVerse就能让他们活起来。 这句话体现了平台的核心魔力:将单张参考图像转化为具备实时面部动画、唇形同步和缓存空闲视频播放的完整交互式数字人。与多数仅支持文本或音频的AI智能体不同,CyberVerse提供了可见且富有情感的存在感——它能看见你、听见你,并以自然的表情回应。
你想构建超越文字聊天的自定义AI智能体——一个能进行实时语音对话、看到你的面容并显示逼真数字虚拟形象的智能体。如果你重视开源灵活性、模块化架构,以及根据硬件和使用场景在纯语音模式(无需GPU)与全视频虚拟形象模式之间切换的能力,CyberVerse尤其值得关注。
其他您可能感兴趣的工具
Loading comments…

制作者
dsd