CyberVerse

CyberVerseとは？

CyberVerseは、AI搭載キャラクターとのリアルタイム音声・動画対話を可能にするオープンソースのデジタルヒューマンエージェントプラットフォームです。WebRTC技術を基盤としており、1枚の写真からリアルなAIエージェントを作成し、低遅延のライブビデオ通話を通じて対面での会話が可能です。本プラットフォームは、リアルタイムの表情アニメーション、自然なリップシンク、プラグインベースのAIコンポーネント、そしてLLM、TTS、ASR、アバターシステムの設定可能なバックエンドをサポートしています。

対象ユーザー

• 開発者や愛好家：オープンソースの柔軟性を活かして、カスタムの音声・動画AIエージェントを構築したい方
• コンテンツ制作者やストーリーテラー：インタラクティブなデジタルヒューマンを通じて、架空のキャラクターや歴史上の人物に命を吹き込みたい方
• 研究者やAI愛好家：マルチモーダルインタラクション、リアルタイムアバター、エージェントアーキテクチャを探求している方

主な機能

デジタルヒューマンとのリアルタイムビデオ通話

CyberVerseは、低遅延の音声・動画ストリーミングにWebRTCを使用し、直接P2P接続またはLiveKit SFUモードをサポートします。エージェントはユーザーのカメラ映像や画面共有入力を受信できるため、AIがあなたの姿を見ながら同時に声を聞く、対面でのインタラクションが実現します。

流暢な会話を実現するマルチエージェントアーキテクチャ

本プラットフォームは、フォアグラウンド処理とバックグラウンド処理を分離しています。PersonaAgentがリアルタイムの会話、割り込み、コンテキスト切り替えを担当し、SubAgentsが検索、調査、要約、レポート生成などの長時間実行タスクを非同期で処理します。これにより、複雑な処理中でも音声インタラクションの応答性が維持されます。

モジュール式で交換可能なコンポーネント

エージェントのすべての部分（頭脳、声、聴覚、ツール、記憶、顔）は交換可能なモジュールです。単一の設定ファイルを通じて、さまざまなオムニモデル、LLM、TTS、ASR、埋め込み、RAG、ツール呼び出し、アバターバックエンドを組み合わせることができ、Web UIを介してシナリオごとにプロバイダーやモデルの組み合わせを切り替えられます。

永続的な記憶と知識統合

会話履歴はローカルディスクに保存され、セッション再開時に自動的に読み込まれます。各キャラクターのナレッジベース、ドキュメント、伝記資料をインポートでき、システムはこれらを検索拡張生成（RAG）用にインデックス化し、キャラクターのペルソナに沿った回答を維持します。

特筆すべき点

たった1枚の写真で。CyberVerseが彼らを生き生きと動かします。 これは、プラットフォームの核心的な魅力を捉えています。1枚の参照画像を、リアルタイムの表情アニメーション、リップシンク、キャッシュされたアイドルビデオ再生を備えた完全にインタラクティブなデジタルヒューマンに変えるのです。テキストのみ、または音声のみのAIエージェントが多い中、CyberVerseは、あなたの姿を見て、声を聞き、自然な表情で応答する、目に見える感情豊かな存在を提供します。

こんな方におすすめ

テキストチャットを超えたカスタムAIエージェントを構築したい方に最適です。リアルタイムの音声会話ができ、あなたの顔を見ることができ、リアルなデジタルアバターを表示するエージェントを実現します。CyberVerseは、オープンソースの柔軟性、モジュール式アーキテクチャ、そしてハードウェアやユースケースに応じて、純粋な音声モード（GPU不要）とフルビデオアバターモードを切り替えられる点が特に魅力的です。