Respan Gateway

Respan Gatewayとは？

Respan Gatewayは、単一のエンドポイントを通じてアプリケーションを1,000以上のAIモデルに接続する統合AIゲートウェイです。単なるリクエストのルーティングにとどまらず、組み込みのフォールバック、リトライ、キャッシュ、支出制限、アラート、そしてすべての呼び出しに対する完全なトレース観測可能性により、本番環境のAIを確実に動作させます。ゲートウェイ、観測可能性、評価、プロンプト管理、モニター、コスト管理がすべて1つのプラットフォームで動作するため、本番環境の問題をデバッグするために5つの異なるツールを組み合わせる必要はありません。

対象ユーザー

• AIエンジニアリングチーム：複数のモデルプロバイダーを管理する必要があり、それぞれに統合コードを書き換えることなく対応したい方。
• プラットフォームオペレーター：異なるチームや環境にわたってコスト管理、レート制限、セキュリティポリシーを適用する必要がある方。
• 本番環境の信頼性エンジニア：レイテンシートレースや顧客レベルのフィルタリングを含む、すべてのAPI呼び出しに対する完全な観測可能性を必要とする方。

主な機能

フォールバックとリトライを備えた統合ルーティング

OpenAIスタイルの呼び出しをRespan経由で500以上のモデルにルーティングするか、各プロバイダーのネイティブSDKをパススルーエンドポイントで維持します。モデルがエラーを起こしたりレート制限に達した場合、ゲートウェイは自動的にフォールバックリストの次のモデルを試し、キー間で負荷を分散し、1か所からバックオフ付きでリトライします。

コスト管理とキャッシュ

APIキーごとにソフト警告またはハード制限を設定し、しきい値を超えた場合にSlackまたはメールアラートを送信します。繰り返しのプロンプトをキャッシュしてコストとレイテンシーを削減し、cache_by_customerなどのオプションを使用して、あるユーザーの回答が別のユーザーに返されるのを防ぎます。

トレースツリーによる完全な観測可能性

各ゲートウェイ呼び出しは、すべてのスパンにレイテンシーを持つトレースツリーになります。customer_identifierとメタデータを追加し、機能、テナント、スレッドでログとトレースをフィルタリングできます。これにより、ログにデバッグのためのコンテキストが欠けているという一般的なギャップが解消されます。

柔軟なデプロイメントオプション

クライアントをhttps://api.respan.ai/api/に向け、プロバイダーキーを追加して出荷するだけです。ルーター（1つのOpenAIスタイルのベースURL）またはパススルー（ネイティブのAnthropic/Gemini URL）を選択しながら、すべてのリクエストを自動的にログに記録します。

特筆すべき点

「Respanは、フォールバック、リトライ、キャッシュ、支出制限、アラート、そしてすべての呼び出しに対する完全なトレースにより、本番環境のAIを確実かつ制御下に保ちます。」

ほとんどのAIゲートウェイはルーティングを処理しますが、観測可能性、コスト管理、プロンプト管理は別のツールとして残します。Respanは、ゲートウェイ、観測可能性、評価、プロンプト管理、モニター、コスト管理の6つの機能すべてを1つのプラットフォームに統合します。つまり、フォールバックモデルを設定し、顧客認識キャッシュを有効にし、遅いリクエストを単一のダッシュボードからトレースでき、5つの異なるサービスを組み合わせる必要はありません。

こんな方におすすめ…

複数のモデルプロバイダーを呼び出す本番環境のAIアプリケーションを構築または維持しており、基本的なルーティングを超えて、コスト制限の適用、レイテンシー問題のデバッグ、信頼性の確保を、各課題ごとに別々のツールを扱うことなく実現する必要がある方。