Respan Gateway

Respan Gateway란?

Respan Gateway는 단일 엔드포인트를 통해 애플리케이션을 1,000개 이상의 AI 모델에 연결하는 통합 AI 게이트웨이입니다. 단순히 요청을 라우팅하는 것을 넘어, 내장된 폴백(fallback), 재시도, 캐싱, 지출 한도, 알림, 그리고 모든 호출에 대한 전체 추적 관찰 가능성을 통해 프로덕션 AI의 안정성을 유지합니다. 게이트웨이, 관찰 가능성, 평가(eval), 프롬프트 관리, 모니터, 비용 제어가 모두 하나의 플랫폼에서 실행되므로, 프로덕션 문제를 디버깅하기 위해 다섯 가지 개별 도구를 연결할 필요가 없습니다.

대상 사용자

• AI 엔지니어링 팀 – 각 모델 제공업체마다 통합 코드를 다시 작성하지 않고 여러 모델 제공업체를 관리해야 하는 팀.
• 플랫폼 운영자 – 다양한 팀과 환경에서 비용 제어, 속도 제한, 보안 정책을 적용해야 하는 운영자.
• 프로덕션 신뢰성 엔지니어 – 지연 시간 추적 및 고객 수준 필터링을 포함한 모든 API 호출에 대한 완전한 관찰 가능성이 필요한 엔지니어.

주요 기능

폴백 및 재시치가 포함된 통합 라우팅

OpenAI 스타일의 호출을 Respan을 통해 500개 이상의 모델로 라우팅하거나, 각 제공업체의 네이티브 SDK를 패스스루(passthrough) 엔드포인트에 유지합니다. 모델에서 오류가 발생하거나 속도 제한에 걸리면 게이트웨이가 자동으로 폴백 목록의 다음 모델을 시도하고, 키 간 부하를 분산하며, 한 곳에서 백오프(backoff)를 적용하여 재시도합니다.

비용 제어 및 캐싱

API 키별로 소프트 경고 또는 하드 한도를 설정하고, 임계값을 초과하면 Slack 또는 이메일 알림을 받습니다. 반복 프롬프트를 캐싱하여 비용과 지연 시간을 줄이며, cache_by_customer와 같은 옵션을 통해 한 사용자의 답변이 다른 사용자에게 반환되는 것을 방지합니다.

트레이스 트리를 통한 완전한 관찰 가능성

각 게이트웨이 호출은 모든 스팬(span)에 지연 시간이 포함된 트레이스 트리(trace tree)가 됩니다. customer_identifier와 메타데이터를 추가한 후, 로그 및 트레이스를 기능, 테넌트, 스레드별로 필터링할 수 있습니다. 이를 통해 로그에 디버깅에 필요한 컨텍스트가 부족한 일반적인 문제를 해결합니다.

유연한 배포 옵션

클라이언트를 https://api.respan.ai/api/로 지정하고, 제공업체 키를 추가한 후 바로 사용할 수 있습니다. 라우터(하나의 OpenAI 스타일 기본 URL) 또는 패스스루(네이티브 Anthropic/Gemini URL) 중에서 선택하면서도 모든 요청을 자동으로 로깅합니다.

차별점

"Respan은 폴백, 재시도, 캐싱, 지출 한도, 알림, 모든 호출에 대한 전체 트레이스를 통해 프로덕션 AI의 안정성과 제어를 유지합니다."

대부분의 AI 게이트웨이는 라우팅을 처리하지만, 관찰 가능성, 비용 제어, 프롬프트 관리는 별도의 도구로 남겨둡니다. Respan은 게이트웨이, 관찰 가능성, 평가, 프롬프트 관리, 모니터, 비용 제어의 여섯 가지 기능을 모두 하나의 플랫폼에 결합합니다. 즉, 폴백 모델을 설정하고, 고객 인식 캐싱을 활성화하며, 느린 요청을 단일 대시보드에서 추적할 수 있으며, 다섯 가지 다른 서비스를 연결할 필요가 없습니다.

다음의 경우 확인해 볼 가치가 있습니다…

여러 모델 제공업체를 호출하는 프로덕션 AI 애플리케이션을 구축하거나 유지 관리 중이며, 기본 라우팅을 넘어 비용 한도 적용, 지연 시간 문제 디버깅, 각 문제에 대한 개별 도구를 사용하지 않고 안정성을 보장해야 하는 경우.