Inferock Bench

Inferock Bench란 무엇인가요?

Inferock Bench는 애플리케이션과 OpenAI, Anthropic, Gemini, OpenRouter 같은 AI 제공업체 사이에 위치하는 로컬 진단 프록시입니다. 호출별 토큰 사용량, 실패, 재시도를 캡처한 후, 청구된 금액과 실제로 얼마나 초과 지불하고 있는지 보여주는 독립적인 영수증을 생성합니다. 제공업체 자체의 청구 기록을 신뢰하는 대신, Inferock Bench는 사용자가 통제할 수 있는 중립적이고 호출별 감사 추적을 제공합니다.

대상 사용자

• 엔지니어링 리더 — 상당한 AI/LLM 지출을 관리하며 청구 금액이 실제 사용량과 일치하는지 확인이 필요한 분.
• FinOps 마인드 개발자 — 여러 제공업체의 토큰 소비를 추적하고 청구 불일치를 조기에 발견하려는 분.
• 규정 준수 중시 팀 — 내부 감사를 위해 API 호출 실패, 재시도, 비용 노출에 대한 독립적인 증거가 필요한 팀.

주요 기능

로컬 프록시 측정

Inferock Bench는 localhost 프록시를 통해 API 트래픽을 라우팅하여 제공업체가 보고한 사용량, 가격 증거, 요청/응답 메타데이터, 상태, 타이밍, 재시도 신호를 캡처합니다. 실제로 보이는 호출만 측정하므로 데이터는 실제 트래픽에 기반합니다.

영수증 생성

이 도구는 포함된 @inferock/measure 등급 코드와 Inferock 표준을 통해 영수증을 렌더링합니다. 각 영수증은 제공업체 지출, 청구 한도 내 금전 손실, 시간 손실, 인보이스 검토 노출을 분리하여 표시하므로 서로 다른 항목을 비교하지 않습니다.

적용 범위 투명성

모든 표면은 watched-clean, signal, not-openable로 표시됩니다. 즉, 확인되지 않은 검사는 조용히 정상으로 간주되지 않고 명확히 표시되어 무엇이 검증되었고 무엇이 아닌지 정직하게 보여줍니다.

제공업체 키 안전

로컬 벤치마크는 제공업체 키를 Inferock에 절대 보내지 않습니다. 프록시는 키를 제공업체 요청에만 첨부하며, 영수증은 공유하지 않는 한 로컬에 유지됩니다.

특별한 점

"제공업체가 자신의 청구서를 평가하게 해서는 안 됩니다."

이것이 핵심 철학입니다. Inferock Bench는 단순히 호출을 기록하는 것에 그치지 않고, 청구서에 영향을 미치는 전달 실패(예: 청구된 빈 출력, 거부, 잘림, 토큰 재계산 불일치, 중복 요청 ID, 캐시 할인 위험 증거)를 적극적으로 표면화합니다. 또한 제공업체 과실로 인한 재시도도 플래그로 표시하는데, 이는 종종 조용히 비용에 흡수됩니다. 이 도구는 한계에 대해 정직합니다. 프록시를 우회한 트래픽은 감사할 수 없으며, 모든 불일치를 초과 청구로 선언하지 않습니다. 대신 증거를 보존하여 청구 무결성 질문에 추측이 아닌 데이터로 답할 수 있게 합니다.

확인해 볼 가치가 있는 경우…

AI API에 의미 있는 비용을 지출하고 있으며 청구서가 현실과 일치하지 않는다고 의심되는 경우. "실패한 API 호출에 대해 청구되었나요?" 같은 질문에 답해야 하거나 Claude 또는 GPT 토큰 사용량을 로컬에서 측정하려는 경우 특히 유용합니다. 여러 제공업체를 평가하면서 일관되고 독립적인 비용 및 실패 패턴 기준이 필요한 경우에도 적합합니다. 이 도구는 설계상 확장 가능하지만, 현재 측정되는 제공업체 평면은 OpenAI, Anthropic, Gemini Developer API, 고정된 OpenRouter 엔드포인트 네 가지뿐입니다. 로컬 프록시 설정에 익숙하고 직접 검증할 수 있는 청구 투명성을 원한다면 확인해 볼 만합니다.