Inferock Bench

Inferock Benchとは？

Inferock Benchは、アプリケーションとOpenAI、Anthropic、Gemini、OpenRouterなどのAIプロバイダーとの間に位置するローカル診断プロキシです。呼び出しごとのトークン使用量、失敗、リトライを取得し、請求された金額と実際の過払い額を示す独立したレシートを生成します。プロバイダー自身の請求記録を信頼するのではなく、Inferock Benchはあなたが管理する中立的で呼び出しごとの監査証跡を提供します。

対象となる方

• エンジニアリングリーダー：AI/LLMの支出を大幅に管理しており、請求額が実際の使用量と一致しているかを把握する必要がある方。
• FinOps志向の開発者：複数のプロバイダーにわたるトークン消費を追跡し、請求の不一致を早期に発見したい方。
• コンプライアンス重視のチーム：内部監査のためにAPI呼び出しの失敗、リトライ、コストエクスポージャーの独立した証拠を必要とする方。

主な機能

ローカルプロキシ計測

Inferock Benchは、APIトラフィックをlocalhostプロキシ経由でルーティングし、プロバイダーが報告する使用量、価格の証拠、リクエスト/レスポンスのメタデータ、ステータス、タイミング、リトライシグナルを取得します。実際に確認した呼び出しのみを計測するため、データは実際のトラフィックに基づいています。

レシート生成

このツールは、同梱の@inferock/measureグレーディングコードとThe Inferock Standardを通じてレシートをレンダリングします。各レシートは、プロバイダー支出、請求上限付きの金銭的損失、時間損失、請求書チェックのエクスポージャーを分離しているため、異なるものを比較することはありません。

カバレッジの透明性

すべてのサーフェスはwatched-clean、signal、not-openableとしてマークされます。つまり、未確認のチェックは黙ってクリーンと見なされるのではなく、可視化され、何が検証され、何がされなかったかの正直な全体像が得られます。

プロバイダーキーの安全性

ローカルベンチマークがプロバイダーキーをInferockに送信することはありません。プロキシはキーをプロバイダーリクエストにのみ添付し、レシートは共有を選択しない限りローカルに留まります。

特筆すべき点

「プロバイダーが自分の請求書を採点するべきではない。」

これが中核となる哲学です。Inferock Benchは単に呼び出しを記録するだけでなく、請求に影響を与える配信失敗（請求された空の出力、拒否、切り詰め、トークン再計算の不一致、重複リクエストID、キャッシュ割引リスクの証拠など）を積極的に表面化します。また、プロバイダー側の障害によるリトライもフラグ付けします。これはしばしば黙ってコストに吸収されます。このツールはその限界について正直です。プロキシを迂回したトラフィックを監査することはできず、すべての不一致を過払いと宣言するわけでもありません。代わりに証拠を保存し、請求の整合性に関する質問に推測ではなくデータで答えられるようにします。

検討する価値がある場合…

AI APIに有意な金額を費やしており、請求額が実際と一致していない疑いがある場合。Inferock Benchは、「失敗したAPI呼び出しに対して請求されたか？」といった質問に答える必要がある場合や、ClaudeやGPTのトークン使用量をローカルで測定したい場合に特に役立ちます。また、複数のプロバイダーを評価しており、コストと障害パターンに対して一貫した独立した基準を求めている場合にも最適です。このツールは設計上拡張可能ですが、現在測定されているプロバイダープレーンは4つだけです：OpenAI、Anthropic、Gemini Developer API、および固定されたOpenRouterエンドポイントです。ローカルプロキシのセットアップに抵抗がなく、自分で検証できる請求の透明性を求めているなら、これは一見の価値があります。