Inferock Bench

Qu'est-ce qu'Inferock Bench ?

Inferock Bench est un proxy de diagnostic local qui se place entre votre application et les fournisseurs d'IA comme OpenAI, Anthropic, Gemini ou OpenRouter. Il capture l'utilisation des tokens par appel, les échecs et les nouvelles tentatives, puis génère un reçu indépendant montrant ce qui vous a été facturé et combien vous payez réellement en trop. Au lieu de vous fier aux propres relevés de facturation du fournisseur, Inferock Bench vous offre une piste d'audit neutre et par appel, que vous contrôlez.

À qui cela s'adresse

• Responsables techniques gérant des dépenses importantes en IA/LLM qui ont besoin de visibilité sur la conformité des montants facturés avec l'utilisation réelle.
• Développeurs soucieux de la FinOps suivant la consommation de tokens sur plusieurs fournisseurs et souhaitant détecter rapidement les écarts de facturation.
• Équipes soucieuses de conformité nécessitant des preuves indépendantes des échecs d'appels API, des nouvelles tentatives et de l'exposition aux coûts pour les audits internes.

Fonctionnalités clés

Mesure via proxy local

Inferock Bench achemine votre trafic API via un proxy localhost, capturant l'utilisation déclarée par le fournisseur, les preuves de tarification, les métadonnées de requête/réponse, le statut, le timing et les signaux de nouvelle tentative. Il ne mesure que les appels qu'il voit réellement, donc les données sont ancrées dans votre trafic réel.

Génération de reçus

L'outil génère des reçus via le code de notation @inferock/measure fourni et la norme Inferock. Chaque reçu sépare les dépenses du fournisseur, les pertes financières limitées à la facture, les pertes de temps et l'exposition aux vérifications de facture, afin que vous ne compariez pas des pommes avec des oranges.

Transparence de la couverture

Chaque surface est marquée comme watched-clean, signal ou not-openable. Cela signifie que les vérifications non ouvertes sont visibles plutôt que silencieusement considérées comme propres, vous donnant une image honnête de ce qui a été vérifié ou non.

Sécurité des clés fournisseur

Vos clés fournisseur ne sont jamais envoyées à Inferock par le benchmark local. Le proxy ne les attache qu'aux requêtes fournisseur, et les reçus restent locaux sauf si vous choisissez de les partager.

Ce qui se démarque

« Les fournisseurs ne devraient pas pouvoir noter leurs propres factures. »

C'est la philosophie centrale ici. Inferock Bench ne se contente pas de journaliser les appels — il met activement en évidence les échecs de livraison qui affectent votre facture, comme les sorties vides facturées, les refus, les troncatures, les écarts de recomptage de tokens, les identifiants de requête dupliqués et les preuves de risque de remise de cache. Il signale également les nouvelles tentatives dues à des fautes du fournisseur, souvent silencieusement absorbées dans vos coûts. L'outil est honnête sur ses limites : il ne peut pas auditer le trafic qui a contourné le proxy, et il ne déclare pas chaque écart comme une surfacturation. Au lieu de cela, il préserve les preuves afin que les questions d'intégrité de facturation puissent être résolues avec des données, pas des suppositions.

À considérer si…

Vous dépensez significativement en API IA et soupçonnez que votre facture ne correspond pas à la réalité. Inferock Bench est particulièrement utile si vous devez répondre à des questions comme « ai-je été facturé pour un appel API échoué ? » ou si vous souhaitez mesurer localement l'utilisation des tokens de Claude ou GPT. C'est aussi un excellent choix si vous évaluez plusieurs fournisseurs et souhaitez un étalon indépendant et cohérent pour les coûts et les modèles d'échec. L'outil est extensible par conception, bien que seuls quatre plans fournisseurs soient mesurés aujourd'hui : OpenAI, Anthropic, l'API développeur Gemini et les endpoints OpenRouter épinglés. Si vous êtes à l'aise avec une configuration de proxy local et souhaitez une transparence de facturation que vous pouvez vérifier vous-même, cela vaut le coup d'œil.