Inferock Bench

¿Qué es Inferock Bench?

Inferock Bench es un proxy de diagnóstico local que se sitúa entre tu aplicación y los proveedores de IA como OpenAI, Anthropic, Gemini u OpenRouter. Captura el uso de tokens por llamada, fallos y reintentos, y luego genera un recibo independiente que muestra lo que te facturaron y cuánto estás pagando de más en realidad. En lugar de confiar en los propios registros de facturación del proveedor, Inferock Bench te ofrece un rastro de auditoría neutral y por llamada que tú controlas.

Para quién es

• Líderes de ingeniería que gestionan un gasto significativo en IA/LLM y necesitan visibilidad sobre si los importes facturados coinciden con el uso real.
• Desarrolladores con mentalidad FinOps que rastrean el consumo de tokens en múltiples proveedores y quieren detectar discrepancias de facturación a tiempo.
• Equipos conscientes del cumplimiento que requieren evidencia independiente de fallos de llamadas API, reintentos y exposición de costes para auditorías internas.

Características principales

Medición mediante proxy local

Inferock Bench enruta tu tráfico API a través de un proxy localhost, capturando el uso informado por el proveedor, la evidencia de precios, los metadatos de solicitud/respuesta, el estado, el tiempo y las señales de reintento. Solo mide las llamadas que realmente ve, por lo que los datos se basan en tu tráfico real.

Generación de recibos

La herramienta genera recibos mediante el código de calificación @inferock/measure incluido y el Estándar Inferock. Cada recibo separa el gasto del proveedor, la pérdida de dinero limitada por factura, la pérdida de tiempo y la exposición a la verificación de facturas, para que no compares peras con manzanas.

Transparencia de cobertura

Cada superficie se marca como watched-clean, signal o not-openable. Esto significa que las comprobaciones no abiertas son visibles en lugar de asumirse silenciosamente como limpias, ofreciéndote una imagen honesta de lo que se verificó y lo que no.

Seguridad de las claves del proveedor

Tus claves de proveedor nunca se envían a Inferock mediante el benchmark local. El proxy solo las adjunta a las solicitudes del proveedor, y los recibos permanecen locales a menos que decidas compartirlos.

Lo que destaca

"Los proveedores no deberían poder calificar sus propias facturas."

Esa es la filosofía central aquí. Inferock Bench no solo registra llamadas: saca a la luz activamente fallos de entrega que afectan a tu factura, como salida facturada vacía, rechazos, truncamiento, discrepancias en el recuento de tokens, ID de solicitud duplicados y evidencia de riesgo de descuento por caché. También señala reintentos por fallo del proveedor, que a menudo se absorben silenciosamente en tus costes. La herramienta es honesta sobre sus límites: no puede auditar el tráfico que eludió el proxy, y no declara cada discrepancia como un sobrecargo. En su lugar, conserva la evidencia para que las preguntas sobre la integridad de la facturación puedan responderse con datos, no con suposiciones.

Vale la pena echarle un vistazo si…

Estás gastando de forma significativa en APIs de IA y sospechas que tu factura no coincide con la realidad. Inferock Bench es especialmente útil si necesitas responder preguntas como "¿me facturaron una llamada API fallida?" o quieres medir el uso de tokens de Claude o GPT localmente. También es una buena opción si estás evaluando múltiples proveedores y quieres un criterio consistente e independiente para los patrones de coste y fallos. La herramienta es extensible por diseño, aunque hoy solo se miden cuatro planos de proveedores: OpenAI, Anthropic, API de desarrollador de Gemini y endpoints fijos de OpenRouter. Si te sientes cómodo con una configuración de proxy local y quieres transparencia de facturación que puedas verificar tú mismo, vale la pena echarle un vistazo.