Inferock Bench

O que é o Inferock Bench?

O Inferock Bench é um proxy de diagnóstico local que fica entre sua aplicação e provedores de IA como OpenAI, Anthropic, Gemini ou OpenRouter. Ele captura o uso de tokens por chamada, falhas e tentativas de repetição, e então gera um recibo independente mostrando o que foi cobrado e quanto você está realmente pagando a mais. Em vez de confiar nos próprios registros de cobrança do provedor, o Inferock Bench oferece uma trilha de auditoria neutra e por chamada que você controla.

Para quem é

• Líderes de engenharia que gerenciam gastos significativos com IA/LLM e precisam de visibilidade sobre se os valores cobrados correspondem ao uso real.
• Desenvolvedores com mentalidade FinOps que monitoram o consumo de tokens em vários provedores e querem detectar discrepâncias de cobrança cedo.
• Equipes focadas em conformidade que exigem evidências independentes de falhas de chamadas de API, tentativas de repetição e exposição a custos para auditorias internas.

Principais recursos

Medição via proxy local

O Inferock Bench roteia seu tráfego de API por um proxy localhost, capturando uso informado pelo provedor, evidências de preços, metadados de requisição/resposta, status, tempo e sinais de repetição. Ele mede apenas chamadas que realmente vê, então os dados são baseados no seu tráfego real.

Geração de recibos

A ferramenta gera recibos usando o código de avaliação @inferock/measure incluído e o Padrão Inferock. Cada recibo separa gastos do provedor, perda de dinheiro limitada pela fatura, perda de tempo e exposição a verificação de fatura, para que você não compare coisas diferentes.

Transparência de cobertura

Cada superfície é marcada como watched-clean, signal ou not-openable. Isso significa que verificações não abertas ficam visíveis em vez de serem silenciosamente consideradas limpas, dando a você uma visão honesta do que foi e do que não foi verificado.

Segurança das chaves do provedor

Suas chaves de provedor nunca são enviadas ao Inferock pelo benchmark local. O proxy as anexa apenas a requisições ao provedor, e os recibos permanecem locais a menos que você escolha compartilhá-los.

O que se destaca

"Provedores não deveriam avaliar suas próprias faturas."

Essa é a filosofia central aqui. O Inferock Bench não apenas registra chamadas — ele ativamente expõe falhas de entrega que afetam sua fatura, como saída vazia cobrada, recusas, truncamento, discrepâncias na contagem de tokens, IDs de requisição duplicados e evidências de risco de desconto de cache. Ele também sinaliza tentativas de repetição por falha do provedor, que muitas vezes são silenciosamente absorvidas em seus custos. A ferramenta é honesta sobre seus limites: ela não pode auditar tráfego que passou fora do proxy, e não declara toda discrepância como cobrança excessiva. Em vez disso, preserva as evidências para que questões de integridade de cobrança possam ser respondidas com dados, não suposições.

Vale a pena conferir se…

Você está gastando significativamente em APIs de IA e suspeita que sua fatura não corresponde à realidade. O Inferock Bench é especialmente útil se você precisa responder perguntas como "fui cobrado por uma chamada de API que falhou?" ou quer medir o uso de tokens do Claude ou GPT localmente. Também é uma ótima opção se você está avaliando vários provedores e quer uma métrica consistente e independente para custos e padrões de falha. A ferramenta é extensível por design, embora apenas quatro planos de provedores sejam medidos hoje: OpenAI, Anthropic, Gemini Developer API e endpoints OpenRouter fixados. Se você se sente confortável com uma configuração de proxy local e quer transparência de cobrança que possa verificar por conta própria, vale a pena dar uma olhada.