Inferock Bench

Inferock Bench 是什么？

Inferock Bench 是一个本地诊断代理，位于您的应用程序与 OpenAI、Anthropic、Gemini 或 OpenRouter 等 AI 提供商之间。它捕获每次调用的令牌使用量、失败和重试情况，然后生成一份独立的收据，显示您被收取的费用以及实际多付的金额。Inferock Bench 不依赖提供商自己的计费记录，而是为您提供一份由您掌控的中立、逐调用审计追踪。

适用人群

• 工程负责人，管理大量 AI/LLM 支出，需要了解账单金额是否与实际使用量相符。
• 具有 FinOps 思维的开发者，跨多个提供商跟踪令牌消耗，并希望及早发现计费差异。
• 注重合规的团队，需要 API 调用失败、重试和成本暴露的独立证据，用于内部审计。

主要功能

本地代理测量

Inferock Bench 通过 localhost 代理路由您的 API 流量，捕获提供商报告的使用量、定价证据、请求/响应元数据、状态、时间和重试信号。它只测量实际看到的调用，因此数据基于您的真实流量。

收据生成

该工具通过随附的 @inferock/measure 评分代码和 Inferock 标准渲染收据。每份收据将提供商支出、账单限制内的资金损失、时间损失和发票检查风险分开列出，避免混淆比较。

覆盖透明度

每个表面都标记为 watched-clean、signal 或 not-openable。这意味着未打开的检查是可见的，而不是被静默视为干净，让您清楚了解哪些已验证、哪些未验证。

提供商密钥安全

本地基准测试绝不会将您的提供商密钥发送给 Inferock。代理仅将密钥附加到提供商请求中，收据保留在本地，除非您选择共享。

突出亮点

“提供商不应自行评估自己的账单。”

这是其核心理念。Inferock Bench 不仅记录调用——它还主动揭示影响账单的交付失败，例如计费空输出、拒绝、截断、令牌重新计数不匹配、重复请求 ID 以及缓存折扣风险证据。它还标记提供商过错的重试，这些通常被静默计入您的成本。该工具对自身局限性保持诚实：它无法审计绕过代理的流量，也不会将每个不匹配都视为多收费。相反，它保留证据，使计费完整性问题可以用数据而非猜测来回答。

值得关注，如果……

您在 AI API 上有可观支出，并怀疑账单与实际不符。Inferock Bench 尤其适用于需要回答“我是否被收取了失败 API 调用的费用？”或想在本地测量 Claude 或 GPT 令牌使用量的场景。如果您正在评估多个提供商，并希望有一个一致、独立的成本和失败模式衡量标准，它也非常合适。该工具设计上可扩展，但目前仅测量四个提供商平面：OpenAI、Anthropic、Gemini Developer API 和固定的 OpenRouter 端点。如果您能接受本地代理设置，并希望获得可自行验证的计费透明度，这值得一试。