跳到主要内容
FluxMeter
English

用例

面向 AI 产品的用量基础设施模式。

FluxMeter 在栈中的位置:在客户边界归因用量,走单一 HTTP Custody 路径。

主导场景

AI 网关

上游问题

一个上游供应商账号服务多个下游调用方。供应商账单是单一池,看不到谁消耗了哪些 token。

事件边界

在网关边缘于模型响应后计量(或通过 FluxMeter gateway 代理钩子),并用稳定 eventId 去重。

客户归因

customerId 映射下游租户或 API Key 所有者;modelId 与 token 字段来自供应商响应。

预算 / 控制

可选:转发上游前 GET /budget/{id}/check(流式场景可加 reserve/reconcile)。

用量记录 usage line

通过 GET /usage/customer/{customer_id}/period/{period}、GET /usage/customer/{customer_id}/day/{date}、GET /usage/customer/{customer_id}/model/{model_id} 查询客户级明细,用于看板或导出。

部署模式

基础栈

评估与受支持部署经 make demo 使用同一 HTTP → Kafka → Flink 路径。

支撑模式

Token 中转

上游问题

预付费包与 RPM 限额必须在消耗前执行,而不是等到月末供应商账单。

事件边界

热路径同步 check;上游调用后异步 POST /ingest,eventId = 上游请求 id。

客户归因

customerId = 下游开发者;若按客户端发 Key,可用管理 API 做按 Key 预算。

预算 / 控制

套餐、软告警与可选硬顶 — 均是计量之上的可选层。

用量记录

账期与模型汇总揭示每位开发者的消耗,无需先搭数仓。

部署模式

基础栈

评估与受支持部署经 make demo 使用同一 HTTP → Kafka → Flink 路径。

多租户 AI 产品

上游问题

产品租户共享模型支出。财务需要可归因明细;工程需要清晰的写入契约。

事件边界

在应用或 worker 每次模型调用后写入;附带 customerId(及可选 span/session)。

客户归因

按租户与账期汇总;span id 可归因多步任务,而无需自建完整任务平台。

预算 / 控制

当预付费或按任务上限重要时,可选钱包检查与 span 封顶。

用量记录

客户账期明细成为计费导出或内部成本视图的共享输入。

部署模式

基础栈

评估与受支持部署经 make demo 使用同一 HTTP → Kafka → Flink 路径。

模式描述已验证的 API 形状与部署模式 — 不是具名公司的生产部署。