COST 成本与额度

成本监控:每天只看三个数就够了

只看总额,只能知道花多了。加两个比值,方向自己浮出来,排查范围能缩到一两个功能。

成本监控:每天只看三个数就够了
题图 / Unsplash

三个数:总额、均价、失败率

总花费:今天花了多少,和上周同日比。周内有波动,和上周同一天比才有意义。

单次均价:总花费除以调用次数。这个数最灵敏,它变了说明结构变了,而不是量变了。

失败重试率:失败次数除以总次数。重试一次就是双倍成本,这个数高,账单一定虚高。

三个数放一张表,每天早上扫一眼。总额涨了但均价没变,是量涨了,正常;均价涨了,是任务变复杂或者提示词变长了,要查。

桌面上摊开的彩色图表色卡
场景配图 / Unsplash

按功能拆开看

只记总数,永远不知道哪块该优化。至少按功能分三到五类:客服、写作、检索、批处理。

每类记三个数:调用次数、平均输入长度、平均输出长度。

平均输入长度是最容易被忽略的指标。它悄悄涨,说明有人往提示词里塞了越来越多东西,或者历史对话没清理。

拆到这一层,优化方向基本自己就出来了:输入长的压材料,输出长的压字数,次数多的换小模型。

再往下拆就到人了。谁在跑批、谁在调试,看一眼调用来源就知道。不是为了追责,是为了找到那个把上下文塞到十万 token 的用法。

三种异常信号

均价突然翻倍。多半是提示词改版加了长材料,或者换了更贵的模型。查最近一次发布。

调用次数暴涨但业务量没涨。多半是重试风暴,或者某个循环写错了在反复调。

单次成本出现极端值。一条请求花了几十倍的钱,通常是材料贴错、附件过大、或者上下文没截断。

这类请求要单独存日志,事后能复现。

工位上的人对着双屏排查异常请求
场景配图 / Unsplash
信号可能原因先查什么
均价翻倍提示词变长、换模型最近一次发布
次数暴涨重试风暴、循环错误错误日志和重试次数
单次极值材料过大、上下文未截断请求日志里的输入长度

怎么记才不费事

别自己搭系统。平台后台有明细,导出来按天聚合就够。一个人维护的团队,一张表比一个看板实用。

记录频率按量定。日花费低于一杯咖啡,一周看一次;高于这个,每天看。

每月做一次复盘:这个月哪类任务花得最多,值不值,有没有更便宜的替代。三个问题,十分钟。

笔记本和钢笔,记录当月的用量复盘
场景配图 / Unsplash

一条经验:监控的目的不是省钱,是知道钱花在哪。知道之后,该花的花,不该花的自然就停了。

补充一句账单对不上时先看时区。平台按 UTC 记账,你按本地日期聚合,跨日那一段永远差一截。

常见问题

小团队需要专门的成本看板吗?

不需要。导出的表格加两个公式就够,做看板的时间够你优化好几轮提示词。

怎么定预算?

按上个月实际用量乘一点二,留出增长空间。定得太紧,团队会为了省额度该用不用。

成本突然降了一半,是好事吗?

先确认服务是不是挂了。用量骤降经常是故障,不是优化生效。