开源模型自己部署：先算这三笔账

第一笔：显存决定你能跑多大

粗略估法：参数量乘以每参数字节数，再加上缓存。半精度是每参数两字节，四比特量化大约零点五到零点七字节。

一个七十亿参数的模型，半精度要十几 G 显存，量化后四五 G 能跑。三百亿参数的模型，量化后也要二十 G 上下。

还要留出上下文缓存。上下文越长，缓存越大，并发一多更明显。一张二十四 G 的卡跑量化后的中大模型，并发往往只剩个位数。

单张卡的吞吐，按每秒生成的 token 数算。一次回答五百 token，单卡每秒能出五十 token，理论上十秒一次，一分钟六次。

十个人同时用，就要排队。要撑住十并发，至少三四张卡，或者换成小模型。

这笔账要按峰值算，不是按平均。内部工具的高峰在上午十点和下午四点，那两个小时撑不住，其他时间再闲也白搭。

装环境、调推理框架、做量化、接监控、处理显存泄漏、跟进新版本。这些事不会自己消失。

小团队通常是一个人在兼，兼职的意思是：出问题时他在忙别的。

按人力成本折算，一年下来往往比调用费贵。这也是为什么很多团队试了三个月又切回 API。

还有一种隐性成本：你的模型版本会落后。在线服务每月都在更新，自部署的那套可能半年没动，效果差距会慢慢拉开。

数据不能出内网，这是最硬的理由，其他都是次要的。

调用量极大且任务单一，比如每天几百万次分类，这时候单位成本能压下来。

需要深度定制，比如必须固定输出格式、必须接内部系统、必须离线运行。

反过来，个人轻度使用、任务多样、团队没有运维，自部署基本是给自己找事。用 API，把钱花在别处。

一条硬指标：如果算下来一年省的钱少于半个月的人力，就别自建。省的那点钱，不够一次故障的加班。

补充一句模型权重可以下载，不代表可以商用。许可证条款各家不同，商用前逐条看清楚，尤其是用户规模和署名要求。

一张消费级显卡能跑吗？

能跑量化后的小模型，做补全、分类、简单问答够用。长文档和复杂推理会明显吃力，别指望它顶在线模型。

量化之后效果掉多少？

四比特在多数任务上掉得不明显，长文推理和代码生成掉得比较多。上生产前用你自己的题测一遍，别信通用结论。

开源模型能商用吗？

看许可证。有的允许，有的对用户数有限制，有的要求衍生模型同名开源。这一条必须看原文。