AI 模型怎么选,按任务不按榜单
AI模型选择按任务分:写作看语感,代码看调试,长文档看中间段落召回。四个维度各配一道自测题,再按API价格算真实成本。
「上下文写 128K,实际能用多少」「同一个任务两个模型差在哪」「便宜的够不够用」,选型时绕不开这三问。跑分答不了它们。
先读维度那篇,用四道自测题把候选缩到两个;再看上下文和价格两篇,把成本算到单次调用;最后看迁移清单,避免换模型后效果掉三成。判断标准:能重复跑出同一个结果,才算选对了。
模型选择换模型前,先跑这张对照表
换模型别看榜单,看你自己那几个任务。挑三件真实活,新旧模型各跑两遍,按指令遵循、格式稳定、幻觉次数、单次价格四栏记下来,十分钟出结论。
模型选择长上下文不是越长越好:中间段落的损耗
上下文窗口标得再大,中间段落照样容易丢。关键信息放开头结尾,长文档分段投喂,比一次性全贴进去稳得多。
模型选择选模型只看四个维度,榜单排名可以跳过
模型选择只看四个维度:指令跟随、长文召回、领域知识、输出稳定。每个维度一道五分钟的自测题,比等榜单更新快。四项都过关再谈价格,顺序反了要重来一遍。
模型选择128K 上下文实际能用多少:打个六折再算
128K 上下文,真能用多少?中间段落会被忽略、输出也占额度、价格随长度上涨,按任务倒推有效长度是七到八万。超过五万 token 的问答应分段处理。
模型选择贵三倍的模型什么时候值:算总成本,别算单价
模型价格贵三倍,总账可能只贵一成。要连成功率和返工时间一起算:顶配适合一次定稿的活,便宜模型适合能批量重跑的活。
模型选择中文能力怎么测:三道你自己就能出的题
中文能力用三道题就能测:长句拆解、术语前后一致、公文体例。十分钟出完,比看中文跑分更接近真实写作场景。三题全过,再谈价格和上下文长度。
模型选择代码任务选型:补全、改写、调试是三种不同的活
AI编程的三类活要求相反:补全要低延迟、改写要懂上下文、调试要能读整条调用链。一个模型全包,总有一头将就,按主力任务选。
模型选择图片输入能干什么:截图报错、表格转录、手写识别
多模态最稳的用法是把屏幕上的字搬进文本:截图报错、表格转录、手写识别。计数、密集小字、图表读数三类出错率偏高。
模型选择开源模型自己部署:先算这三笔账
开源模型自己部署,多数时候为了数据不出门,省不了钱。先算三笔账:显存、并发、运维人力,月调用两千万 token 以下难回本。
模型选择换模型要改什么:提示词里的四处硬伤
换模型之后效果掉三成,问题出在哪?格式偏好、长度习惯、拒答尺度、分隔符,四处硬伤按十分钟清单逐条对。清单跑完再切流量,掉分能提前发现。