分类任务如何选模型：从小模型起步，按错误决定是否升级

先把分类规则写到别人也能复现

给留言分主题、判断邮件是否需要回复，通常不必直接选择大模型。省钱的起点不是比较报价，而是把任务变成可检查的判断题。下面以“将校园活动反馈分给对应负责人”为例，逐步比较两类模型。

先列出场地、报名、内容和其他四个类别，为每类写清定义、正例与反例。如果一句反馈同时涉及报名和场地，要预先决定允许多个标签，还是只保留主要问题。边界不清时，大模型也可能只是更流畅地猜测。

收集一百至两百条真实反馈，去掉姓名、电话等个人信息，再人工标注。不要只挑表达清楚的句子，也要加入错别字、含蓄抱怨、多主题反馈和无关内容。拿不准的样本先复核规则，不要强行作为标准答案。

将样本分为调试集和保留测试集。前者用于修改提示，后者在方案确定后再使用，避免反复围着测试答案优化。这个规模适合初筛，但不足以证明罕见错误已经得到控制。

先选一个成本较低的轻量候选，再选一个能力更强的候选。这里的“小”和“大”是选型简称；参数规模未公开时，不应把价格或产品名称当作规模证据。

给两者相同的类别定义、示例和输入，要求只返回允许的标签。不要同时让一个解释理由、另一个直接分类，否则比较中混入了输出长度的影响。无法解析、标签越界和请求失败都要记录，不能悄悄从结果里删掉。

先看整体准确率，再逐类检查漏判与误判。若报名故障被分到其他类会耽误处理，就应重点观察报名类的召回率，而不是只追求漂亮的总分。普通建议偶尔分错，与紧急问题被遗漏，并非同一种损失。

同时统计完成整批任务的实际费用和等待时间，将重试也算进去。每条成功分类的平均成本，比单看输入单价更贴近预算。在 MyRelay 中查看每次请求的词元用量和费用，能帮助你核对长提示、额外解释或重试是否抬高了开支。

如果轻量候选已经达到要求，就没有必要为了少量分数提升全量升级。若错误集中在多主题或信息不足的反馈，可以尝试分级处理：先由轻量候选分类，遇到预先定义的异常，再交给较强候选或人工复核。

不要直接相信模型自报的置信度。“有九成把握”不等于经过校准的概率。更可检查的触发条件包括输出不合法、同时命中多个类别，或包含必须复核的业务情形。还要用难例检查这些条件是否真的抓住了错误。

最后在保留测试集上比较轻量候选、较强候选和分级方案，检查关键类别表现、平均成本及处理时间。分级方案会让部分请求支付两次费用，也增加等待，不应默认它一定更便宜。

如果你想用统一预算完成这轮比较，可以创建 MyRelay 账户，先设定自己愿意承担的测试额度。上线后定期抽查新增反馈；当类别定义、输入长度或错误分布发生变化时重新评测。真正划算的选择，是在可接受风险内完成任务，而不是始终使用最便宜或最大的模型。