LLM 分類器 Circuits：自適應查詢提升分類可靠性

用大语言模型做分类器已经非常方便，只要把待分类的样本放进提示词，模型就会给出一个标签。但这种方便背后藏着一个常被忽视的麻烦：同一个模型对同一个样本的预测并不确定，不同样本之间的可靠程度也参差不齐。工程上常见的做法是换更强的模型、多问几次，或者把几个模型的答案凑在一起，可是每多问一次就多花一份查询成本，如何在预算之内尽量提高平均准确率，一直缺少系统的答案。这篇论文给出了一个新的视角：把每个LLM分类器看成对潜在真实标签的带噪声测量仪器，而分类任务的目标，就是在给定平均查询成本的前提下，让平均分类准确率最大。为此，作者提出了circuits这一概念，把多个LLM分类器组织成一条自适应的查询与决策序列，也就是根据前面已经拿到的回答，决定下一步该问哪个模型，还是干脆停下来给出最终判断。论文没有停留在提出框架，还刻画了最优circuit的形态，推导出可达准确率的基本极限，并给出了在实践中逼近最优circuit的具体见解。这些贡献合在一起，把原本靠经验调参的模型组合问题，变成了一个有理论上界可以对照的优化问题。方法的出发点是把分类问题当作测量问题来处理。真实标签是一个看不见的量，每次向某个LLM提交样本并读取它的输出，就相当于用一台带噪声的仪器测了一次。不同模型的仪器精度不同，价格也不同，同一台仪器重复测量得到的结果还可能不一致。

在这个视角下，circuit是一种把多次测量串起来的结构：它不是一次性把所有模型都问一遍再投票，而是形成一条自适应的序列。每一步先决定要调用哪个分类器，拿到结果后再判断是继续追问，还是已经有足够把握输出最终标签。这样一来，简单样本可以早早收工，只花很少的查询，困难样本则会被分配到更多、更强的查询上。作者随后把问题表述为在平均查询成本约束下最大化平均准确率，并在这个表述上刻画最优circuit的形式，同时推出任何circuit都无法超越的准确率极限。与此相对，路由（routing）只负责为每个样本挑选模型，级联（cascading）则按既定顺序逐级升级，二者可以理解为这类自适应查询结构中较受限的做法，而circuit的设计空间更宽。摘要还提到论文给出了实现最优circuit的实用建议，说明理论刻画并没有停在纸面。需要说明的是，摘要没有披露更细的实现与训练细节，这里只能按其框架来理解方法。实验覆盖七个分类任务，横跨安全、健康、政治学、人类偏好、智能体评估、决策和推理等领域。这个选择本身就有说服力：这些任务的标签含义、文本形态和模型擅长程度差别很大，既有判断内容是否安全的审核类场景，也有评估智能体行为、预测人类偏好这类越来越常见的"LLM当裁判"场景。评价的核心不是单点准确率，而是成本与准确率的权衡曲线，也就是cost-accuracy frontier：在相同平均查询成本下谁更准，或者在达到相同准确率时谁更省。

对比的基线是路由和级联这两类最常见的多模型组合策略。摘要给出的结论是，论文的方法在这些任务上改进了这条前沿，也就是说，同样的预算能换来更高的准确率，或者用更低的成本达到相近的水平。摘要没有给出具体的提升幅度，也没有列出消融实验，因此无法断言各个组成部分各自贡献了多少，细节要查阅全文才能确认。不过，论文同时给出了可达准确率的理论极限，这让实验多了一个参照：读者不只能看到谁赢过了基线，还可以判断实际方法离理论上限有多远。理论刻画加上多任务验证的组合，比单纯堆叠基准更能说明结论并非偶然。这项工作的意义首先在于，它给"多个LLM怎么搭配着用"这个高频工程问题提供了一套统一的语言。今天很多团队在做内容审核、自动评测或者偏好标注时，都会遇到成本和可靠性之间的拉扯：全部交给最强模型太贵，只用便宜模型又不放心。把每次调用看成一次带噪声的测量，再用自适应序列决定何时追问、何时停手，就把这种拉扯变成了可以计算和比较的问题。其次，基本极限的存在很有价值，它让从业者知道还有多少改进空间，避免在已接近上限的方案上继续投入。再次，实验涵盖了智能体评估和人类偏好这类用模型来评判模型的场景，而这些场景正是当前开源社区和工业界评测流水线的关键环节，评判的可靠性直接影响后续训练与选型决策。对后续研究来说，这个框架还留下不少值得追问的方向，比如当模型输出之间并不独立时如何建模，或者当样本分布发生变化时circuit应如何调整。总体而言，这篇论文提醒我们，提升LLM分类可靠性不一定要靠更大的模型，合理地组织查询本身就能带来收益。