LLM分類器Circuits：適応的クエリで分類精度を向上

背景と概要

プロンプトで大規模言語モデルに文章を分類させる方法は手軽です。しかし予測には不確実性があり、すべてのサンプルで同じように信頼できるわけではありません。対処として、より強いモデルへの切り替え、複数回の問い合わせ、複数モデルの併用がよく使われます。ただし問い合わせを増やすたびにコストも増えます。予算の範囲でどこに何回使うかについて、体系的な答えは乏しいままでした。

arXivに掲載された本論文は、各LLM分類器を潜在的な真のラベルに対するノイズ付き測定器とみなします。真のラベルは直接観測できません。モデルへの一回の問い合わせは、その真のラベルの一回のノイズ付き測定にあたります。モデルごとに測定器の精度も価格も異なります。目標は明確で、平均クエリコストが与えられたもとで平均分類精度を最大化することです。

LLM分類器のcircuitとは何でしょうか。circuitとは、複数のLLM分類器に対するクエリと判断からなる適応的な系列です。すでに得られた回答に応じて、次にどのモデルへ問い合わせるか、あるいは問い合わせをやめてラベルを出力するかを決めます。

深掘り分析

中心となる考え方は適応性です。単純なアンサンブルは全モデルに問い合わせて多数決をとります。circuitはそうしません。各ステップでまずどの分類器を呼ぶかを選び、回答を読んだうえで、最終ラベルを出すだけの確信があるのか、さらに問い合わせるのかを判断します。易しいサンプルは安価な一回の問い合わせで終わります。難しいサンプルは追加のクエリや、より強いモデルへ回されます。 この捉え方では、既存のベースラインがより大きな設計空間の中に収まります。ルーティングはサンプルごとにモデルを選ぶ方式です。カスケードは決まった順序でモデルを段階的に切り替える方式です。どちらも適応的なクエリ構造の制限された形と読めます。circuitはその両方より自由度が高い構造です。 論文は構造の提案にとどまりません。要旨によれば、著者らは最適なcircuitの形を明らかにしています。さらに、任意のcircuitが所定のコストで達成できる精度の基本的な限界を導出しています。そのうえで、最適に近いcircuitを構築するための実践的な知見も示しています。学習手順や実装の詳細は要旨に書かれていないため、確認には全文を読む必要があります。

測定器という見方にはもう一つ利点があります。分類器をノイズ付き測定器とみなすと、問題は、どの測定器から何回読み取るかという、コスト制約つきの最適化問題になります。経験に頼ったモデル組み合わせの調整が、最適解と上限が定義された問いに置き換わります。

業界への影響

評価は7つの分類タスクで行われました。安全性、健康、政治学、人間の選好、エージェント評価、意思決定、推論です。ラベルの意味も文章の形式も、モデルごとの得意不得意も大きく異なります。人間の選好の予測やエージェント評価は、LLMを審判に使う場面に近い課題です。産業界でもオープンソースコミュニティでも、評価パイプラインはこの使い方に依存しています。 評価指標はコストと精度のトレードオフの前線です。同じ平均クエリコストでどちらが正確か、同じ精度でどちらが安いかを比べます。要旨によれば、circuitはこれらのタスクで、ルーティングとカスケードのベースラインを上回りました。ただし要旨には改善幅の数字も、アブレーション実験の記載もありません。そのため、具体的な改善率や各要素の寄与について、本稿は断定しません。

理論の側面も重要です。論文が達成可能な精度の限界を導いているため、実務者は自社のシステムをその上限と比べられます。上限に近いチームは、ルーティングの工夫に追加の労力をかける必要が減ります。上限から遠いチームには、適応的なクエリを採用する明確な理由が生まれます。 コンテンツのモデレーション、健康関連のスクリーニング、自動評価を運用するチームにとって、示唆は直接的です。すべてを最強モデルに送ると高くつきます。安価なモデルだけに頼ると信頼性に不安が残ります。circuitは不確実なサンプルに多くの問い合わせを使い、明らかなサンプルには少なく使います。論文はこの配分を定式化しています。

今後の展望

要旨だけでは答えが出ない問いが残ります。一つは、モデル出力同士の依存関係をどう扱うかです。似たデータで学習したモデルは同じサンプルで間違えることがあります。独立なノイズ付き測定という見方では単純すぎる場合もあります。この場合を枠組みがどう扱うかは、要旨からは分かりません。 二つ目は分布の変化です。circuitは特定のコスト水準とタスクに合わせて作られます。サンプルの構成が変われば、最適なクエリの系列も変わる可能性があります。要旨は構築のための実践的な知見に触れていますが、運用中のcircuitを時間とともにどう適応させるかは述べていません。

三つ目は他のタスクでの再現です。7つのタスクは幅広い検証ですが、実際の現場ごとにラベル体系、コスト構造、使えるモデルの組み合わせは異なります。結果を採用する前に、全文で具体的なベースライン、コストの定義、改善幅を確かめるべきです。 それでも中心的な知見は明快です。LLM分類の信頼性を高めるのに、必ずしもより大きなモデルは必要ありません。クエリの組み立て方しだいで、同じコストでも精度を上げられます。本論文は、そのための方法と上限の両方を示しています。