YOPO：凍結言語モデルの単一フォワードパスによる推論と拒否の実現

背景と概要

凍結された大規模言語モデル（LLM）は、推論タスクにおいて相互に結びついた2つの致命的な弱点を抱えています。第一に、モデルは自身の残差ストリームに既にエンコードされている証拠情報を十分に活用できておらず、これが推論精度の限界を生み出しています。第二に、入力情報の充足性を検出する能力が欠如しており、情報が不足している場合にハルシネーションや無意味な出力を引き起こしやすいという問題です。

YOPO（You Only Pass Once）フレームワークは、これらの課題を単一のフォワードパス内で解決するために設計されました。本研究は、中間層で残差ストリームに書き込みを行い推論精度を回復する「条件付きガイドプローブ」と、残差ストリームを読み取って情報の充足性を判断する「ゼロショット充足性方向」という2つの研究線を統合しています。これにより、モデルは回答、ガイド、拒否を同時に実行可能となり、複雑な推論タスクにおける実用性と信頼性が大幅に向上します。

深掘り分析

YOPOの技術的核心は、ガイドの書き込みと方向の読み取りの間の状態干渉を分離することにあります。直接的なデプロイでは、ガイドによる書き込みが充足性方向が読み取る状態を変化させ、クロスドメイン転移のパフォーマンスを低下させてしまいます。これを解決するため、研究チームは充足性方向を固定したまま、均方誤差を損失関数とする小型ネットワークを訓練しました。このネットワークは、（ガイド後、クリーンな）残差ストリームのペアを用いて、ガイド適用前の残差ストリームを再構成します。

この再構成プロセスには充足性のラベルが不要であり、残差ストリーム自体のペアリングデータにのみ依存します。再構成されたストリームを用いて充足性方向を読み取ることで、拒否判断がガイドによる干渉を受けない元の状態に基づいていることが保証されます。システムは凍結されたQwen2.5バックボーン（1.5B/3B/7B）上でデプロイされ、単一のフォワードパスで全操作を完了します。これにより、従来の二重フォワード方式に伴う推論コストの倍増を回避しつつ、残差ストリームの線形分離性を活用した複雑な状態デカップリングを実現しています。

業界への影響

実験結果は、YOPOが凍結ベースラインおよび二重フォワード参照基準を大幅に上回っていることを示しています。alphaNLIデータセットにおいて、1.5Bモデルの3分類精度は0.375から0.798へと向上し、性能が倍以上になりました。1.5B、3B、7Bの各規模で、YOPOの精度はそれぞれ0.798、0.830、0.893を記録し、二重フォワード基準の0.753、0.790、0.863を常に上回りました。さらに、10のバックボーンと6つのモデルファミリーにわたる実験により、この手法の汎化能力が検証されています。

アブレーション実験は「容量転移フロンティア」を明らかにし、拒否能力はモデルに訓練させるのではなく、アーキテクチャ設計によって実現すべきであるという原則を定量化しました。研究チームはソース監査を行い、alphaNLIの構築における表面アーティファクトの漏洩を発見したため、SQuAD2、RepLiQA、MuSiQueなどのネイティブラベル複製を用いてアーキテクチャ上の主張を固定しました。標準的な4ドメインスイートでは、YOPOのゲートウェイがドメイン内データセットで最良の性能を発揮し、ラベルなし方向がドメイン転移でも性能を維持する唯一のゲートウェイファミリーであることが証明されました。

今後の展望

YOPOはオープンソースコミュニティと産業導入に深い影響を与えます。推論コストを増加させることなく、高精度な推論と信頼性の高い拒否能力を凍結LLMに付与する効率的な手法を提供するため、リソース制約のあるデプロイ環境において特に価値があります。本研究は初の「回答または拒否」ベンチマークを提供し、分野のギャップを埋め、今後の研究のための標準化された評価ツールを確立しました。拒否を訓練された行動ではなくアーキテクチャ上の機能と位置づけるという発見は、モデル設計と訓練戦略に新たな指針を与え、開発の複雑さを低減する可能性があります。

産業応用の観点では、YOPOの単一フォワードパス特性は、低レイテンシとコスト効率性が不可欠なカスタマーサービスボットやインテリジェントアシスタントなどのリアルタイムシステムに適しています。残差ストリームの再構成手法と容量転移フロンティアの分析は、言語モデルの内部表現と機能デカップリングを理解するための新たな視座を提供します。この研究は、凍結モデルの機能強化に関するさらなる研究を刺激し、自然言語処理分野をより効率的で信頼性の高い複雑な推論タスクの解決策へと推進するでしょう。