OpenVLHarness：マルチモーダル記憶で視覚エージェント強化
マルチモーダル大規模モデルの視覚推論は急速に進歩しましたが、多くのタスクでは内部推論では得にくい証拠が必要です。本論文は 22 のベンチマークで比較研究を行い、基盤モデルの推論予算を増やすだけでは効果が限定的であることを示しました。そこで著者らは、能力レイヤーと永続的なマルチモーダル記憶を軸にした推論フレームワーク OpenVLHarness を提案します。能力レイヤーはタスク単位のツールインターフェースと証拠のレンダリングを組み合わせ、異種バックエンドを統合し、出力をモデルが読める観測に変換します。永続記憶は、画像、構造化データ、Web 参照をアドレス指定可能な成果物として保存し、クエリ全体で利用できるようにします。コードインターフェースは保存済みデータに対して生成プログラムを実行し、複数ツールの結果を統合します。22 のベンチマークと、オープン・クローズド合わせて 8 つのバックボーンで、同条件のツールなしベースラインを平均 9.7〜12.6 ポイント上回りました。Qwen3-VL-8B は 11.2、Kimi K3 は 9.7、GPT-6 Astra は 9.9 ポイント向上しています。GPT-6 Luna の中程度の推論強度では、最大強度の基盤モデル、Codex、Visual Sketchpad を 7.7〜8.5 ポイント上回り、モデルのトークンコストは最大でも 37% にとどまりました。
背景と概要
マルチモーダル大規模モデルの視覚推論は急速に進歩しましたが、それでも解けないタスクが残っています。OpenVLHarness の論文は、その原因を「考える時間の不足」ではなく「証拠の不足」だと見ています。正確な知覚上の位置特定、外部知識、ツールで測らなければ得られない数値などは、モデルが頭の中で推論しても導き出せないからです。
著者らはこの見立てを、22 のベンチマークによる比較研究で確かめました。基盤モデルの推論予算を増やしても、平均スコアの伸びは限定的でした。内部で長く考えさせるだけでは差が埋まらず、モデルが外部から証拠を取ってくる必要があるという結論です。
この結果を受けて提案されたのが OpenVLHarness です。新しいモデルではなく、能力レイヤーと永続的なマルチモーダル記憶を軸にした推論フレームワークです。1 回のクエリの中で、証拠の取得、確認、組み合わせを繰り返せるように設計されています。
深掘り分析
仕組みは3つの部分が連携して成り立っています。1つ目は能力レイヤーです。タスク単位のツールインターフェースと証拠のレンダリングを組み合わせ、異種バックエンドを同じ方法で呼び出せるようにします。さらに各バックエンドの生の出力を、モデルが読める観測に変換します。ツールが返すものは画像、構造化データ、Web 内容とさまざまで、そのまま渡すとモデルが読み取れなかったり、文脈が埋もれたりするためです。 2つ目は永続的なマルチモーダル記憶です。ツール呼び出しで得た画像、構造化データ、Web 参照を、アドレス指定可能な成果物として保存し、クエリ全体で保持します。後続のステップは、保存済みの画像や表をアドレスで参照できます。文脈に入れ直す必要はなく、対話が長くなっても初期の証拠が失われません。 3つ目はコードインターフェースです。モデルが生成したプログラムが、記憶に保存されたデータに対して実行されます。複数ツールの結果を比較したり集計したりする作業は、モデルの暗算ではなくコードに任せられます。取得し、確認し、コードで答えにまとめる、という循環です。 OpenVLHarness はツールなしのベースラインをどれだけ上回るのでしょうか。論文は 22 のベンチマークと、オープン・クローズド合わせて 8 つのバックボーンで評価しました。同条件のツールなしベースラインに対し、平均 9.7〜12.6 ポイントの向上です。個別には Qwen3-VL-8B が 11.2、Kimi K3 が 9.7、GPT-6 Astra が 9.9 ポイント向上しました。小型のオープンモデルにも強力なクローズドモデルにも効果があり、特定のモデル系列に限った話ではありません。
最も示唆的なのはコストの比較です。GPT-6 Luna を中程度の推論強度で動かした構成は、最大強度の基盤モデル、Codex、Visual Sketchpad を 7.7〜8.5 ポイント上回りました。それでもモデルのトークンコストは、最大でも相手の 37% にとどまります。予算を長い内部推論に回すより、証拠の取得と組み合わせに使うほうが効率的だと言えます。冒頭の比較研究の結論とも一致します。
業界への影響
エージェントシステムを作る側にとって、この論文は現実的な方向転換を示します。重点は、モデルの推論時間を延ばすことから、ツールをどうつなぎ、結果をどう見せ、証拠をどう保存するかという設計に移ります。中程度の強度のモデルに出来のよい harness を組み合わせれば、より低いトークンコストでより良い結果が得られる可能性があります。推論予算に制約のあるチームには魅力的です。
設計はモジュール性の面でも有利です。統一されたツールインターフェースとアドレス指定可能な成果物があるため、知覚や検索のバックエンドを差し替えたり拡張したりしやすくなります。推論ループを書き直さずに、一部のバックエンドだけを入れ替えられます。
Codex や Visual Sketchpad との比較も、ツールを使うエージェント全般に参考になります。どちらも素の推論以上の手段をモデルに与える既存の手法ですが、OpenVLHarness はそれらを上回り、使うトークンも少なくて済みました。ツールが存在するかどうかだけでなく、出力をどう提示し、どう保持するかが成否を分けることを示唆します。
今後の展望
未解決の点も残っています。入力の要約が示すのは平均スコアとコストで、構成要素ごとの切り分け実験の数値はありません。能力レイヤー、記憶、コードインターフェースがそれぞれどれだけ寄与するかは不明であり、本稿でも推測はしません。失敗事例についても、提供された資料には記述がありません。
永続的なマルチモーダル記憶は、新しい研究課題も生みます。長い処理の中で画像やデータの成果物をどう整理し、どう検索するか。コードと知覚ツールをどう密に連携させるか。実世界のタスクで証拠の質をどう測るか。これらの答えが、9.7〜12.6 ポイントの向上が 22 のベンチマークの外でも成り立つかを左右します。
実務者への教訓は明確です。最大の推論強度に費用をかける前に、そのタスクが証拠不足かどうかを確かめることです。証拠不足なら、証拠を取得し、保存し、計算まで行う harness のほうが、大きな推論予算に勝る場合があります。GPT-6 Luna がトークンコスト 37% 以下で上回った結果は、その可能性を裏づけています。
Sources
FAQ
OpenVLHarness とは何ですか？
OpenVLHarness は、能力レイヤーと永続的なマルチモーダル記憶を軸にした、マルチモーダルモデル向けの推論フレームワークです。1 回のクエリの中で、外部ツールから証拠を取得し、確認し、組み合わせます。新しいモデルではなく、この実行基盤が貢献の中心です。
OpenVLHarness はなぜ重要なのですか？
OpenVLHarness が重要なのは、22 のベンチマークで基盤モデルの推論予算を増やしても効果が限定的だったためです。8 つのバックボーンで、ツールなしの同条件ベースラインを平均 9.7〜12.6 ポイント上回り、GPT-6 Luna の中程度の強度ではトークンコストが最大 37% でした。
OpenVLHarness について今後何に注目すべきですか？
OpenVLHarness について注目すべきは、記事が平均スコアとコストを示す一方、能力レイヤー、永続記憶、コードインターフェースの個別の寄与や失敗事例を示していない点です。今後の研究でこれらの分析と、実世界タスクでの証拠品質の評価が期待されます。