DarKnight：RAGエージェントがダークウェブCAPTCHAを突破

背景と概要

サイバー脅威インテリジェンス（CTI）の調査員は、ダークウェブ市場で流出したアカウント認証情報やデータ侵害のリストを追跡しています。ところが市場の運営者は自動収集を防ぐためにさまざまなCAPTCHAを設置しており、調査員のクローラーはまずこれを通過しなければ、ページの内容すら見られません。

既存の対策は大きく二つあります。一つはサイト単位でモデルを微調整する方法です。市場が変わるたびにデータ収集と再学習が必要になり、規模を広げられません。もう一つは商用の視覚言語モデル（VLM）APIに頼る方法です。ベンダーの方針変更、Tor出口のブロック、政府規制、調査員の知らないところで行われるモデル更新によって、求解器が突然使えなくなったり、挙動が変わったりします。呼び出しや再試行のたびに費用もかかります。

この状況を前提に設計されたのがDarKnightです。調査員のTorクローラーの隣にある1枚のワークステーションGPUで動くことを目指した、自己改善型のエージェント型フレームワークです。ローカルに置いた小型のオープンウェイトVLMだけを使うため、市場ごとの学習も第三者サービスも要りません。

深掘り分析

DarKnightの発想は、モデルを大きくするのではなく、小さなモデルに「答える前に手を考えさせる」ことにあります。CAPTCHAごとに、まず類似した画像での過去の試行を検索します。取り出すのは成功例と失敗例の両方で、論文はこれをデュアルシグナルRAG（検索拡張生成）と呼んでいます。成功例は有効だった手順を示し、失敗例は通用しないと分かっている手順を示します。成功例だけを蓄える方式より、同じ誤りを繰り返しにくくなります。 次に、検索した経験をもとに、その画像専用の前処理パイプラインを組み立てます。使える画像処理ツールから適したものを選んで順序を決めるもので、すべての画像に同じ処理を一律に当てるわけではありません。読みやすかった画像まで一律の前処理で傷めてしまう問題を避けるためです。 最後は閉ループの学習です。回答に対してサイトが返す「通過」か「失敗」の結果を、実際のフィードバックとして経験の蓄積に書き戻し、以降の類似画像の検索に使います。この過程について、重みの更新や人手によるラベル付けは記載されていません。使うほど改善しながら、ローカル運用と市場ごとの学習不要という特徴を保てます。

評価は、防護の強さが異なる実在の4つのダークウェブ市場での事例研究です。最も防御が堅い市場では、展開可能なオープンウェイトVLMにDarKnightを組み合わせた構成が83.2%に達しました。これは同じベースモデルより37.2ポイント高く、最先端モデルClaude Opus 5の44%も上回ります。この研究では、モデルの大型化よりエージェントによるツール選択のほうが効果的でした。 さらに、ベースラインの失敗の48.2%を修正した一方で、7.6%の劣化も生じました。もともと正解していた例が誤りに変わった割合です。劣化が小さく収まったことは、画像ごとにツールを選べば一律の前処理による性能低下の大部分を避けられる、という著者らの主張を支えています。

業界への影響

セキュリティチームにとって最大の利点は、制御を手元に置けることです。ベンダーの方針や地域ブロック、モデルのバージョン更新で止まりうる求解器は、長期にわたる情報収集の流れの中で弱い環節になります。ローカルで動くオープンウェイトのモデルはその依存を取り除き、収集量に比例して増える呼び出し単位の費用もなくします。GPU1枚でTorクローラーの隣に置ける構成なので、小規模な調査チームにも手が届きます。

この結果は、この分野を超えた使い方も示しています。83.2%と44%という差は、検索とツールを備えた小型モデルが、限られた視覚タスクでは大型の商用モデルを上回りうることを示します。外部APIに頼れない環境や制約のある環境で視覚タスクを動かすチームは、パラメータ数を増やす代わりに、保存した経験と外部ツールで推論時に賢くするという考え方を参考にできます。

なお、運営者が設けた関門を通過する技術は、一般にはCAPTCHA突破の手法でもあります。出典はあくまでCTIの監視業務という文脈で位置づけており、本記事もその枠組みに従っています。

今後の展望

今回の根拠は4つの市場に限られており、より多くのサイトや長い期間でも効果が続くかは、まだ示されていません。運営者がCAPTCHAを変えて対抗する可能性もあります。サイトからのフィードバックに頼る設計である以上、経験の蓄積もその変化に追随し続ける必要があります。

設計上の未解決点も残っています。デュアルシグナルの記憶は、どの経験を選び、どう更新するのか。ツールの集合はどこまで増やしても選択が破綻しないのか。48.2%の修正率を保ったまま、7.6%の劣化をさらに下げられるのか。これらに答えが出れば、選択的なツール利用が有望な事例研究から、CTIチームの信頼できる運用手法へ進めるかどうかが見えてきます。