PDFだけでなくフォルダを解析する：事件記録に必要なリレーショナルテーブル

背景と概要

企業ドキュメントインテリジェンスの現場では、RAGシステムを「PDFを分割してベクトル検索し、大規模言語モデルに渡す」という単一パイプラインに簡素化することが多い。この流れはブログ記事や技術マニュアル、内部Wikiでは十分機能する。しかし、法律の事件記録、保険の理赔、ローンの申請のように「案件」を単位とした文書が並ぶ場面で、根本的な欠陥が露呈する。Towards Data Scienceに掲載された最近の分析記事は、この失敗を直接的に批判している。記事の中核となる主張は、解析の対象となるのはPDFではなく事件のフォルダ全体であり、構築する価値のある2つの質問はそもそも検索の問題ではないという点にある。

この判断が重要な理由は、多くの企業級ドキュメントシステムが共有するアーキテクチャの起点における逸脱を指摘している点にある。事件記録の価値は、任意の単一ページの意味ではなく、複数の文書・ページ・タイムラインにまたがる関係性のネットワークの中に宿る。ローンの申請において重要なのは、収入証明書に書かれた数字そのものではなく、収入証明書と銀行の取引明細、信用報告書、申請書が互いに正確に対応・照合・追跡できるかどうかである。これらすべてをベクトルデータベースに詰め込むことは、関係性の網をばらばらの砂に圧縮する行為に等しい。

深掘り分析

ベクトル検索は意味的な類似性に答える技術である。特定のクエリに対してどのテキスト断片が最も関連するかを特定するのは得意だが、文書Aの金額と文書Bの金額が一致するかどうか、契約の署名者が必須の条項をすべて網羅しているかどうか、あるタイムスタンプがどの承認フローのどの段階に位置するかといった質問には答えられない。このような質問には類似度の答えが存在しない。真か偽か、イエスかノーか、一致するか不一致かだけが返ってくる。

こうした答えは、埋め込み空間における余弦距離ではなく、外部キー・制約・集約・結合演算によって規律されるリレーショナルデータベースの領域に属する。著者の核心となる提案は、いかなるフォルダを開く前にも、インデックスシステムがその案件タイプを認識し、そのタイプが要求する内容のリストを事前に列挙すべきだというものである。これには領域知識が必要だ。離婚事件の記録にどの文書が必要か、建設の入札にどの資格証明が必要か、保険の理赔にどの領収書が必要か。案件タイプに駆動される構造化抽出は、全文を分割して受動的に検索する手法と正反対の位置に立つ。前者は抽出の前に業務ルールをスキーマとして符号化する。後者はすべてを平等に平坦化し、モデルに検索時にその場で意味を組み立てることに依存する。

後者の手法は法律の場面で特に危険である。分割の過程で重要な関係性が断ち切られると、モデルは壊れた意味の断片からしか推論できず、誤りは高い信頼度を持って表面化する。商業的な観点から見ると、その賭け事は正確さと責任の帰属に宿る。法律・金融・医療は文書処理の誤りにほとんど許容度を持たない。1つのフィールドのズレが、ローンの拒否、理赔の誤判、契約条項の見落としを引き起こしうる。誤りがベクトル検索の意味的ドリフトに由来する場合、責任はあいまいで追跡困難だ。関係スキーマの欠落に由来する場合、責任は明確で、アーキテクチャの修正によって是正可能だ。

業界への影響

この区別は、リソースがどこへ流れるかを変える。大手企業は、より優れた分割戦略から、より厳格な案件スキーマ設計へと投資を移動させている。競争格局もこれに応じて分岐する。一つのグループは埋め込みモデルとランキングで競争し続ける。もう一つのグループは、垂直的な案件タイプに特構した構造化抽出エンジン構築を始め、後者は専門的な場面ではより強い参入障壁を持つことが多い。

購入者にとって、これは彼らが問うべき質問を変える。ドキュメントインテリジェンスソリューションの選択は、検索正確率がどれほど高いか質問する問題ではなくなった。より鋭い質問は、システムがどのファイルも読む前に、特定の案件にどの材料・フィールド・関係性が必要かを述べられるかどうかである。

今後の展望

注目に値する3つの信号がある。第一に、案件タイプに駆動されるスキーマが自動生成できるかどうか。システムが、毎回手動定義に依存するのではなく、歴史的事件記録からある案件タイプの共通テーブル構造を帰納できるかどうか。第二に、リレーショナル構造とベクトル検索が1つのシステム内でどのように協調できるか。構造化クエリが重要文書を特定し、意味的検索が細部を補充することで、互いを置き換えるのではなく補完し合うようにする仕組みだ。第三に、こうしたテーブルが機関を横断する汎用の案件データモデルとして標準化できるかどうか。異なる法律事務所・保険会社・銀行の間で本当の意味でのデータ相互運用性を可能にするための条件だ。

この3つの方向が進めば、ドキュメントインテリジェンスは「PDFを読める」ことから「案件を成し遂げられる」へと真に進出する。この移行は、業界のデモと本番システムの間に立つ分水嶺となるかもしれない。