文書取り込みの静かな欠落：AIエージェントは強調を読めない

背景と概要

企業向けエージェントは、社内規程を実行したりコンプライアンスの質問に答えたりする前に、取り込み層でWordやPDFをトークンへ変換します。新しいarXiv論文は、この変換の段階で信頼性が静かに失われていると指摘しています。規程の作成者は、重要な要件を蛍光ペンのようなハイライトで示したり、目立つ色で書いたりして意味を伝えます。ところが主要なコンバーターは、こうした見た目の手がかりを落としてしまいます。

問題は、この欠落が静かに起きる点にあります。エージェントには何も警告が届きません。そのため答えが不足しているようには見えず、自信を持って誤答します。論文が挙げる中心的なリスクは、答えが足りなくなることではなく、確信を持った誤りです。

著者らは実在する規程文書76件を使い、作者が特に印そうとした要件を回復させる課題を作りました。正解ラベルはファイル自体のOOXML属性から作られ、ハイライト、色、太字、斜体、等幅、取り消し線が記録されています。採点はLLM審査ではなく決定的なマッチャーで行うため、別のモデルの意見に結果が左右されません。

深掘り分析

コンバーターがハイライトや色を捨てると、エージェントはどうなるのでしょうか。答えは、推測で埋めて、しかも自信を持って答える、というものです。書式を保持した場合のmicro F1は0.690でした。doclingでは0.150、プレーンテキスト抽出では0.075まで下がります。この差は6つの回答モデルで再現されました。Opus、Sonnet、Haikuの3階層にまたがる5つのClaudeモデルと、OpenAIのGPT-5.6です。弱点は特定のモデルではなく、入力側にあります。 誤答の自信を説明するのが誤検出の数字です。作者が印していない要件に対して、doclingの誤検出率は著者らの方式の4倍でした。手がかりが見えないエージェントは、印のある文と無い文を区別できず、強調のない箇所に強調を作り出してしまいます。 どの手がかりが効いているかを調べるため、著者らはスパン単位のleave-one-outを行いました。手がかりを1種類ずつ消して得点の低下を測り、多重比較はHolm法で補正しています。損失はほぼ2種類に集まりました。ハイライトが+0.302、色が+0.262で、どちらもp値は1e-4未満です。太字、斜体、等幅、取り消し線は、いずれもゼロとの差が0.003以内でした。太字が重要だという直感とは異なり、損害の中心はそこではありません。

ラベルの質も確認されています。ページを画像にレンダリングし、独立した視覚モダリティで照合したところ、kappaは0.72でした。さらに、書式を見ず文言だけでどの文が強調されたかを予測するとAUCは0.664にとどまり、文字情報だけで推測できる範囲の上限を示します。PDFでも同じ非対称性が確認されました。 事前登録した検証では、2つの対処を比較しました。1つは手がかりを残すだけの方法、もう1つは手がかりの種類を明示する方法です。種類を明示すると、さらに+0.085向上しました。Holm補正後のp値は0.049で、有意水準をわずかに超えた程度のため、追試が望まれます。

業界への影響

この結果が重く響くのは、影響を受ける手がかりがありふれているためです。6,460件の文書のうち32.8%に、意図的な色やハイライトがありました。さらに10.3%では、その印が義務条項に付いています。コンプライアンス用のエージェントが最も頻繁に問われる文です。 既存の解析ベンチマークは、色やハイライトの保持を採点していません。主要コンバーターもそれを保持しません。つまり現在の評価が隠している盲点です。デモでは問題なく動いたエージェントが、人が手作業で印を付けた実際の規程ファイルに接すると、静かに誤り始める。その理由を説明する材料になり得ます。

企業向けエージェントを作るチームにとっての実務上の教訓は、文書がモデルに届く前に何へ変わっているかを点検することです。新しいモデルに入れ替えても、そもそも届かなかった情報は戻りません。修復は低コストで、効果も測定できます。まず取り込み層で色とハイライトを保持し、次にそれを種類付きの手がかりとして明示します。事前登録の検証が示すとおり、後者でさらに向上します。 オープンソースのコミュニティにとっても、評価手法そのものに価値があります。ラベルはOOXML属性から作られ、決定的なマッチャーが採点するため、審査モデルのノイズがなく、他の人が数字を再現できます。新しいコンバーターや文書の種類を同じ手順で試すことも容易です。

今後の展望

論文は、いくつかの方向を残しています。1つ目は、検証の対象をWordとPDF以外の形式にも広げることです。PDFでも同じ傾向は見えましたが、ラベルの出どころが異なります。また、kappa 0.72という視覚的な照合は、ラベルが完全であることの証明ではなく、裏付けの一つです。

2つ目はコンバーターの設計です。種類付きの手がかりが有効なら、コンバーターは「ここはハイライト」「ここは色付き」といった情報を出力に載せる標準的な方法を持つ必要があります。+0.085という向上は、手がかりが残るかどうかだけでなく、どう表現されるかも重要であることを示します。p値0.049は境界上にあるため、規則として固める前に、別のコーパスでの確認が必要です。

3つ目はベンチマークです。解析ベンチマークが色とハイライトの保持を採点し始めれば、コンバーターの提供者に欠落を直す動機が生まれます。それまでは、各チームが自分たちの取り込み工程を点検し、意図的な印を持つ文書がどれだけあるかを数え、印を保持したときにエージェントの答えが変わるかを試すことが現実的です。論文の主張は明快です。企業エージェントの信頼性は、推論が始まる前の取り込み層で、主に決まります。