문서 수집의 조용한 손실: AI 에이전트가 강조를 놓친다

배경

기업용 에이전트는 문서를 직접 읽지 않는다. 규정을 따르거나 컴플라이언스 질문에 답하려면, 먼저 수집 계층이 Word나 PDF 파일을 토큰으로 바꿔야 한다. 새 arXiv 논문은 이 변환 단계에서 신뢰성이 조용히 무너진다고 지적한다. 작성자는 핵심 요구사항에 형광펜을 칠하거나 눈에 띄는 색을 입혀 의미를 전달하는 경우가 많은데, 주요 변환기는 이런 신호를 버린다.

문제는 손실이 드러나지 않는다는 점이다. 에이전트는 정보가 빠졌다는 경고를 받지 못하고, 불완전해 보이는 대신 자신 있게 틀린 답을 낸다. 저자들은 실제 규정 문서 76건으로, 작성자가 따로 표시한 요구사항을 복원하는 과제를 설계했다. 정답은 파일의 OOXML 속성에서 가져왔고, LLM 심사 없이 결정적 매처로 채점했다.

심층 분석

수집 방식에 따라 점수가 크게 갈린다. 서식을 유지하면 micro F1이 0.690이다. docling으로 바꾸면 0.150, 일반 텍스트 추출은 0.075까지 떨어진다. Claude 다섯 개 모델과 OpenAI의 GPT-5.6을 포함한 여섯 개 응답 모델에서 같은 결과가 재현됐으므로, 약점은 특정 모델이 아니라 입력에 있다. 작성자가 표시하지 않은 요구사항에 대한 docling의 오탐률은 저자 방식의 네 배였다.

어떤 단서가 손실을 만드는가? 저자들은 단서를 하나씩 지우는 span 단위 leave-one-out 검증을 했고, Holm 방법으로 다중 비교를 보정했다. 형광펜이 +0.302, 색상이 +0.262로 손실은 이 두 단서에 집중되며 p값은 모두 1e-4 미만이다. 굵게, 기울임, 고정폭, 취소선은 각각 0에서 0.003 이내로 영향이 거의 없다. PDF에서도 같은 비대칭이 나타났다.

라벨 품질도 점검했다. 페이지를 이미지로 렌더링해 독립된 시각 모달리티로 확인했을 때 kappa는 0.72였고, 문구만으로 표시된 문장을 예측하면 AUC가 0.664에 그쳤다. 사전 등록 실험에서는 단서를 보존하는 데서 나아가 유형을 표기하면 +0.085가 더 오른다. 다만 Holm 보정 p값이 0.049로 기준을 간신히 넘으므로 추가 재현이 필요하다.

산업 영향

6,460건의 문서 중 32.8%가 의도적인 색상이나 형광펜을 담고 있었고, 10.3%에서는 그 표시가 의무 조항에 놓여 있었다. 컴플라이언스 에이전트가 가장 자주 질문받는 문장이다. 현재 파싱 벤치마크는 색상과 형광펜 보존을 채점하지 않으며 주요 변환기도 이를 유지하지 않는다. 데모에서는 멀쩡하던 에이전트가 배포 후 조용히 틀리는 현상을 이 사각지대가 설명할 수 있다.

기업용 에이전트를 만드는 팀에는 구체적인 교훈이 있다. 모델을 새로 바꾸기 전에, 문서가 모델에 닿기 전에 무엇으로 바뀌는지부터 확인해야 한다. 도착하지 않은 정보는 어떤 모델도 복원하지 못한다. 수정 비용은 낮고 효과는 측정 가능하다. 먼저 수집 계층에서 색상과 형광펜을 보존하고, 이어 유형을 붙이면 된다. OOXML 속성으로 라벨을 만들고 결정적 매처로 채점하는 방식은 심사 모델의 잡음이 없어 다른 연구자가 재현하기도 쉽다.

전망

후속 과제는 세 가지다. 첫째, 같은 검증을 Word와 PDF 너머의 더 많은 파일 형식으로 넓히는 일이다. PDF에서도 비슷한 양상이 나왔지만 라벨 출처가 다르고, kappa 0.72의 시각 검증은 완벽한 라벨의 증명이 아니라 근거에 가깝다. 둘째, 변환기 설계다. 유형 표기가 효과를 낸다면 변환기가 형광펜이나 색상 구간을 표준 방식으로 출력에 담아야 한다.

셋째는 벤치마크다. 파싱 벤치마크가 색상과 형광펜 보존을 채점하기 시작하면 변환기 개발사도 이 공백을 메울 이유가 생긴다. 그때까지 각 팀은 자사 수집 단계를 점검하고, 문서 중 의도적 표시를 담은 비율을 재고, 표시를 보존했을 때 에이전트의 답이 달라지는지 시험해 볼 만하다. 논문의 핵심 주장은 단순하다. 기업 에이전트의 신뢰성은 추론이 시작되기 전, 수집 단계에서 대부분 결정된다.