PDF가 아니라 폴더를 분석하세요: 사건 파일에 필요한 관계형 테이블

배경

기업 문서 지능의 실무에서는 RAG(Retrieval-Augmented Generation) 시스템을 "PDF를 청크로 쪼개고 벡터 검색을 실행한 뒤 대규모 언어모델에 넘긴다"는 단일 파이프라인으로 축소하는 오류가 반복된다. 이 흐름은 블로그 글, 기술 매뉴얼, 내부 위키에서는 어느 정도 역할을 하나, 법률 사건, 보험 청구, 대출 신청처럼 '사건'을 단위로 정리되는 문서가 등장하면 무너진다. 이러한 문서들은 청크가 포착할 수 없는 공통의 구조를 지니고 있다.

최근 Towards Data Science에 실린 분석 글은 이 실패를 정면으로 지적한다. 핵심 주장은 해독의 대상이 PDF가 아니라 사건 전체 폴더이며, 구축할 가치가 있는 두 가지 질문은 애초에 검색 질문이 아니라는 것이다. 그들은 관계형 테이블의 문제다. 이 판단이 중요한 이유는 대부분의 기업 문서 시스템이 공유하는 아키텍처 시작점의 편차를 드러내기 때문이다.

사건 파일의 가치는 어떤 한 페이지의 의미에 있지 않고, 여러 문서와 페이지, 시간선을 가로지르는 관계의 네트워크에 있다. 대출 신청의 의미는 수입 증명서, 은행 거래 내역, 신용 보고서, 신청서가 서로 정확히 대조·대조·추적될 수 있느냐에서 나온다. 특정 증명서의 금액은 이러한 문서를 가로지르는 연결고리보다 중요하지 않다. 이런 것들을 전부 벡터 데이터베이스에 밀어 넣으면 관계의 그물을 흩어진 모래로 압축하는 결과가 된다.

심층 분석

벡터 검색은 의미적 유사성에 대한 질문에만 답한다. 주어진 질문에 가장 관련 있는 텍스트 청크를 찾아내는 데는 능하나, 문서 A의 금액이 문서 B의 금액과 일치하느냐, 계약의 서명자가 필수 조항을 모두 포괄하느냐, 특정 타임스탬프가 어떤 승인 절차의 어느 단계에 놓이느냐에는 답할 수 없다. 이런 질문에는 유사도 점수가 없다. 참이나 거짓, 예나 아니오, 일치하거나 불일치하는 결과만 내놓는다.

이런 답은 관계형 데이터베이스의 영역이다. 임베딩 공간의 코사인 거리가 아니라 외키, 제약 조건, 집계, 조인 연산이 지배한다. 이 차이는 구조적 차이이지, 단지 검색 튜닝의 문제가 아니다. 저자의 핵심 제안은 어떤 폴더도 열기 전에 색인 시스템이 이미 그 사건이 어떤 사건 유형에 속하는지 알고, 그 유형이 요구하는 내용을 미리 열거해야 한다는 것이다. 여기에는 분야 지식이 필요하다. 이혼 사건 파일에 어떤 문서가 필요한지, 공사 입찰에 어떤 자격증명이 필요한지, 보험 청구에 어떤 영수증이 필요한지 아는 것이다.

사건 유형이 주도하는 구조적 추출은全文 청크 뒤 수동적 검색과 정면으로 대립한다. 전자는 추출 전에 비즈니스 규칙을 스키마로 인코딩하고, 후자는 모든 것을 평등하게 평탄시켜 모델이 검색 시 즉흥Mean을 재조립하게 둔다. 후자는 특히 법적 맥락에서 위험하다. 청크 과정에서 중요한 관계가 단절되면 모델은 깨진 의미의 파편만으로 추론해야 하고, 오류는 높은 신뢰도로 드러난다.

산업 영향

이 차이는 자원이 흐르는 방향을 바꾼다. 선도 기업들은 더 나은 크래 전략에서 더 엄격한 사건 스키마 설계로 투자를 옮기고 있다. 경쟁 구도는 이에 따라 양분된다. 한 집단은 임베딩 모델과 랭킹을 두고 계속 경쟁하고, 다른 집단은 수직 사건 유형에 특화된 구조적 추출 엔진을 구축하기 시작한다. 후자는 전문적 상황에서 더 강한 해자를 지니기 쉽다.

구매자에게 이는 그들이 물어야 할 질문을 바꾼다. 문서 지능 솔루션을 고르는 것이 더 이상 검색 정확도가 어느 정도냐고 묻는 문제가 아니다. 더 날카로운 질문은 어떤 파일을 읽기 전에 시스템이 주어진 사건에 어떤 자재와 필드, 관계가 필요한지 밝힐 수 있느냐는 것이다.

전망

주목할 세 가지 신호가 있다. 첫째, 사건 유형이 주도하는 스키마를 자동 생성할 수 있느냐, 즉 시스템이 매번 수동 정의에 의존하지 않고 역사적 파일에서 사건 유형의 공통 테이블 구조를 귀납해낼 수 있느냐다. 둘째, 관계형 구조와 벡터 검색이 단일 시스템 안에서 어떻게 협력할 수 있느냐다. 구조적 질의로 핵심 문서를 위치시키고 의미적 검색으로 세부사항을 채워 서로 대체하지 않고 보완하게 하는 것이다. 셋째, 이런 테이블을 기관을 가로지르는 보편적 사건 데이터 모델로 표준화할 수 있느냐다. 서로 다른 로펌, 보험사, 은행 사이에서 진정한 데이터 상호운용성을 가능하게 하는 것이다.

이 세 방향이 전진하면 문서 지능은 단순히 PDF를 읽는 것을 넘어 실제로 사건을 완수하는 단계로 나아갈 것이다. 이 전환은 산업의 데모와 프로덕션 시스템을 가르는 물갈림이 될지도 모른다.