멀티그라뉼리티 문맥 강화 멀티모달 지식 그래프 RAG 방법
검색 증성 생성(RAG)은 대규모 언어모델 및 멀티모달 대규모 언어모델(MLLM)의 환각을 완화하는 데 널리 사용되며, 지식 그래프 기반 RAG는 구조화된 지식을 통해 고품질 외부 정보를 모델에 제공합니다. 최근 연구는 멀티모달 지식 그래프(MMKG)를 GraphRAG의 지식베이스로 사용하여 모달리티 간 지식 통합을 탐구하고 있습니다. 그러나 기존 방법은 일반적으로 각 모달리티를 독립적으로 처리한 후 융합하는 공통 파이프라인을 채택하여, 시각적 정보 추출 및 지식 융합 단계에서 텍스트 문맥 활용이 제한되고 이미지와 텍스트 사이에 의미론적 간극이 남아 멀티모달 GraphRAG의 성능이 제약됩니다. 본 논문은 문맥 강화형 MMKG(CEMMKG)를 구축하는 새 프레임워크를 제안합니다. 로컬과 글로벌 두 범위에서 각 이미지에 상호보완적인 텍스트 문맥을 추가합니다. 로컬 문맥은 주변 텍스트를 넘어 이미지 의미와 관련된 문장을 포함하고, 글로벌 문단은 문단 전체의要약을 제공하며, 추가로 로컬 문맥에 멀티그라뉼리티 설계를 도입하여 서로 다른 세부 수준의 정보를 포착합니다. 시각 중심 데이터셋에서 다수의 실험을 통해 CCEMMKG의 유효성이 검증되고, 다양한 MMKG 기반 RAG 방법 전반에 걸쳐 넓은 적용성이 드러납니다.
배경
검색 증성 생성은 대규모 언어모델 및 멀티모달 대규모 언어모델의 각 문제를 완화하는 데 널리 사용되는 대표적 접근법이다. 특히 지식 그래프 기반 접근법은 구조화된 지식을 통해 모델에 원본 검색보다 더 신뢰할 수 있는 고품질 외부 정보를 제공하며, 이는 환각 현상을 줄이는 데 효과적이다. 최근에는 멀티모달 지식 그래프가 GraphRAG의 지식베이스로 도입되면서, 이러한 시스템은 시각과 언어를 아우르는 다양한 모달리티 간 지식을 통합할 수 있게 되었다. 이로 인해 구조화된 검색의 장점이 비전-언어 작업까지 확장되고 있다.
그러나 연구진들은 대부분의 기존 멀티모달 지식 그래프 기반 방법이 공통된 파이프라인을 따른다고 지적한다. 각 모달리티는 융합 전에 기본적으로 서로 독립적으로 처리되는데, 이런 순차적 설계로 인해 텍스트 문맥은 시각적 정보 추출 및 지식 융합 단계에서 제한적으로만 활용된다. 그 결과 이미지와 텍스트 사이에 의미론적 간극이 남아 멀티모달 GraphRAG의 전체 성능이 제약된다.
이러한 핵심 한계를 해결하기 위해 본 연구는 문맥 강화형 멀티모달 지식 그래프를 구축하는 새 프레임워크를 제안한다. 모달리티를 고립된 것으로 취급하는 대신, 이 프레임워크는 지식 그래프를 구성하는 단계에서 적극적으로 풍부한 맥락 정보를 주입한다. 이를 통해 각 이미지를 관련된 텍스트 의미와 더 밀접하게 연결하고, 의미론적 간극을 그 근원에서부터 줄인다.
심층 분석
이 프레임워크는 지식 그래프 내 각 이미지에 두 가지 서로 다른 범위에서 상호보완적인 텍스트 문맥을 추가한다. 로컬 문맥은 바로 주변 텍스트를 넘어 이미지의 의미와 관련된 문장까지 포함하므로, 단순한 인접성보다 더 풍부하고 정밀한 정보를 제공한다. 반면 글로벌 문맥은 단락 전체를 요약한 내용을 제공하여 모델이 더 넓은 의미론적 맥락을 파악할 수 있도록 돕는다.
로컬 문맥을 다양한 요구에 맞게 적응시키기 위해 설계는 멀티그라뉼리티를 도입한다. 이를 통해 시스템은 서로 다른 세부 수준에서 의미론적으로 관련된 정보를 포착할 수 있다. 이렇게 하면 중요한 세부사항은 보존하면서도 전반적 요약을 유지할 수 있어, 각 이미지가 고립된 시각적 요소로 남지 않고 다층적인 의미론적 네트워크 안에 자리잡게 된다.
구성 단계에서 이 방법은 추출 및 융합 과정에서 텍스트 의미를 최대한 활용하는 것을 강조한다. 로컬 및 글로벌 정보를 구조화된 방식으로 그래프에 조직함으로써, 하류의 검색 및 생성 작업에 더 탄탄한 지식 기반을 마련한다. 비전 중심 데이터셋에서 수행된 다수의 실험을 통해 CCEMMKG가 멀티모달 지식 그래프 기반 검색 증성 생성 성능을 크게 개선함이 확인되었으며, 이는 이미지와 텍스트 간 의미론적 간극을 줄이라는 설계의 가치를 입증한다.
산업 영향
각 문제는 오랫동안 대규모 언어모델 및 멀티모달 모델이 의료, 법조, 금융과 같은 위험도가 높은 분야에서 실사로 배치되는 것을 막아온 주요 병목현상이었다. 검색 증성 생성은 이를 완화할 수 있는 중요한 경로로 부상했다. 지식 구성 단계에서 의미론적 간극을 메움으로써 본 연구의 접근법은 더 신뢰할 수 있는 멀티모달 시스템으로 나아가는 실용적인 기술 경로를 제공한다.
멀티그라뉼리티 로컬 문맥과 글로벌 요약을 결합한 이 방법은, 더 복잡한 멀티모달 작업에서 GraphRAG를 발전시킬 수 있는 재사용 가능하고 확장 가능한 지식 표현 아이디어를 오픈소스 커뮤니티에 제공한다. 이 프레임워크가 다양한 멀티모달 지식 그래프 기반 방법에 걸쳐 넓은 적용성을 보여주므로, 산업계는 기존 아키텍처를 크게 변경하지 않고도 이 강화 방식을 통합할 수 있다.
전망
이 프레임워크의 방법에 종속되지 않는 설계는 문맥 강화가 특정 시스템에만 묶인 수정법이 아니라 범용적 증강 수단으로 기능할 수 있음을 시사한다. 이는 멀티모달 지식 그래프가 범위를 확장함에 따라 이를 다양한 검색 및 융합 전략과 결합할 수 있는 길을 연다.
향후 연구는 멀티그라뉼리티 메커니즘을 더 미세한 세부 단계로 확장하거나, 로컬-글로벌 균형을 도메인 특화 검색 패턴에 맞게 조정할 수 있다. 멀티모달 모델이 더 신뢰할 수 있고 실용적인 배치 방향으로 나아가는 가운데, 그래프 구성 시 구조화된 문맥 강화는 신뢰할 수 있는 멀티모달 생성을 위한 표준 구성 요소가 될 가능성이 크다.