PageIndex: 벡저장소 없는 추론형 문서 검색 엔진

배경

검색 augmented 생성(RAG)은 오랫동안 벡터 저장소를 중심으로 동작해 왔다. 쿼리를 저장된 청크와 의미적 유사성으로 매칭하는 이 방식은 일상적인 질문에는 어느 정도 작동하지만, 길고 중요한 전문 문서에서는 한계를 드러낸다. 작은 중국의 스타트업 VectifyAI는 벡터 저장소와 텍스트 청크를 모두 포기한 오픈소스 엔진 PageIndex를 공개했다. 대부분의 팀이 더 큰 벡터 인덱스, 더 세분화된 청크, 더 나은 임베딩 모델을 쫓는 산업의 주류 흐름에 반대하는 포지션이다. 대신 PageIndex는 전문가가 긴 보고서를 읽는 방식을 모방한다.

PageIndex가 노리는 핵심 문제는 검색 방식과 문서 성격 사이의 불일치다.決算서, 법무 문서, 규제 제출물, 기술 매뉴얼 같은 긴 문서에서 벡터 검색은 비슷하지만 관련 없는 구절을 자주 끌어내고, 관련은 있지만 유사한 구절은 놓치기 쉽다. 이 엔진의 전제는 유사성이 관련성이 아니며, 진정한 관련성은 추론을 필요로 한다는 것이다. 청크를 거리 점수로 랭킹하는 대신 PageIndex는 문서의 구조를 재구성해 모델이 추론으로 답변에 도달하게 한다.

심층 분석

PageIndex는 결정 트리를 탐색했지 위치를 암기하지 않은 바둑 시스템 AlphaGo에서 명시적으로 영감을 받았다. 이 엔진은 문서의 구조화된 레이아웃을 계층형 트리 인덱스로 변환해 평평한 벡터 인덱스를 대체한다. 워크플로우는 두 단계로 진행된다. 인덱싱 단계에서는 각 문서의 트리 인덱스가 생성되는데, 이 구조는 문서 레이아웃에서 직접 추출된다. 인덱스 모델은 요약과 정제만 수행하므로 기본 모델도 이 작업을 수행할 수 있다. 검색 단계에서는 에이전트가 대규모 언어 모델을 사용해 추론적으로 트리를 검색한다.

이 변화는 여러 가지 구체적 차이를 낳는다. 인덱싱은 벡터에서 트리로, 검색은 유사성 검색에서 트리 기반 추론으로, 결과는 불투명한 점수에서 명시적 인용으로 추적 가능한 결론으로 바뀐다. 컨텍스트도 쿼리 임베딩을 넘어 대화 기록과 도메인 지식을 포함하도록 확장된다. 개발자는 검은 상자 점수를 바라보는 대신 답변이 문서의 어느 부분을 가리키는지 정확히 확인할 수 있다. 이 설계는 또한 전형적인 RAG 파이프라인에서 두 가지 무거운 의존성을 제거해 시스템 복잡성과 유지보수 비용을 낮춘다.

통합은 의도적으로 경량적이다. 개발자는 pip를 통해 pageindex 패키지를 설치하고, PageIndexClient에 트리 인덱스 생성 모델과 검색 모델을 각각 지정하며, 문서를 제출해 doc_id를 받은 뒤 대화형 쿼리를发起한다. 최근 업데이트로 로컬 모드는 팀의Own LLM 키를 사용해 인덱싱, 검색, 대화를 완전히 온디바이스에서 완주할 수 있고, 동일한 클라이언트를 PageIndex Cloud에 API 키로 가리킬 수도 있다. 로컬 모드는 기본적으로 텍스트 기반 PDF를 위한 Flash 고속 트리 인덱스 경로를 사용한다.

산업 영향

PageIndex는 정확성과 준수성이 가장 중요한 전문 긴 문서 워크플로우를 타깃으로 한다. 전형적인 사용 사례로는 재무 분석, 계약 검토, 규제 준수 쿼리, 기술 문서 질문답변이 있다. 금융, 법무, 의료, 학술 분야는 설명 가능하고 감사 가능한 결과의 혜택을 받는데, 결정에 문서상 흔적과 검토가 필요한 상황에서 이러한 조건은 중요하다. 벡터 저장소와 청크 전략에 대한 의존도를 낮춤으로써 이 엔진은 공학 팀에게 더 추적 가능한 답변으로 가는 길을 제공한다.

문서 간 규모화에 대해 VectifyAI는 PageIndex File System를 도입해 인덱스 레이어를 파일 레벨 트리로 확장했다. 이로 인해 엔진은 단일 문서가 아니라 전체 말뭉치를 통해 추론할 수 있게 된다. 문서, 웹사이트, 클라우드, 블로그 자원이 완전한 온보딩 경로를 형성하고, 앱은 긴 전문 문서를 향한 인격화된 문서 분석 에이전트를 제공한다. 커뮤니티는 agentic-ai, agents, context-engineering, information-retrieval, llm, rag 등 주제를 중심으로 활발하게 유지된다.

전망

PageIndex는 관련성을 유사성에서 분리하고, 추론과 추적 가능한 인용을 사용해 높은 정확성 요구를 가진 분야에 서비스를 제공함으로써 긴 문서 검색의 패러다임을 재정의한다. 개발자에게 그 가치는 벡터 인프라에 대한 의존을 줄이면서 결과를 설명 가능하고 감사 가능하게 만든다. 그러나 위험도 주의 깊게 살펴볼 필요가 있다. 추론 기반 검색은 모델 능력에 크게 의존하며, 비용과 지연 시간은 일반적으로 순수 벡터 검색을 초과한다. 인덱스 모델에 대한 호출과 트리의 크기는 직접적으로 경험에 영향을 미친다.

백만 문서 규모의 문서 간 추론은 여전히 성능과 일관성에 대한 검증이 필요하고, Flash와 파일 시스템과 같은 새로운 능력은 개발 중이다. 주목할 미래 방향으로는 추론 비용과 검색 지연 시간의 균형, 초대규모 말뭉치에 대한 트리 인덱스의 확장 방식, 그리고 PageIndex가 매우 신뢰할 수 있는 답변이 필요한 산업에서 벡터 RAG의 지속 가능한 대체제가 될 수 있는지가 있다.