DarKnight: RAG 에이전트로 다크웹 CAPTCHA 해독
사이버 위협 인텔리전스 조사관은 다크웹 마켓을 모니터링하려면 먼저 운영자가 설치한 다양한 CAPTCHA를 통과해야 합니다. 기존 방식은 사이트마다 파인튜닝이 필요해 확장하기 어렵거나, 상용 VLM API에 의존합니다. 이런 API는 업체 정책, Tor 출구 차단, 정부 규제, 모델 업데이트 때문에 언제든 막힐 수 있고, 호출과 재시도마다 비용도 듭니다. DarKnight는 스스로 개선하는 에이전트형 프레임워크입니다. 조사관의 Tor 크롤러 옆에 있는 워크스테이션 GPU 한 장에서 실행되며, 로컬에 배포한 소형 오픈 웨이트 VLM만 사용하고 마켓별 학습이 필요 없습니다. 각 CAPTCHA마다 유사한 이미지에서 성공하고 실패한 과거 시도를 검색하고(듀얼 시그널 RAG), 그 이미지에 맞는 전처리 파이프라인을 생성하며, 사이트가 알려 주는 통과 또는 실패 결과로 계속 학습합니다. 실제 다크웹 마켓 4곳을 대상으로 한 사례 연구에서는 모델 크기를 키우는 것보다 에이전트가 도구를 고르는 방식이 더 효과적이었습니다. 배포 가능한 오픈 웨이트 VLM에 DarKnight를 결합하면 방어가 가장 강한 마켓에서 83.2%를 기록했습니다. 기반 모델보다 37.2%p 높고, 최첨단 모델 Claude Opus 5(44%)도 넘어섭니다. 또한 기준 모델 실패의 48.2%를 바로잡았고 성능 저하는 7.6%에 그쳤습니다. 도구를 선택적으로 쓰면 일괄 전처리로 생기는 성능 하락 대부분을 피할 수 있다는 뜻입니다.
배경
사이버 위협 인텔리전스(CTI) 조사관은 다크웹 마켓을 감시하며 유출된 계정 정보와 데이터 침해 목록을 추적합니다. 그런데 크롤러가 페이지를 보려면 먼저 마켓 운영자가 자동 수집을 막으려고 설치한 CAPTCHA를 통과해야 합니다. 이 관문은 사이트마다 달라서, 드문 예외가 아니라 매일 부딪히는 실무 장벽입니다.
기존 방법은 두 가지입니다. 하나는 사이트마다 모델을 파인튜닝하는 방식입니다. 새 마켓이 생기면 데이터를 다시 모으고 다시 학습해야 하므로 비용이 크고 확장하기 어렵습니다. 다른 하나는 상용 VLM API를 호출하는 방식입니다. 업체 정책 변경, Tor 출구 차단, 정부 규제, 조용한 모델 업데이트 중 하나만 생겨도 풀이기가 하루아침에 멈추거나 동작이 달라질 수 있습니다. 호출과 재시도마다 비용도 쌓입니다.
DarKnight는 바로 이 상황을 겨냥한 프레임워크입니다. 조사관의 Tor 크롤러 옆에 있는 워크스테이션 GPU 한 장에서 실행되고, 로컬에 배포한 소형 오픈 웨이트 VLM만 사용합니다. 마켓별 학습도, 외부 서비스도 필요 없어서 어떤 업체의 결정으로도 풀이기를 잃지 않습니다.
심층 분석
핵심 아이디어는 모델을 키우는 대신 작은 모델이 답하기 전에 먼저 계획을 세우게 하는 것입니다. 각 CAPTCHA마다 시스템은 유사한 이미지에서 성공하고 실패한 과거 시도를 모두 검색합니다. 논문은 이를 듀얼 시그널 RAG라고 부릅니다. 성공 사례는 무엇이 통했는지를, 실패 사례는 이미 통하지 않는 것으로 확인된 방법을 알려 줍니다. 성공 기록만 쓰는 것보다 같은 실수를 되풀이하지 않는 데 유리합니다. 다음으로 프레임워크는 그 이미지에 맞는 전처리 파이프라인을 만듭니다. 사용 가능한 이미지 처리 도구 중 몇 가지를 골라 순서를 정하는 방식이며, 모든 이미지에 같은 처리를 일괄 적용하지 않습니다. 일괄 전처리는 원래 읽기 쉬운 이미지까지 망가뜨릴 수 있기 때문입니다. 마지막은 피드백 루프입니다. 사이트가 답에 대해 돌려주는 통과 또는 실패 결과가 학습 신호가 되어 이후 유사 이미지 검색에 쓰입니다. 이 과정에서 모델 가중치 갱신이나 사람의 라벨링은 언급되지 않습니다. 근거는 방어 수준이 서로 다른 실제 다크웹 마켓 4곳의 사례 연구입니다. 방어가 가장 강한 마켓에서 배포 가능한 오픈 웨이트 VLM에 DarKnight를 결합하면 83.2%를 기록했습니다. 기반 모델보다 37.2%p 높고, 최첨단 모델 Claude Opus 5의 44%도 넘어섭니다. 이 연구에서는 모델 크기를 키우는 것보다 에이전트의 도구 선택이 더 효과적이었습니다.
또 DarKnight는 기준 모델 실패의 48.2%를 바로잡았고, 기존에 맞히던 사례가 틀리게 되는 성능 저하는 7.6%에 그쳤습니다. 이미지별로 도구를 고르면 일괄 전처리로 생기는 하락 대부분을 피할 수 있다는 저자들의 주장을 뒷받침하는 수치입니다.
산업 영향
보안 팀에게 가장 큰 이득은 통제권입니다. 업체 정책, 지역 차단, 모델 버전 변경으로 끊길 수 있는 풀이기는 장기간 돌아가는 정보 수집 파이프라인의 약한 고리입니다. 로컬 오픈 웨이트 모델은 이 의존성을 없애고, 수집량에 따라 늘어나는 호출별, 재시도별 비용도 없앱니다. GPU 한 장으로 Tor 크롤러 옆에서 돌릴 수 있어 작은 조사 팀도 도입할 수 있습니다.
이 결과는 이 분야 밖에도 시사점이 있습니다. 83.2% 대 44%라는 비교는 검색과 도구를 갖춘 소형 모델이 좁은 시각 과제에서 훨씬 큰 상용 모델을 앞설 수 있음을 보여 줍니다. 제한된 환경에서 일하거나 외부 API에 기댈 수 없는 팀은 같은 발상을 재사용할 수 있습니다. 모델은 파라미터가 아니라 저장된 경험과 외부 도구로 추론 시점에 실력을 얻습니다.
이중 용도의 측면도 짚어야 합니다. 운영자가 설치한 관문을 통과하게 돕는 능력은 일반적으로 CAPTCHA 풀이 기법이기도 합니다. 원문은 CTI 모니터링을 중심에 두고 있으며, 이 글도 그 틀을 따랐습니다.
전망
논문의 근거는 마켓 4곳에 한정됩니다. 더 많은 사이트와 더 긴 기간에서도 효과가 유지되는지는 아직 확인되지 않았습니다. 운영자가 CAPTCHA를 바꿔 대응할 수 있고, 프레임워크가 사이트 피드백에 의존하는 만큼 경험 기록도 그 변화를 따라가야 합니다.
설계에서 이어지는 질문도 남아 있습니다. 듀얼 시그널 기억은 저장한 경험을 어떻게 고르고 갱신해야 할까요. 도구 집합이 커지면 선택은 얼마나 어려워질까요. 48.2%의 수정률을 유지하면서 7.6%의 성능 저하를 더 줄일 수 있을까요. 이 답에 따라 선택적 도구 사용이 유망한 사례 연구를 넘어 CTI 팀의 안정적인 운영 방식이 될 수 있는지가 가려질 것입니다.
Sources
FAQ
DarKnight는 무엇이며 어떤 문제를 해결하나요?
DarKnight는 스스로 개선하는 에이전트형 프레임워크입니다. 워크스테이션 GPU 한 장의 소형 오픈 웨이트 VLM으로 사이트별 학습이나 상용 API 없이 다크웹 CAPTCHA 통과를 돕습니다.
DarKnight의 결과가 보안 팀에 왜 중요한가요?
방어가 가장 강한 마켓에서 83.2%를 기록해 기반 모델보다 37.2%p 높고 Claude Opus 5의 44%도 넘었습니다. 로컬 실행이라 업체 차단과 호출당 비용도 피할 수 있습니다.
DarKnight와 관련해 앞으로 무엇을 지켜봐야 하나요?
연구가 마켓 4곳에 한정되어 일반화에는 더 많은 사이트와 장기 검증이 필요합니다. 경험 검색 갱신 방식, 도구 확장, 7.6% 성능 저하를 더 줄일 수 있는지도 지켜볼 대목입니다.