DiscoveryRSI: 재귀적 자기 개선으로 과학 가설을 배우는 AI
과학적 발견의 핵심 단계는 가치 있는 가설을 실행 가능한 연구로 옮기는 일이지만, 계속 진화하는 이 연구 과정에서 학습하기는 쉽지 않습니다. 이 논문은 먼저 '가치 있고 검증 가능한 가설'을 정의합니다. 중요한 불확실성을 겨냥한 근거 기반 주장으로, 실행 가능한 조사 계획, 명확한 판정 기준, 대안 설명을 갖춘 것입니다. DiscoveryRSI 프레임워크는 멀티 에이전트 진화 탐색으로 가설 트리를 만들고, 선택된 조사를 실행 가능한 Harbor 과제로 컴파일합니다. 이후 가설 크레딧 최적화, harness 리플레이, 재발견이라는 세 가지 메커니즘으로 재귀적으로 학습합니다. 또한 가설, 수정, 발전 경로, 연구 실행의 네 층위에서 품질을 평가하는 DFM-Bench를 제안합니다. 네 가지 생명과학 분야에서 자동 평가 결과, 가설 품질은 기반 모델의 4.86에서 두 차례 자기 개선 후 5.39로 올랐고, 반증 가능성과 데이터 해결 가능성의 향상 폭이 가장 컸습니다. 전문가 평가에서 DiscoveryRSI-27B는 가설의 중요성과 증거 범위에서 GPT-6 Luna를 앞섰습니다. 모델 컷오프 이후 발표된 연구와의 가설 일치율은 6.3%로, GPT-6의 2.5%와 Claude Opus 5의 2.3%보다 높았습니다.
배경
과학적 발견에서 어려운 부분은 그럴듯한 추측을 적는 일이 아닙니다. 그 추측을 수정과 조사를 거쳐 실제로 검증할 수 있는 연구로 밀고 나가는 일입니다. 기존 연구 에이전트는 대개 최종 결과물만으로 평가받아, 가설이 여러 차례 바뀌며 자라는 과정에서는 거의 배우지 못했습니다.
이 논문은 먼저 '가치 있고 검증 가능한 가설'을 정의합니다. 중요한 불확실성을 겨냥한 근거 기반 주장이어야 하고, 실행 가능한 조사 계획, 어떤 결과가 주장을 지지하거나 반박하는지 밝힌 판정 기준, 대안 설명을 모두 갖춰야 합니다. 대안 설명은 연구자가 선호하는 답에만 매달리는 일을 막아 줍니다.
이 정의 위에서 DiscoveryRSI 프레임워크가 재귀적 자기 개선으로 모델의 가설 제안 능력을 끌어올리고, DFM-Bench가 그 향상을 측정합니다. 대상은 네 가지 생명과학 분야입니다.
심층 분석
DiscoveryRSI는 먼저 멀티 에이전트 진화 탐색으로 가설 트리를 만듭니다. 여러 에이전트가 같은 연구 방향에서 가설을 제안하고 비판하고 수정하며, 트리의 각 가지는 서로 다른 발전 경로를 뜻합니다. 선택된 조사는 실행 가능한 Harbor 과제로 컴파일됩니다. 그 결과 연구는 글로 된 설명에서 직접 돌려 기록을 남기는 작업으로 바뀝니다. 재귀 학습은 세 가지 메커니즘이 이끕니다. 가설 크레딧 최적화는 과학적 평가 결과를 문서에 기록된 구체적 연구 기여에 귀속시켜, 어느 수정이 가설 품질을 실제로 높였는지 알게 합니다. harness 리플레이는 기존 연구 실행을 되짚어 효과적인 전략과 반복되는 실패 유형을 찾고, 이를 연구 워크플로 개선에 씁니다. 재발견은 채택된 개선을 새 조사에 적용하며, 거기서 나온 경험이 다음 라운드의 학습 재료가 됩니다.
DiscoveryRSI는 가설이 좋은지 어떻게 측정할까요? DFM-Bench는 가설, 수정, 발전 경로, 연구 실행의 네 층위에서 품질을 평가합니다. 자동 평가에서 가설 품질은 기반 모델의 4.86에서 두 차례 자기 개선 뒤 5.39로 올랐고, 반증 가능성과 데이터 해결 가능성의 향상 폭이 가장 컸습니다. 판정 기준과 실행 가능한 조사를 강조한 설계 방향과 맞아떨어지는 결과입니다. 전문가 평가에서 DiscoveryRSI-27B는 가설의 중요성과 증거 범위에서 GPT-6 Luna를 앞섰습니다. 모델 컷오프 이후 발표된 연구와의 가설 일치율은 6.3%로, GPT-6의 2.5%와 Claude Opus 5의 2.3%보다 높았습니다. 다만 사람 평가는 아직 초기 결과이며 표본 규모와 범위는 더 검증해야 합니다.
산업 영향
첫째, '좋은 가설'이 감에 의존하던 평가에서 정의하고 측정할 수 있는 대상으로 바뀌었습니다. 반증 가능성과 데이터 해결 가능성 같은 지표는 연구 에이전트에 분명한 최적화 목표를 줍니다. 자동화된 연구 도구를 만드는 팀은 이 네 가지 구성 요소를 자체 산출물의 점검표로 쓸 수 있습니다.
둘째, 27B 모델이 자신의 연구 과정에서 재귀적으로 배워, 더 큰 모델인 GPT-6 Luna와 견줄 만한 가설 품질에 이르렀고 일부 전문가 항목에서는 앞섰습니다. 자원이 한정된 오픈소스 진영에는 의미 있는 신호입니다. 이 과제에서는 규모 못지않게 과정에서 배우는 방식이 중요할 수 있습니다.
셋째, 조사를 Harbor 과제로 컴파일하고 개별 연구 기여 단위로 크레딧을 배분하는 방식은 약물 표적 탐색이나 실험 설계 같은 연구 파이프라인에 참고가 될 수 있습니다. 다만 논문은 생명과학 분야만 평가했고, 그런 적용은 검증하지 않았습니다.
전망
6.3%라는 일치율은 실제 발견을 안정적으로 예견하기까지 아직 멀다는 점을 보여 줍니다. GPT-6와 Claude Opus 5보다 크게 높지만, 대부분의 가설은 이후 발표된 연구와 맞지 않았습니다. 이 수치는 신뢰할 만한 예측의 증거가 아니라 상대적 향상으로 읽어야 합니다.
남은 질문은 둘입니다. 트리 탐색, Harbor 컴파일, 재귀 학습으로 이어지는 순환이 다른 학문 분야에서도 통하는지, 그리고 초기 단계인 사람 평가가 더 큰 전문가 집단에서도 유지되는지입니다. 다음 시험대는 보고된 두 라운드를 넘어 자기 개선을 이어 가도 품질이 5.39 이후로 계속 오르는지입니다.
Sources
FAQ
DiscoveryRSI란 무엇인가요?
DiscoveryRSI는 재귀적 자기 개선을 통해 모델이 가치 있고 검증 가능한 과학 가설을 제안하도록 학습시키는 프레임워크입니다. 멀티 에이전트 진화 탐색으로 가설 트리를 만들고, 선택된 조사를 실행 가능한 Harbor 과제로 컴파일하며, 세 가지 메커니즘으로 학습합니다.
DiscoveryRSI는 왜 중요한가요?
DiscoveryRSI는 좋은 가설을 측정 가능한 대상으로 바꿨다는 점에서 중요합니다. 네 가지 생명과학 분야의 자동 평가에서 가설 품질은 기반 모델의 4.86에서 두 차례 자기 개선 후 5.39로 올랐고, 반증 가능성과 데이터 해결 가능성의 향상 폭이 가장 컸습니다.
DiscoveryRSI에서 앞으로 무엇을 지켜봐야 하나요?
DiscoveryRSI-27B의 가설이 모델 컷오프 이후 발표된 연구와 일치하는 비율 6.3%를 지켜봐야 합니다. GPT-6은 2.5%, Claude Opus 5는 2.3%였지만 수치는 아직 낮습니다. 사람 평가는 초기 결과이고 평가 범위도 네 분야에 한정됩니다.