ReproBAIT: 코딩 에이전트가 바이오 AI 도구를 만들 수 있나

배경

대규모 언어 모델은 과학 지식과 기존 도구를 활용해 복잡한 작업 흐름을 수행하는 단계에 이르렀습니다. 그러나 제한된 설명만 주어졌을 때 도구 자체를 다시 만들 수 있는지는 거의 검증되지 않았습니다. ReproBAIT는 이 빈틈을 겨냥한 벤치마크로, 코딩 에이전트가 발표된 바이오 AI 도구를 설계하고 구현하고 학습하는 능력을 측정합니다.

이 과제는 일반적인 코드 생성 평가와 다릅니다. 실행되는 프로그램을 쓰는 데서 끝나지 않고, 고정된 시간과 연산 예산 안에서 모델을 실제로 쓸 만한 수준까지 학습시켜야 합니다. 논문은 정보 접근 조건별로 에이전트를 비교하는 틀, 복잡도가 다른 실제 도구의 선정, 암기 여부 검사라는 세 가지를 기여로 제시합니다. 오픈소스 도구는 사전 학습 데이터에 이미 들어 있을 수 있어, 이 검사가 없으면 높은 점수가 단순한 암송일 수 있기 때문입니다.

심층 분석

실험 환경은 엄격합니다. 에이전트는 인터넷이 차단된 샌드박스에서 작업하므로 원본 코드나 가중치를 내려받을 수 없습니다. 학습 데이터, 고정된 시간과 연산 예산, 대상 도구에 관한 제한된 정보만 받습니다. 정보량은 조절할 수 있어, 접근 조건에 따라 성능이 어떻게 달라지는지 볼 수 있습니다. 에이전트는 신경망 구조를 정하고, 데이터 처리와 학습 코드를 쓰고, 예산 안에 학습을 마쳐야 합니다.

채점은 코드가 원본과 닮았는지를 보지 않습니다. 재구현한 도구를 보류된 데이터에 적용해 해당 도구 고유의 지표로 평가합니다. 대상은 세 가지입니다. ProteinMPNN은 주어진 단백질 구조에 맞는 서열을 설계하는 역접힘 도구입니다. RFdiffusion3는 전원자 생성형 확산 도구로 구조와 학습이 더 복잡합니다. 세 번째는 비공개 분자 설계 도구인데, 학습 말뭉치에 있을 가능성이 매우 낮아 재현 능력과 암기를 가르는 대조군 역할을 합니다.

결과는 층이 나뉩니다. 여러 최상위 비공개 및 오픈소스 에이전트가 일부 도구를 상당히 재현했고, 제한된 정보로도 설계에서 학습까지 한 바퀴를 돌릴 수 있음을 보였습니다. 반면 매우 복잡한 도구에서는 재현이 제한적이었습니다. 암기에 대해서는 이와 일치하는 중간 수준의 증거가 나왔고 에이전트마다 편차가 컸습니다. 다만 논문은 암기가 입증됐다고 하지 않고 일치한다고만 말합니다. 요약에는 구체적 점수가 없어 수치 비교는 하지 않습니다.

산업 영향

첫째 영향은 지식재산과 안전 거버넌스입니다. 저자들은 도구 개발자가 정보를 공개할 때 더 신중해야 한다고 경고합니다. 에이전트가 공개된 설명과 학습 데이터만으로 도구를 다시 만들 수 있다면, 수년간 개발한 모델의 상업적 가치가 줄어들 수 있습니다.

둘째는 이중 용도 위험입니다. 일부 도구는 접근 통제로 위험을 관리하는데, 공개 정보만으로 재현이 가능하면 이 정책이 무력해질 수 있습니다. 가중치를 막아도 논문에 재구성할 만큼 세부 내용이 있으면 보호 효과는 작습니다. 오픈소스 커뮤니티에는 에이전트의 자율 개발 능력을 추적할 재사용 가능한 평가 틀이 생겼고, 기업에는 논문과 기술 보고서의 공개 수준을 위험 결정으로 다룰 근거가 생겼습니다.

전망

남은 과제는 둘입니다. 재현과 암기를 더 믿을 만하게 구분하는 방법, 그리고 도구 범위의 확대입니다. 현재 검사는 에이전트마다 다른 중간 수준의 증거만 주므로 더 정교한 방법의 여지가 큽니다. 또 시험 대상이 적고 가장 복잡한 도구는 이미 에이전트의 한계를 넘었으므로, 더 많고 더 어려운 도구를 넣어야 한계선이 보입니다.

제공 정보량을 조절할 수 있어 새 에이전트가 나올 때마다 같은 틀로 다시 측정할 수 있습니다. 복잡한 도구의 점수가 오르기 시작하면 공개 정책을 바꿔야 한다는 이른 신호가 될 것입니다. 개발자에게 실용적인 메시지는 분명합니다. 에이전트가 도구를 재현한 뒤가 아니라, 공개 전에 어디까지 내놓을지 정해야 합니다.