MLExpert: 자율 ML 엔지니어링 에이전트 모델 학습
이 논문은 대규모 언어 모델이 AI 시스템을 스스로 개발하고 개선하는 AI4AI를 다룹니다. 장기 머신러닝 엔지니어링(MLE)에서는 각 실험의 피드백이 앞선 여러 결정의 결과이고, 한 번의 실행에 비용이 큰 실험이 많이 포함됩니다. 따라서 긴 궤적에서 유용한 지도 신호를 골라내고 중간 결과로 학습해야 합니다. 저자들은 사후 학습 방법을 제안하고 35B 전문가 혼합(MoE) 에이전트 모델 MLExpert를 학습했습니다. Kaggle-MLE Factory로 실행 가능한 과제와 상호작용 프레임워크를 만들고, 계층형 에이전트 SFT에서 결과 중심 지도로 도구 호출과 코딩 능력을 MLE로 전이합니다. 또한 Windowed Interaction RL(WIRL)은 연속된 두 실험 결과 사이의 다중 턴 결정을 하나의 실행 윈도로 보고 결과 기반 보상을 공유하며, 비동기 수집과 정책 보정으로 궤적이 끝나기 전에 정책을 갱신합니다. MLE-Bench Lite에서 MLExpert는 기반 모델의 평균 메달 비율을 37.9%에서 72.7%로 높여 Kimi-K3, GLM-5.3 같은 더 큰 최첨단 모델과 비슷한 수준을 보였습니다. NatureBench Lite, 에이전트 스캐폴드 최적화, 알고리즘 최적화에서도 향상되어 학습된 최적화 능력이 전이됨을 시사합니다.
배경
MLExpert 논문은 대규모 언어 모델이 AI 시스템을 스스로 개발하고 개선하는 AI4AI를 다룹니다. 저자들은 이 방향을 재귀적 자기 개선(RSI)으로 가는 현실적인 길로 봅니다. 가장 구체적인 시험대는 머신러닝 엔지니어링(MLE)입니다. 에이전트는 과제를 읽고, 코드를 쓰고, 모델을 학습시키고, 결과를 확인한 뒤 계획을 고치는 일을 라운드마다 반복합니다.
초기 시스템은 사람이 설계한 워크플로로 긴 실험 순서를 짰습니다. 최근 시스템은 모델이 상호작용을 이끕니다. 모델이 직접 실험을 배치하고, 실행 피드백을 보고 최적화 전략을 바꿉니다. 여기서 학습상의 어려움이 생깁니다. 한 실험의 피드백은 앞선 여러 결정이 함께 만든 결과이고, 한 번의 MLE 실행에는 비용이 큰 실험이 많이 들어 있습니다.
그래서 학습은 아주 긴 궤적에서 쓸모 있는 지도 신호를 골라내야 합니다. 전체 실행이 끝난 뒤 받는 점수 하나만 기다려서도 안 되고, 중간 결과에서 배워야 합니다. 논문은 자율 장기 MLE 최적화를 위한 사후 학습 방법을 내놓고, 이를 써서 35B 전문가 혼합(MoE) 에이전트 모델 MLExpert를 학습했습니다.
심층 분석
이 방법은 세 부분으로 이루어집니다. 먼저 Kaggle-MLE Factory가 Kaggle 유형의 머신러닝 문제를 실행 가능한 과제로 바꾸고 상호작용 프레임워크를 제공합니다. 모델은 다음에 어떤 실험을 할지, 결과를 보고 방안을 어떻게 고칠지 스스로 정합니다. 학습 신호는 정적인 질의응답이 아니라 실제로 돌아가는 환경에서 나옵니다. 둘째, 계층형 에이전트 SFT가 능력을 MLE로 옮깁니다. 결과 중심 지도를 쓰기 때문에 궤적을 통째로 모방하지 않고 최종 결과를 기준으로 고릅니다. 이렇게 기반 모델이 이미 가진 도구 호출과 코딩 능력을 MLE 작업으로 전이합니다. 셋째이자 가장 중요한 부분이 Windowed Interaction RL(WIRL)입니다. 연속된 두 실험 결과 사이에서 모델은 보통 데이터 읽기, 특징 수정, 매개변수 조정, 스크립트 작성 같은 여러 결정을 내립니다. WIRL은 이 구간 전체를 하나의 실행 윈도로 보고, 윈도 안의 모든 턴이 같은 결과 기반 보상을 공유하게 합니다.
WIRL은 무엇이며 장기 MLE 학습에 왜 도움이 될까요? WIRL은 실험 한 번을 단위로 기여도를 배분하는 방식입니다. 두 실험 결과 사이의 다중 턴 결정을 하나의 윈도로 묶어 결과 기반 보상을 공유합니다. 턴마다 보상을 정의하는 것보다 쉽고, 궤적 전체에 보상 하나만 주는 것보다 촘촘합니다. 실험이 비싸기 때문에 저자들은 비동기 수집과 정책 보정을 더했습니다. 이미 끝난 윈도를 이용해 궤적이 끝나기 전에도 정책을 갱신할 수 있습니다. 비동기 수집이 만드는 데이터 지연 문제는 정책 보정이 처리합니다.
산업 영향
대표 결과는 MLE-Bench Lite에서 나왔습니다. MLExpert는 기반 모델의 평균 메달 비율을 37.9%에서 72.7%로 높였습니다. 거의 두 배입니다. 35B MoE 모델이 Kimi-K3, GLM-5.3 같은 더 큰 최첨단 모델과 비슷한 수준에 오른 셈입니다. 향상은 매개변수를 늘린 덕이 아니라 장기 실험에 맞춘 사후 학습에서 온 것으로 보입니다. 전이 능력도 확인했습니다. MLExpert는 NatureBench Lite, 에이전트 스캐폴드 최적화, 알고리즘 최적화에서 모두 나아졌습니다. 이 과제들은 Kaggle식 모델링 대회와 다르지만, 해법을 내고, 실행하고, 피드백을 읽고, 다시 개선하는 같은 순환이 필요합니다. 모델이 특정 순위표를 외운 것이 아니라 옮겨 쓸 수 있는 최적화 능력을 익혔다는 해석을 뒷받침합니다.
다만 초록에는 절제 실험 수치가 없습니다. 계층형 SFT, WIRL, 비동기 보정이 각각 얼마나 기여했는지는 알 수 없고, 이는 전체 논문의 실험 장에서 확인해야 합니다. 설계의 교훈은 MLE 밖에도 적용됩니다. 피드백이 오는 지점에서 궤적을 나누는 발상은 과학 실험 자동화, 시스템 튜닝, 자동화된 연구처럼 피드백이 느린 분야에서 재사용할 수 있습니다. 실무에서는 35B 모델이 훨씬 큰 모델에 근접한다는 점이, 자동 모델링과 튜닝, 스캐폴드 최적화를 맡는 내부 시스템의 추론 비용을 낮출 가능성을 보여 줍니다.
전망
MLExpert는 머신러닝 시스템을 더 잘 개선하는 모델이라는 AI4AI 그림의 구체적인 조각입니다. 다만 결과는 벤치마크 과제에 한정됩니다. MLE-Bench Lite의 메달 비율은 실제 엔지니어링 업무의 대리 지표이고, NatureBench Lite와 스캐폴드·알고리즘 최적화의 전이 성과는 최첨단 모델과의 동급이 아니라 향상으로 보고되었습니다.
후속 연구에 남은 질문도 있습니다. 첫째는 각 구성 요소의 기여도로, 절제 실험이 있어야 답할 수 있습니다. 둘째는 실험 비용이 낮거나, 한 결정이 여러 윈도 뒤의 결과에 영향을 줄 때도 윈도 단위 기여도 배분이 통하는지입니다. 셋째는 더 긴 실행과 더 큰 기반 모델로 갈 때 방법이 얼마나 확장되는지입니다.
자율 개선 능력이 강해질수록 평가의 신뢰성, 실험 비용 통제, 안전 경계에 대한 요구도 높아집니다. 논문은 이 문제를 후속 연구로 남겼습니다. 지금으로서는 WIRL과 Kaggle-MLE Factory 파이프라인이 비용이 큰 장기 과제에서 에이전트를 학습시키는 명확하고 검증 가능한 틀을 제시합니다.
Sources
FAQ
MLExpert는 무엇인가요?
MLExpert는 자율적인 장기 머신러닝 엔지니어링을 위해 학습된 35B 전문가 혼합(MoE) 에이전트 모델입니다. Kaggle-MLE Factory, 계층형 에이전트 SFT, Windowed Interaction RL(WIRL)로 학습하며, WIRL은 궤적이 끝나기 전에 정책을 갱신합니다.
MLExpert의 결과가 왜 중요한가요?
MLE-Bench Lite에서 MLExpert는 기반 모델의 평균 메달 비율을 37.9%에서 72.7%로 높여 Kimi-K3, GLM-5.3 같은 더 큰 최첨단 모델과 비슷한 수준을 보였습니다. NatureBench Lite와 알고리즘 최적화에서도 향상되어 능력 전이를 시사합니다.
MLExpert에서 앞으로 무엇을 지켜봐야 하나요?
이 글은 MLExpert의 절제 실험 수치를 제공하지 않아 계층형 SFT, WIRL, 비동기 정책 보정의 개별 기여는 알 수 없습니다. 논문 본문의 실험 장을 확인하고 평가 신뢰성, 실험 비용, 안전 한계를 지켜봐야 합니다.