눈금이 고르지 않은 자: METR 시간 지평의 통계적 타당성 재검토

METR이 제안한 「50% 시간 지평(time horizon)」은 최근 2년 사이 AI 능력을 나타내는 척도 가운데 가장 자주 인용되는 것 중 하나가 되었다. 발상은 단순하다. 소프트웨어 과제마다 인간 전문가가 끝내는 데 걸리는 시간을 붙이고, AI가 절반의 확률로 성공하는 과제의 길이를 구한다. 이 수치가 클수록 AI가 혼자 해낼 수 있는 일의 길이가 길다는 뜻이다. 단위가 퍼센트가 아니라 분과 시간이므로 일반 대중, 투자자, 규제 당국이 이해하기 쉽다. 그래서 시간에 따라 지수적으로 상승하는 곡선, 곧 흔히 METR 그래프라 불리는 모양으로 자주 그려진다. 그러나 이해하기 쉬운 숫자가 곧 믿을 만한 숫자는 아니다. 2026년 10월 arXiv에 올라온 Drew T. Nguyen과 William Fithian의 논문은 이 곡선을 통계학의 관점에서 다시 살핀다. 저자들은 228개 과제와 26개 AI 모델의 자료를 사용해 시간 지평을 처음부터 다시 계산했다. 기존 방식에는 AI에게 과제가 주는 어려움이 인간 소요 시간의 로그에 선형으로 비례한다는 암묵적 가정이 들어 있다. 저자들은 이 가정을 그대로 받아들이지 않았다. 스플라인과 문항반응이론을 사용했는데, 후자는 심리측정 분야에서 시험 문항을 분석할 때 쓰는 모형군이다. 이로써 관계의 모양을 자료 스스로 정하게 했다.

결과는 인상적이다. 적합된 스플라인은 「변환 함수」로 해석할 수 있다. 인간의 소요 시간을 입력받아 AI에게 주는 어려움을 내놓는 함수다. 이 함수는 대략 2분에서 30분 구간에서 거의 평평하고, 그 밖의 구간에서는 선형에 가깝다. 쉽게 말해, 중간 구간에서는 사람에게 과제가 몇 배로 길어져도 기계에게는 그다지 어려워지지 않는다. 반대로 이 구간을 벗어나면 인간 시간이 두 배가 될 때마다 어려움이 다시 뚜렷하게 올라간다. 여기서 곧바로 따라오는 결론이 있다. 같은 10배의 도약이라도 의미는 같지 않다. 시간 지평이 3분에서 30분으로 늘어나는 것은 평평한 구간 안에 있어서 비교적 쉽다. 반면 30분에서 5시간으로 늘어나려면 훨씬 가파른 비탈을 올라야 한다. 원래 그래프에서 배수만 보면 두 성취가 같아 보여 AI 능력이 늘어나는 속도를 잘못 판단할 수 있다. 이것이 원래 곡선이 틀렸다는 뜻은 아니다. 세로축이 어느 곳은 눈금이 촘촘하고 어느 곳은 성긴 자처럼 움직인다는 뜻이다.

이 구조적 발견 외에도 논문은 두 가지 실용적 기여를 한다. 첫째, 교차 검증된 일련의 적정 점수 규칙(proper scoring rule) 아래에서 더 좋은 성적을 내는 시간 지평 점추정치를 제시한다. 적정 점수 규칙은 정직하고 보정이 잘된 확률 예측에 보상을 주므로, 서로 다른 적합 방식을 공정하게 비교할 수 있다. 둘째, 시간 지평의 구성 타당도, 곧 그 숫자가 재겠다고 내세운 것을 실제로 재는지를 따져 보는 진단 그래프를 제공한다. 이 그래프를 보면 선형 가정이 어디에서 성립하고 어디에서 무너지는지 직접 확인할 수 있다. 업계에 주는 논문의 메시지는 절제되어 있고 구체적이다. 시간 지평은 진단 그래프와 함께 해석해야 한다. 특히 시간 지평에 기반한 새로운 벤치마크가 계속 제안되거나, 기존 벤치마크가 더 긴 과제를 포함하도록 확장될 때 그렇다. 긴 과제는 어느 표본에서든 드물다. 척도의 그쪽 끝에서는 추정이 가정한 함수 형태에 더 크게 의존하고 불확실성도 커진다. 그러므로 보기 좋은 추세선을 몇 시간, 심지어 며칠이 걸리는 과제까지 외삽하려면 각별한 신중함이 필요하다. 물론 이 연구에도 한계가 있다. 기존의 과제 집합과 모델 집합에 기반하므로, 결론이 다른 과제 분포에도 통하는지는 앞으로 검증해야 한다. 그럼에도 평가 공동체에 좋은 본보기가 된다. 눈길을 끄는 단일 숫자에 만족하지 않고, 가정을 밝히고, 검증하고, 다른 사람이 검증할 도구를 내놓았다. 이런 지표로 연구 계획을 세우고, 제품을 판단하고, 정책을 논하는 사람에게는 되풀이해 참고할 만한 방법론 자료다. 벤치마크 설계자에게도 실용적인 교훈이 있다. 새 벤치마크가 시간 지평을 보고할 때는 각 길이 구간에 과제가 몇 개인지, 어려움 곡선의 모양이 검증되었는지 아니면 단지 가정되었는지를 물어야 한다. 평평한 구간에서는 인간 소요 시간이 다른 많은 과제가 모델에게는 비슷하게 보이므로, 거기에 과제를 더해도 진전에 관한 정보가 많이 늘지 않는다. 반대로 긴 쪽의 과제는 능력의 최전선에 대한 정보를 가장 많이 담지만 모으기가 가장 어렵고 비용도 많이 든다. 좋은 설계는 이 두 사실의 균형을 잡아야 하며, 이 논문의 진단 그래프는 그 균형을 구체적으로 볼 수단을 준다.

마지막으로 이 논문은 시간이라는 단위가 편리한 이름표일 뿐 자연법칙이 아님을 일깨운다. 인간 소요 시간은 어려움의 대리 지표이고, 대리 지표는 휠 수 있다. 이를 정확한 값으로 다루면 자신만만하지만 깨지기 쉬운 예측이 나온다. 자료가 모양을 바꿀 수 있는 가설로 다루면 더 나은 과학이 된다. 이것이 이 연구의 중심에 놓인 조용하고 쓸모 있는 요점이다.