탄력적 잠재 순환(ELR): 한 번 순환하면 같은 크기의 일반 모델과 같고 순환을 늘릴수록 정확도를 더 사는 하나의 체크포인트

Published · AI Daily — AI-assisted deep research, methodology & disclosure

잠재 순환 언어 모델은 같은 층 블록을 반복 사용해 하나의 체크포인트로 추론 연산과 정확도를 맞바꿀 수 있지만, 한 번 순환에서는 같은 크기의 비순환 모델에 크게 뒤지는 것이 보통이며 이를 “1회 순환 세금”이라 한다. ELR은 학습 가능한 보폭의 게이트 상태 갱신, 한 번의 최적화 갱신 안에서 순환 횟수 혼합, 각 패스를 순환 번호와 예산에 조건화하는 세 가지로 이 세금을 없앤다. 4B 밀집 모델과 30B-A3B 혼합 모델에서 4회 순환은 1회보다 7.25점, 4.75점 높다. 수치는 저자의 측정이다.

“잠재 순환 언어 모델”의 생각은 간단합니다. 수십 개의 서로 다른 층을 쌓는 대신 작은 층 블록을 여러 번 되풀이해 쓰고, 순환이 한 번 늘 때마다 추론 연산을 한 단위 더 씁니다. 그러면 하나의 체크포인트로 속도와 정확도를 조절할 수 있습니다. 순환이 적으면 빠르고 많으면 더 정확합니다. 하지만 오래된 곤란한 점이 있었습니다. 한 번 순환할 때는 이런 모델이 같은 크기의 보통 비순환 모델에 뚜렷이 뒤집니다. 논문 2610.12582는 이 격차를 “1회 순환 세금”이라 부르며, 지연이 중요하면 별도의 비순환 모델을 골라야 해서 “하나의 체크포인트, 여러 용도”라는 취지가 무의미해진다고 지적합니다. 제안하는 탄력적 잠재 순환(ELR)의 목표는 1회 순환에서는 같은 크기의 비순환 모델과 서비스 비용이 같고 같은 데이터로 훈련해 비슷한 정확도에 이르며, 이후 순환이 하나 늘 때마다 더 많은 추론 연산으로 더 높은 정확도를 사게 하는 것입니다.

저자들은 세 가지 설계가 효과를 낸다고 봅니다. 첫째, 학습 가능한 보폭을 가진 게이트 상태 갱신으로, 각 패스가 기존 상태에 통제된 변경을 가합니다. 둘째, 한 번의 최적화 갱신 안에서 순환 횟수를 섞습니다. 마이크로배치마다 순환 횟수를 균등하게 뽑아 블록의 모든 적용을 거쳐 역전파합니다. 1회 순환의 정확도를 잃지 않으려고 데이터 병렬 랭크의 일부를 번갈아 강제로 1회 순환으로 하여 1회 순환의 확률을 약 3분의 1로 유지하고, 1회와 여러 회 순환의 기울기를 같은 갱신에서 평균합니다. 셋째, 각 패스를 순환 안에서의 진행도와 전체 예산에 조건화해 같은 블록이 패스마다 다른 일을 할 수 있게 합니다. 절제 실험은 흔한 다른 방법이 1회 순환의 정확도를 지키지 못함을 보입니다. 앞의 두 설계가 이를 지키고 셋째가 추가 순환마다 손실을 낮춥니다.

논문은 비용도 살핍니다. 첫째, 혼합 깊이 훈련은 사전학습의 마지막 4분의 1에 늦게 도입할 수 있어 기준보다 훈련 FLOPs가 추정 약 16%만 늘고, 전환 시점에 0으로 초기화한 조건을 더하면 이 늦은 일정이 처음부터 혼합 깊이로 훈련한 것보다 손실이 낮아집니다. 둘째, 전문가 혼합 모델에서는 이후 순환이 첫 순환의 전문가 배정을 재사용해 혼합 깊이 갱신 시간이 11.7% 줄고 정확도의 측정 가능한 변화는 없습니다. 셋째, 표준 추론은 순환마다 별도의 어텐션 KV 캐시를 두므로 깊이에 따라 메모리가 늘어납니다. 후훈련된 Koi-4B에서는 여섯 어텐션 층 중 세 층이 순환 블록에 있어 4회 순환은 1회의 2.5배 KV 메모리, 즉 128K 토큰 요청당 BF16에서 7.5 GiB 대 3.0 GiB가 필요합니다. 마지막 순환의 KV 캐시만 유지하면 재훈련 없이도 어떤 순환 횟수에서든 어텐션 KV 메모리가 1회 순환 크기에 머물고, 4회 순환의 점수는 순환별 캐시에 비해 0~3% 낮아집니다.

주요 결과는 다음과 같습니다. 4B 밀집 모델과 30B-A3B 혼합 모델에서 1회 순환 ELR은 10개 과제 평균으로 대응 기준보다 0.52점 낮거나 1.04점 높고, 4회 순환은 각각 7.25점과 4.75점을 더합니다. 4B 모델에서 과제별 가장 큰 상승은 GSM8K 11.8점과 MATH-500 11.3점이고 30B-A3B에서는 MMLU-Pro 7.5점과 GSM8K 6.5점입니다. 대가는 지연에 나타납니다. 1회 순환의 순전파는 고유한 층을 정확히 한 번씩 실행하므로 첫 토큰까지의 시간과 토큰당 디코딩 지연이 비순환 기준과 같습니다. 순환이 하나 늘 때마다 순환 블록만 반복되고, 4B에서 4회 순환은 첫 토큰까지의 시간이 기준의 2.33배, 디코딩 지연이 2.06배가 됩니다. 3회 순환은 1.87배로 1~4회 이득의 96%를 얻습니다. 이 처방을 후훈련까지 이어 가면 하나의 체크포인트 Koi-4B가 나오고, Artificial Analysis 인텔리전스 지수 v4.1의 가중치로 1회 순환에서 추정 약 18로 Qwen3.5-4B와 같고 4회 순환에서 약 29입니다.

어떻게 읽을까요? 첫째, 모든 수치는 논문 자체 실험에서 나왔습니다. 저자들은 Koi-4B와 비교 모델의 점수가 Artificial Analysis의 것이 아니라 자신들의 평가 환경에서 나왔고 공개된 수치와 다를 수 있으며, Koi-4B에는 짝지은 비순환 기준이 없다고 밝힙니다. 둘째, “순환을 늘려 정확도를 사는” 일은 공짜가 아닙니다. 지연, 훈련 복잡도, 배포 측 지원이 모두 중요하며 4회 순환은 첫 토큰까지의 시간을 두 배 넘게 만듭니다. 셋째, 절제 실험은 주로 작은 모델에서 이루어졌으므로 규모를 키울 때는 이후 검증이 필요합니다. 그래도 제품이 낮은 지연의 빠른 답과 어려운 질문에서의 여러 차례 생각을 모두 요구한다면 “하나의 체크포인트, 조절 가능한 깊이”라는 발상은 두 모델을 유지하는 것보다 훨씬 매력적입니다.

Sources

FAQ

“1회 순환 세금”이란 무엇이고 ELR은 어떻게 피하나요?

순환 모델은 공유된 층 블록을 반복 적용하므로 순환 횟수를 바꾸면 연산과 정확도를 맞바꿀 수 있습니다. 하지만 한 번 순환에서는 같은 크기의 비순환 모델에 크게 뒤지는 것이 보통이어서, 지연이 중요하면 별도의 비순환 모델을 고르게 됩니다. ELR은 세 요소로 이루어집니다. 학습 가능한 보폭의 게이트 상태 갱신, 한 번의 최적화 갱신 안에서 순환 횟수를 섞는 것, 각 패스를 순환 번호와 예산에 조건화하는 것입니다. 앞의 둘이 1회 순환의 정확도를 지키고 셋째가 추가 순환마다 손실을 낮춥니다.

훈련 비용과 추론 메모리는 어떤가요?

논문에 따르면 혼합 깊이 훈련은 사전학습의 마지막 4분의 1에 늦게 도입할 수 있고 기준보다 훈련 FLOPs가 추정 약 16% 늘며, 전환 시점에 0으로 초기화한 조건을 더하면 처음부터 혼합 깊이로 훈련한 것보다 손실이 낮아집니다. 전문가 혼합 모델에서는 이후 순환이 첫 순환의 전문가 경로를 재사용해 갱신 시간이 11.7% 줄고 정확도의 측정 가능한 변화는 없습니다. 추론 시 마지막 순환의 어텐션 KV 캐시만 유지하면 메모리가 1회 순환 수준에 머뭅니다. Koi-4B에서 128K 토큰 요청당 순환마다 캐시하면 4회에 7.5 GiB, 1회는 3.0 GiB입니다.

결과는 얼마나 좋고 유의할 점은 무엇인가요?

4B 밀집 모델과 30B-A3B 혼합 모델에서 1회 순환 ELR은 10개 과제 평균으로 대응 기준보다 0.52점 낮거나 1.04점 높고, 4회 순환은 각각 7.25점과 4.75점을 더합니다. 4B에서 가장 큰 상승은 GSM8K 11.8점과 MATH-500 11.3점입니다. 대가는 지연으로, 4B 4회 순환은 첫 토큰까지의 시간이 기준의 2.33배, 디코딩 지연이 2.06배이고 3회 순환은 1.87배로 이득의 96%를 얻습니다. Koi-4B는 1회 약 18, 4회 약 29로 추정되지만 저자 자체 평가 환경의 값이며 짝지은 비순환 기준이 없습니다.