LLM2Jev: LLM은 이미 Jev 방식의 결정 모델이다, 언제 어떻게 미세조정할 것인가

배경과 문제 정의

많은 소프트웨어 시스템에는 글쓰기가 아니라 선택이 필요하다. 의도 라우터는 어느 모듈이 사용자 요청을 처리할지 정한다. 도구 호출 계층은 어떤 함수를 실행할지 정한다. 콘텐츠 검수 파이프라인은 어떤 라벨을 붙일지 정한다. 소프트웨어는 이 선택에 따라 움직인다. 자연어 문장을 읽지 않는다. 논문의 저자들은 이런 시스템을 Jev 방식 결정 모델이라고 부른다. 이 모델은 미리 정의된 선택지에 대한 범주형 확률 분포를 출력한다. 자유 형식의 텍스트는 만들지 않는다. 여기서 두 가지 장점이 나온다. 하위 코드가 생성된 텍스트를 파싱하지 않으므로, 형식이 잘못된 출력 때문에 실패하지 않는다. 또한 확률 분포에는 신뢰도 신호가 담긴다. 팀은 임계값을 정하거나, 확신이 낮은 사례를 대체 경로로 보낼 수 있다.

현재 널리 쓰이는 방법은 두 가지다. 첫째는 전용 분류기를 학습시키는 것이다. 라벨이 붙은 데이터, 학습 과정, 그리고 따로 관리해야 할 모델이 필요하다. 둘째는 범용 모델에게 A, B, C 같은 문자로 답하게 한 뒤, 그 문자의 로짓을 읽는 것이다. 비용이 낮지만, 선택지가 늘어나면 문자가 모자라고, 문자 토큰 자체가 편향을 일으킨다. LLM2Jev는 직접적인 질문을 던진다. 범용 LLM은 추가 학습 없이 이미 결정 모델로 작동하는가? 그리고 미세조정은 언제 실제로 효과가 있는가? 논문은 두 부분으로 답한다. 현대의 LLM은 학습 없이도 효과적인 결정 모델이다. 미세조정은 약한 기반 모델과 특정 과제에서 선별적으로 도움이 된다. 이 분석은 논문 초록에 기초한다. 초록은 비교 결론을 제시하지만, 구체적인 수치는 본문 표에 있다. 이 글은 그 수치를 검증하지 않았다. 아래 내용은 표를 확인하기 전까지 저자의 주장으로 읽어야 한다.

핵심 아키텍처와 기술 원리

LLM2Jev는 모델 구조를 그대로 유지하는 프레임워크다. 새로운 분류 헤드를 추가하지 않고, 디코더도 바꾸지 않는다. 결정은 다음 토큰의 확률에서 바로 나온다. 입력에서는 각 후보에 대괄호로 감싼 숫자 식별자를 붙인다. 예를 들어 [1], [2], [3]과 같다. 프롬프트 뒤에서 모델은 다음 토큰을 만든다. 프레임워크는 유효한 식별자에 해당하는 토큰의 확률만 남기고, 이를 다시 정규화한다. 그 결과가 후보 위의 분포다. 식별자가 숫자이므로, 선택지 수는 알파벳 길이에 묶이지 않는다. 초록도 임의의 개수의 선택지를 지원한다고 밝힌다. 이 읽기 방식은 학습이 필요 없다. 저자들은 이를 학습 없는 추론 기법이라고 부른다. 초록은 문자 로짓 기반 읽기보다 성능이 높다고 주장한다. 다만 그 차이가 생기는 원인은 제시하지 않는다. 숫자 식별자가 더 잘 구분된다는 설명은 저자의 해석이며, 초록이 입증한 결과가 아니다. 더 나은 결과를 위해 논문은 미세조정 목적 함수를 제안한다. 여기서는 트리로 분해된 리스트 손실을 쓴다. 리스트 손실은 후보 전체를 하나의 집합으로 평가한다. 각 선택지를 따로 점수 매기지 않고, 정답의 확률을 올리고 경쟁자의 확률을 내린다. '트리 분해'라는 말은 후보들의 계층 구조를 가리킨다. 그러면 한 선택지의 확률은 경로를 따라가는 조건부 확률로 나뉜다. 초록은 트리를 어떻게 만드는지 설명하지 않는다. 본문에서 확인해야 한다.

학습은 대화형 모델을 망가뜨릴 수 있다. 이를 막으려고 목적 함수에는 KL 발산 패널티가 들어간다. 보조 예측을 기반 모델에 고정하는 장치다. 초록에 따르면 이런 고정 장치가 대화형 텍스트 생성에서 행동이 퇴화하는 것을 막는다. 저자들은 선택 정확도만이 아니라, 모델이 정상적으로 대화할 수 있는지도 본다. 초록은 또한 능력이 높은 모델에서 LoRA가 가장 좋은 성능을 낸다고 말한다. LoRA는 작은 저랭크 어댑터만 학습하고, 기반 가중치는 고정한다. 모델을 저렴하게 적응시키는 방법이며, 기반 모델이 이미 잘 작동할 때 가벼운 적응으로 충분하다는 논문의 관점과 맞는다.

실용성과 평가 결과

논문은 Qwen3.5-4B와 Qwen3-0.6B 두 기반 모델로 평가했다. 초록이 밝힌 주요 결론은 다섯 가지다. 첫째, 학습 없는 4B 모델은 같은 기반 위에 만들어진 커뮤니티 Jev 방식 모델과 대등하다. 둘째, 문자 로짓 기반 읽기보다 성능이 높다. 셋째, 임의의 개수의 선택지를 지원한다. 넷째, 이미지를 포함한 다중 모달 결정을 기본으로 처리한다. 다섯째, 미세조정은 목표가 뚜렷한 효과를 낸다. 약한 0.6B 모델과, 선택지가 많은 의도 라우팅 같은 과제를 크게 개선한다. 강한 기반 모델에서는 이득이 줄어든다.

실무에서는 다음 순서가 합리적이다. 먼저 학습 없이 읽기 방식으로 기준선을 측정한다. 정확도가 목표에 도달하면 거기서 멈춘다. 선택지가 많거나 모델이 작을 때만 LoRA 미세조정을 검토한다. 이 순서는 학습 비용을 줄이고, 대화 행동을 원래 모델에 가깝게 유지한다. 배포 전에는 세 가지를 확인해야 한다. 첫째, 공개 벤치마크만이 아니라 자체 선택지 집합으로 테스트한다. 둘째, 선택지의 순서를 검증한다. 같은 선택지의 위치를 바꾸고 확률이 안정적인지 본다. 위치에 따라 결과가 바뀌는 읽기 방식은 라우팅에 안전하지 않다. 셋째, 보정을 측정한다. 초록은 결정이 보정되었다고 하지만, 절차는 설명하지 않는다. 신뢰도 값에 임계값을 걸기 전에 자체 데이터로 기대 보정 오차를 계산한다.

산업 영향과 향후 전망

이 연구의 핵심 기여는 의사결정 문제를 보는 방식을 바꾸는 데 있다. 결정은 생성이 아니라 읽기로 다룰 수 있다. 라우팅, 도구 선택, 분류, 게이팅 같은 용도에서는 한 번의 순전파로 실행 가능한 분포를 얻는다. 자유 생성 뒤에 파싱하는 방식보다 지연과 비용이 적다. 형식이 잘못된 출력으로 생기는 장애 유형도 줄어든다. 적용 범위에는 분명한 한계가 있다. 이 방법은 후보 집합이 닫혀 있을 때 맞는다. 선택지 집합이 열려 있으면 여전히 생성이나 검색이 필요하다. 숫자 읽기 방식은 선택지 순서와 식별자 토큰에서 오는 편향을 가질 수 있고, 그 편향은 기반 모델마다 다를 수 있다. 초록이 다루는 입력은 이미지이며, 다른 모달리티는 언급하지 않는다.

주목할 방향은 세 가지다. 첫째, 독립적인 재현 실험이다. 커뮤니티는 더 많은 기반 모델과 큰 선택지 집합에서 초록의 주장을 검증해야 한다. 둘째, 보정 표준이다. 신뢰도 값은 공통 지표로 측정될 때 실제 결정을 뒷받침할 수 있다. 셋째, 에이전트 시스템과의 결합이다. 도구 선택과 의도 라우팅은 에이전트의 신뢰성을 자주 제약한다. 신뢰할 수 있는 단일 단계 결정 요소는 이런 시스템의 테스트와 디버깅을 쉽게 만든다. 논문이 주는 실천적 원칙은 분명하다. 먼저 범용 모델이 이미 작동하는지 확인한다. 그다음에 학습이 필요한지 결정한다. 이 순서는 기본적으로 미세조정하는 방식보다 비용이 적고 검토하기도 쉽다.