OmniSimulator: 소형 LLM의 실제 사용자 행동 모사

배경

사용자 시뮬레이터는 추천 시스템과 인터랙티브 플랫폼 평가를 떠받치는 기반 시설입니다. 실제 온라인 실험은 비용이 크고 시간이 오래 걸리며, 실제 이용자의 경험까지 바꿀 수 있습니다. 그래서 대규모 언어 모델이 사용자 역할을 맡아 "이 사람이 이 영상을 보면 좋아요를 누를까, 넘길까, 댓글을 달까"를 오프라인에서 예측하게 하려는 시도가 이어져 왔습니다.

고품질 데이터로 학습하면 모델의 추론 능력과 하위 과제 성능이 오른다는 사실은 이미 알려져 있습니다. 그러나 OmniSimulator 논문은 시뮬레이션 품질의 상한이 모델의 추론 방식에도 좌우된다고 지적합니다. 기본 사고 사슬은 이 과제에서 표면적 패턴 매칭으로 퇴화하기 쉽습니다. 특정 유형의 콘텐츠를 보면 기계적으로 좋아한다고 결론 내릴 뿐, 사용자의 현재 상태, 장기 선호, 시청 맥락처럼 결정을 실제로 움직이는 행동 요인은 모델링하지 못합니다.

OmniSimulator는 숏폼 영상 플랫폼을 위해 설계된 학습 프레임워크입니다. 핵심 주장은 단순합니다. 데이터를 더 먹이기보다 모델에게 "어떻게 생각할지"를 먼저 가르쳐야 한다는 것입니다. 행동 중심의 구조화된 추론 패턴을 익히면 표면적 상관관계에 기대지 않고, 사용자마다 다른 성향도 함께 반영할 수 있다고 봅니다.

심층 분석

프레임워크는 세 부분이 맞물려 돌아갑니다. 첫째는 추론 스키마입니다. 저자들은 행동 중심 추론을 다섯 가지 차원의 구조화된 틀로 정리했습니다. 모델은 예측을 내놓기 전에 이 고정된 차원을 따라 사용자의 결정에 영향을 주는 요인을 차례로 분석합니다. 느슨한 자유 서술 대신 틀을 쓰기 때문에 추론 과정을 통제하고 정렬하기 쉽고, 소형 모델도 안정적으로 배울 수 있습니다. 둘째는 데이터 선별입니다. 학습 샘플은 실제 행동 시나리오에서 가져오며, 정보량이 낮거나 표면적 규칙만으로 맞힐 수 있는 샘플은 걸러냅니다. 그러면 학습 신호가 진짜 행동 추론이 필요한 결정 지점에 모입니다. 셋째는 교사 모델 증류입니다. 더 강한 교사 모델이 다섯 차원 스키마의 제약 아래 각 실제 시나리오에 대한 고품질 추론 궤적을 생성하고, 이 궤적이 소형 모델의 지도 신호가 됩니다. 학생 모델은 최종 답뿐 아니라 사용자 상태에서 결정에 이르는 전체 사슬을 배웁니다.

OmniSimulator는 실험에서 어떤 결과를 냈을까요? 저자들은 실제 사용자 200명의 3개월 상호작용 기록으로 9,881개의 학습 샘플을 만들었고, 이는 사용자당 평균 약 50개의 증류 샘플에 해당합니다. 기반 모델 Qwen3-8B의 평균 점수는 34.33% 향상되었고, 성능은 Claude-Sonnet-4.5와 견줄 만한 수준이었습니다. 규모가 크지 않은 데이터로 얻은 결과이므로, 이득은 데이터 양보다 추론 패턴의 질에서 왔다고 볼 수 있습니다. 다만 원문 요약에는 세부 지표 수치와 제거 실험 내용이 없어, 확인 가능한 것은 전체적인 결론까지입니다.

산업 영향

가장 먼저 비용과 배포가 달라집니다. 사용자 시뮬레이터는 같은 호출을 수없이 반복하므로 폐쇄형 대형 모델을 쓰면 비용이 크고 데이터 통제도 어렵습니다. 목적에 맞게 학습한 8B급 모델이 비슷한 수준에 이르고 더 작은 규모의 자체 호스팅까지 가능하다는 점은, 내부 환경에서 오프라인 평가와 A/B 실험 사전 점검을 하려는 플랫폼 팀에 실질적인 선택지가 됩니다.

두 번째는 재사용할 수 있는 방법론입니다. 과제의 어려움이 지식 부족이 아니라 "무엇을 따져야 하는가"에 있다면, 도메인의 결정 요인을 스키마로 명시하고 교사 모델이 그 틀에 맞춰 추론 궤적을 만들게 한 뒤 학생에게 증류하면 됩니다. 원문은 숏폼 플랫폼에 초점을 두지만, 같은 접근을 커머스나 뉴스, 소셜 서비스로 옮길 수 있다고 볼 여지는 있습니다. 다만 이번 요약에서 검증된 내용은 아닙니다.

세 번째는 평가의 관점입니다. 예측이 우연히 맞았는지만 볼 것이 아니라, 추론이 행동 요인에 근거했는지 표면적 상관에 기댔는지도 물어야 합니다. 이 구분을 학습 설계의 중심에 놓았다는 점이 후속 평가 연구에 분명한 기준을 줍니다.

전망

근거의 한계도 원문이 직접 밝히고 있습니다. 실험은 한 플랫폼과 사용자 200명에 국한됩니다. 더 많은 사용자, 더 긴 기간, 다른 플랫폼에서도 같은 효과가 나는지는 아직 검증되지 않았습니다. 사용자당 3개월 기록은 의미 있는 구간이지만, 학습된 추론 패턴이 시간이 지나도 안정적인지는 이번 자료만으로 알 수 없습니다.

남는 질문도 분명합니다. 플랫폼이 바뀌면 다섯 차원 스키마도 바꿔야 할까요? 교사 모델의 품질이 학생 모델의 상한을 얼마나 정할까요? 사용자당 약 50개인 증류 샘플 수를 크게 늘리거나 줄이면 성능은 어떻게 움직일까요? 원문은 이에 답하지 않으며, 제시되지 않은 수치를 추측해서도 안 됩니다.

그럼에도 방향은 뚜렷합니다. 데이터를 더 모으는 것만이 아니라 구조화된 행동 추론을 학습시키는 방식이 확장 가능하고 충실도 높은 LLM 사용자 시뮬레이션으로 가는 유망한 길로 보입니다. 저비용의 비공개 시뮬레이터가 필요한 팀이라면, Qwen3-8B가 이 과제에서 Claude-Sonnet-4.5에 필적했다는 결과는 자사 플랫폼에서 이 방법을 시험해 볼 구체적인 이유가 됩니다.