GRPO 규칙 학습으로 LLM 마음 이론 추론의 단절 해소

배경

마음 이론(ToM) 추론에는 대규모 언어 모델의 눈에 잘 띄지 않는 결함이 있습니다. 모델은 등장인물의 심리 상태를 곧잘 올바르게 추론합니다. 예를 들어 컵이 옮겨진 사실을 인물이 모른다는 점까지는 짚어 냅니다. 그런데 그 인물이 다음에 어떻게 행동할지 예측하거나 판단할 때는 방금 한 추론을 쓰지 않아서, 최종 답이 스스로 내린 믿음 추론과 어긋나기도 합니다. 지각, 믿음, 행동으로 이어지는 사슬이 중간에서 끊기는 셈입니다.

이 논문은 바로 그 단절을 겨냥합니다. 핵심 아이디어는 단순합니다. 암묵적인 사고 사슬 안에서 모델이 알아서 세 고리를 잇기를 기대하는 대신, 지각과 행동의 관계를 밝히는 짧은 if–then 규칙을 직접 쓰게 합니다. 예컨대 물체가 옮겨지는 장면을 보지 못한 사람은 원래 자리에서 물건을 찾는다는 식의 규칙입니다.

기여는 세 가지입니다. 규칙 생성으로 지각, 믿음, 행동을 명시적으로 연결했고, 강화학습 기법인 GRPO로 그런 규칙을 만들도록 모델을 학습시켰으며, 큰 모델이 만든 규칙이 다른 모델로 전이되어 추가 이득을 준다는 점을 보였습니다. 다만 요약에는 구체적인 향상 폭이 없으므로, 수치는 원문 표에서 확인해야 합니다.

심층 분석

방법에서 규칙 작성은 답변에 앞서 거치는 명시적 단계입니다. 모델은 주어진 장면을 읽고 먼저 간결한 if–then 규칙을 만듭니다. 규칙에는 인물이 무엇을 지각했는지와 그래서 무엇을 하는지, 두 가지 핵심 관계만 남기고 장황한 서술은 뺍니다. 그다음 이 규칙을 근거로 인물의 행동에 관한 질문에 답합니다. 학습에는 GRPO를 씁니다. 같은 질문에 대해 출력을 여러 개 뽑고, 그룹 안에서의 상대적 성과로 각 출력의 이점을 추정하는 방식입니다. 별도의 가치 네트워크가 필요 없어서 구성이 가볍고, 비교적 작은 모델에 강화학습을 적용하기에 알맞습니다. 저자들은 Qwen2.5와 Llama3 두 계열을 여러 파라미터 규모로 학습시켰고, 덕분에 모델 크기가 규칙의 질에 주는 영향을 따로 볼 수 있었습니다.

설계의 논리도 분명합니다. 지도 미세조정과 달리 모든 예시에 사람이 쓴 정답 규칙이 필요하지 않고, 모델이 최종 답에 실제로 도움이 되는 표현을 탐색으로 찾아냅니다. 또 단순히 오래 생각하게 하는 것과 달리, 규칙은 지각, 믿음, 행동의 사슬을 반드시 거치게 하는 구조적 중간 산물입니다. 평가는 네 가지 ToM 벤치마크에서 이뤄졌습니다. 비교 대상은 프롬프팅, 지도 미세조정, 답하기 전에 사고 과정을 먼저 쓰는 think 방식 추론이고, 규칙 생성을 결합한 GRPO가 이들보다 우수했습니다. 이 결과는 이득이 강화학습 자체나 추론 글을 길게 쓴 데서 나온 것이 아니라, 추론 내용을 재사용 가능한 규칙으로 좁힌 데서 나왔음을 시사합니다.

산업 영향

첫째 가치는 ToM 추론 단절을 싸게 고치는 길을 열었다는 점입니다. 더 큰 모델이나 더 긴 사고 사슬이 없어도, 무엇을 보았고 그래서 무엇을 할지를 짧은 규칙으로 적게 하고 GRPO로 그 습관을 들이면 됩니다. 규칙은 짧고 읽기 쉬워 사람이 점검하고 감사하기에도 좋습니다. 사용자 의도를 이해해야 하는 대화형 도우미, 다중 에이전트 협업, 소셜 서비스에서 오류를 찾기가 한결 쉬워집니다.

둘째는 전이입니다. 저자들은 여러 모델이 만든 규칙을 GPT-4o-mini에 제공해 보았습니다. 3B 이상 모델이 만든 규칙은 GPT-4o-mini의 다운스트림 성능을 높였지만, 더 작은 모델의 규칙은 같은 전이 효과를 보이지 않았습니다. 규칙의 질이 모델 규모에 좌우되고, 일정한 능력 문턱이 있다는 뜻입니다.

비용 면에서도 의미가 있습니다. 학습된 오픈 모델을 규칙 생산자로 두면, 가중치를 건드릴 수 없는 상용 모델도 입력에 넣는 규칙만으로 성능을 끌어올릴 수 있습니다. 오픈소스 커뮤니티에는 가중치 전체 대신 사람이 읽을 수 있는 규칙을 나누는 새로운 지식 공유 형태가 됩니다.

전망

남은 질문이 몇 가지 있습니다. 먼저 규칙의 질을 어떻게 재느냐입니다. 규칙이 다운스트림 정확도를 높인다는 점은 보였지만, 틀린 규칙이 유용할 수도, 맞는 규칙이 쓸모없을 수도 있습니다. 직접적인 품질 지표가 있으면 모델 간에 공유하기 전에 규칙을 걸러 낼 수 있습니다.

다음은 적용 범위입니다. 이 연구의 벤치마크는 한 인물의 지각, 믿음, 행동에 초점을 둡니다. 실제 상황에는 여러 인물과 한 사람이 다른 사람의 믿음을 어떻게 생각하는지 같은 중첩된 믿음이 흔합니다. 그 깊이에서도 짧은 규칙으로 충분한지는 요약만으로는 알 수 없습니다. 규칙이 많아지거나 서로 충돌하면 고르는 장치도 필요해집니다.

마지막으로 작은 모델이 왜 전이 가능한 규칙을 못 만드는지입니다. 3B라는 문턱은 관찰일 뿐 설명이 아닙니다. 추론력 부족인지, 언어 통제력의 한계인지, GRPO 학습의 보상 신호 문제인지 가려내야 작은 모델 학습 전략이 나옵니다. 도입을 검토한다면 향상 폭과 학습 세부 사항은 원문에서 먼저 확인하는 것이 좋습니다.