GRPO et règles pour la théorie de l'esprit des LLM

Contexte

En raisonnement de théorie de l'esprit (ToM), les grands modèles de langage cachent un défaut discret. Ils déduisent souvent correctement l'état mental d'un personnage, par exemple qu'il ignore qu'une tasse a été déplacée. Pourtant, quand il faut prédire ou juger son action, le modèle n'exploite pas sa propre déduction. La réponse finale contredit alors la croyance qu'il vient d'établir. Perception, croyance et action se désolidarisent.

L'article étudie directement ce fossé. Son idée centrale est simple : plutôt que d'espérer que le modèle relie les trois maillons dans une chaîne de pensée implicite, les auteurs lui font écrire de courtes règles si-alors. Chaque règle exprime le lien entre ce qui est perçu et ce qui est fait. Un exemple dans l'esprit du texte : si une personne n'a pas vu un objet déplacé, alors elle le cherchera à son emplacement d'origine.

La contribution tient en trois points. Les règles relient explicitement perception, croyance et action. L'entraînement par Group Relative Policy Optimization (GRPO), une méthode d'apprentissage par renforcement, apprend au modèle à les produire. Enfin, les règles écrites par des modèles assez grands se transfèrent à d'autres modèles. Le résumé source ne donne pas de marges d'amélioration chiffrées : il faut consulter les tableaux de l'article pour ces valeurs.

Analyse approfondie

Dans la méthode, l'écriture des règles est une étape explicite qui précède la réponse. Face à un scénario, le modèle génère d'abord des règles si-alors concises. Elles ne gardent que la relation clé entre ce que le personnage perçoit et ce qu'il fait, sans longue narration. Le modèle répond ensuite à la question sur l'action du personnage en s'appuyant sur ces règles. L'entraînement repose sur GRPO. Cet algorithme échantillonne un groupe de sorties pour une même question et estime l'avantage de chacune d'après sa performance relative au sein du groupe. Il n'a donc pas besoin d'un réseau de valeur distinct. Le dispositif est plus léger et convient mieux à l'apprentissage par renforcement sur des modèles modestes. Les auteurs l'appliquent à deux familles, Qwen2.5 et Llama3, sur plusieurs tailles de paramètres. Cette échelle permet d'observer l'effet de la taille sur la qualité des règles.

La logique de conception se lit aisément. Face au fine-tuning supervisé, l'apprentissage par renforcement n'exige pas de règle de référence rédigée par un humain pour chaque exemple : le modèle explore et trouve les formulations qui aident vraiment la réponse finale. Face à un simple « réfléchis plus longtemps », la règle est un produit intermédiaire structuré, qui force le raisonnement à passer par la chaîne perception, croyance, action au lieu de dériver dans un texte libre. L'évaluation porte sur quatre benchmarks ToM. Les auteurs comparent trois approches courantes : le prompting direct, le fine-tuning supervisé et le raisonnement de type think, où le modèle écrit sa réflexion avant de répondre. GRPO avec génération de règles les surpasse toutes. Le message est net : le gain ne vient ni du seul apprentissage par renforcement, ni d'un surplus de texte de raisonnement, mais de la restriction du raisonnement à des règles réutilisables, de la perception vers l'action.

Impact sur l'industrie

La première valeur est pratique : une réparation peu coûteuse du fossé ToM. Une équipe n'a besoin ni d'un modèle plus gros ni d'une chaîne de pensée plus longue. Elle demande au modèle d'énoncer « ce qui a été vu, donc ce qui sera fait » sous forme de règle brève, puis installe cette habitude par GRPO. Des règles courtes et lisibles sont aussi plus faciles à inspecter et à auditer qu'un long raisonnement implicite, et les erreurs s'y repèrent mieux. Cela intéresse les assistants conversationnels qui doivent comprendre l'intention de l'utilisateur, la collaboration multi-agents et les applications sociales.

La seconde valeur tient au transfert. Les auteurs fournissent à GPT-4o-mini les règles issues de différents modèles. Celles des modèles d'au moins 3 milliards de paramètres améliorent GPT-4o-mini sur des tâches aval. Celles des modèles plus petits ne montrent pas la même valeur de transfert. Cela suggère un seuil de capacité : la qualité des règles dépend de l'échelle, et en dessous d'environ 3 milliards de paramètres, elles n'aident pas un autre modèle.

La conséquence économique est claire. Un modèle ouvert entraîné peut jouer le rôle de producteur de règles pour renforcer un modèle fermé ou difficile à affiner. Une équipe qui ne peut pas toucher aux poids d'un modèle commercial peut tout de même améliorer son comportement par les règles placées dans son entrée. La communauté open source y gagne une forme nouvelle de partage de connaissances : des règles compactes et lisibles plutôt que des poids complets.

Perspectives

Plusieurs questions découlent de ce travail. La première est la mesure de la qualité d'une règle. L'article montre que les règles aident la précision en aval, mais une règle peut être utile sans être exacte, et une règle exacte peut être inutile. Une métrique directe permettrait de filtrer les règles avant de les partager entre modèles. La deuxième question concerne la portée. Les benchmarks de l'étude se centrent sur la perception, la croyance et l'action d'un personnage. Les situations réelles impliquent souvent plusieurs personnages et des croyances imbriquées, comme ce qu'une personne croit que l'autre pense. Le résumé source ne dit pas si de courtes règles si-alors suffisent à cette profondeur. Les ensembles de règles pourraient devenir volumineux ou contradictoires, et il faudrait alors un moyen de choisir entre elles.

La troisième question porte sur la difficulté des petits modèles à écrire des règles transférables. Le seuil de 3 milliards de paramètres est une observation, pas une explication. Il peut refléter un raisonnement plus faible, une maîtrise du langage moindre ou les limites du signal de récompense pendant l'entraînement GRPO. Distinguer ces causes orienterait un meilleur entraînement des petits modèles. Pour l'instant, l'article propose une recette claire et testable : associer des règles explicites à une méthode légère d'apprentissage par renforcement, puis mesurer le résultat face au prompting, au fine-tuning supervisé et au raisonnement think. Avant d'adopter la méthode, il convient de vérifier l'ampleur des gains et les détails d'entraînement dans le texte complet.