Au-delà de la vraisemblance du professeur : la distillation de stratégie en ligne calibrée par groupe pour le raisonnement à contexte long

Contexte

La distillation de stratégie en ligne (OPD) constitue une piste majeure en matière de compression de modèles, permettant à un étudiant léger d'absorber un guide dense, au niveau du token, fourni par un professeur plus puissant pendant la génération de ses propres réponses. Une nouvelle analyse soutient que ce mécanisme échoue de façon systématique dans les tâches de raisonnement à contexte long, où l'objectif n'est pas la plausibilité locale mais l'agrégation globale des preuves. Le travail ne s'arrête pas au diagnostic : il propose la distillation de stratégie en ligne calibrée par groupe (GC-OPD) et la valide sur cinq benchmarks à contexte long, rapportant des gains concrets pour Qwen3-4B et Qwen3-8B.

La racine du problème réside dans un décalage entre deux sortes de signaux. Le guide du professeur, OPD, est de niveau token et juge si chaque token paraît raisonnable dans son contexte local immédiat. Or, les tâches à contexte long dispersent les preuves nécessaires à une réponse correcte sur de nombreuses positions, obigeant le modèle à intégrer l'information sur l'ensemble de l'entrée et à satisfaire des contraintes globales. Une réponse cohérente token après token peut néanmoins omettre des preuves clés ou violer des contraintes. Les validateurs spécifiques à une tâche, à l'inverse, notent au niveau de la réponse et renvoient des récompenses graduées reflétant un succès partiel.

Pour transformer cette intuition en évidence mesurable, les auteurs ont mené des expériences de diagnostic sur deux tâches représentatives d'agrégation de preuves à contexte long, comparant le guide du professeur aux récompenses des validateurs sur des réponses fixes. Leur constat principal : à mesure que la longueur de l'entrée augmente, les scores OPD au niveau des trajectoires s'éloignent progressivement des récompenses des validateurs. Autrement dit, les jugements denses du professeur cessent de s'aligner sur ce que la tâche récompense réellement.

Analyse approfondie

GC-OPD traite ce décalage en modélisant et corrigeant explicitement le désaccord entre les signaux du professeur et du validateur. Au sein de chaque groupe de rollout, elle normalise séparément les récompenses des validateurs et les scores OPD au niveau des trajectoires, puis soustrait ces derniers pour produire un résidu d'incohérence professeur-validateur à signe. Un résidu positif indique que le validateur favorise davantage la trajectoire que le professeur ; un résidu négatif signifie que le professeur l'a surestimée. Crucialement, GC-OPD ne rejette pas le signal OPD dense original : elle ajoute ce résidu comme terme de calibration supplémentaire.

Pour répartir ce résidu entre les tokens, la méthode introduit l'attribution de crédit par avantage relatif (RACA). RACA attribue le résidu au niveau de la trajectoire à chaque token selon son relatif OPD avantage, de sorte que le signal du validateur entre dans le processus d'entraînement sans détruire la structure de guide dense existante de OPD. Cette conception équilibre les signaux de niveau tâche et de niveau token, évitant la perte d'information issue du remplacement naïf du guide du professeur par les récompenses des validateurs.

Les expériences d'ablation isolent la contribution de chaque composant. Le terme de résidu à signe surpasse l'empilement simple d'un terme dérivé de OPD, et il bat aussi l'ajout direct des récompenses des validateurs normalisées par groupe, montrant que la modélisation explicite du désaccord professeur-validateur, tout en préservant son signe, est essentielle. RACA améliore encore l'allocation token uniforme, confirmant que la differentiation de la distribution du residu par avantage relatif est à la fois raisonnable et nécessaire.

Impact sur l'industrie

Les résultats sont substantiels. Dans des arrières-configurations d'entraînement identiques, GC-OPD a fait progresser le score moyen du point de contrôle officiel Qwen3-4B sur les cinq benchmarks, de 29,08 à 40,47, et a élevé Qwen3-8B de 35,12 à 44,65. La base OPD naïve n'atteignait que 39,31 et 43,56 respectivement dans la même configuration, un écart clair attribuant une contribution réelle au residu de calibration par groupe. Ces chiffres démontrent que la correction du désalignement professeur-validateur produit des gains réels de raisonnement à contexte long pour les modèles compacts.

Au-delà de la méthode elle-même, le travail offre un regard plus large : lorsque les signaux du professeur et les objectifs de tâche divergent en granularité et en échelle, faire aveuglément confiance au guide dense peut nuire à la performance finale. Cette insight s'étend au modelage à contexte long, à l'entraînement de type renforcement, et à tout système d'apprentissage dépendant de signaux de validation externes. Pour le déploiement industriel, GC-OPD propose une voie alignée sur la tâche pour transférer la capacité des grands modèles vers des modèles plus petits sous contraintes de calcul limitées, notamment dans les scénarios d'agrégation de preuves et de questions-réponses sur documents longs.

Les auteurs ont publié leur code, permettant à la communauté open-source de réutiliser et d'étendre directement le framework. Cela abaisse la barrière pour les travaux suivants et encourage la réplication dans d'autres configurations à contexte long où les signaux de professeur denses pourraient s'aligner défavorablement sur les résultats de validation gradués.

Perspectives

Le framework GC-OPD ouvre plusieurs directions de recherche future. L'une consiste à modéliser plus finement le désaccord professeur-validateur, dépassant un seul residu à signe pour atteindre des représentations structurées de l'endroit et de la raison de la divergence des deux signaux. L'autre consiste à généraliser la calibration à des types de tâches à contexte long plus variés, testant si l'approche de residu relatif par groupe se transfère entre domaines au-delà de l'agrégation de preuves.

Une prochaine étape naturelle consiste à mettre à l'échelle la méthode vers des étudiants plus grands et des entrées plus longues, examinant si l'écart d'alignement s'élargit davantage et si RACA continue d'attribuer le crédit efficacement. L'intégration de plusieurs validateurs ou de signaux de récompense hiérarchisés pourrait aussi affiner la façon dont le succès partiel est crédité entre les tokens.

Enfin, ce travail positionne la distillation de stratégie en ligne comme un outil pratique pour le raisonnement complexe sous contraintes de calcul. En réconciliant le guide local dense avec des objectifs globaux gradués, GC-OPD ouvre la voie vers des modèles étudiants qui n'apprennent pas seulement à paraître cohérents, mais à véritablement accomplir les tâches à contexte long.