RLHF parcimonieux : confidentialité différentielle

Contexte

Le RLHF entraîne un modèle de récompense à partir de comparaisons par paires. Chaque échantillon contient deux réponses candidates et une étiquette qui indique laquelle une personne a préférée. Cette étiquette peut révéler des informations sensibles sur l'annotateur, et une fuite peut nuire aux utilisateurs. La confidentialité différentielle (DP) est l'outil de référence pour borner mathématiquement un tel risque.

Le problème tient à la paramétrisation. Les méthodes d'alignement privé existantes supposent une récompense dense : les d dimensions du modèle participent toutes à la description des préférences humaines. L'erreur d'estimation croît alors de façon polynomiale avec d. Les modèles actuels sont fortement surparamétrés, donc d est énorme, et la garantie perd son intérêt pratique.

Cet article publié sur arXiv définit le problème du Private Sparse RLHF. Il suppose que les préférences humaines ne dépendent que de s* caractéristiques pertinentes parmi d, avec s* très inférieur à d. Les auteurs travaillent dans le modèle de Bradley-Terry-Luce (BTL). Ils affirment proposer le premier cadre théorique complet pour l'estimation parcimonieuse et privée de la récompense à partir de retours par paires.

Analyse approfondie

L'article distingue deux niveaux de protection. Le Sample-DP protège l'échantillon entier, caractéristiques et étiquette ensemble : un attaquant ne peut pas savoir si l'enregistrement d'une personne figurait dans le jeu d'entraînement. Le Label-DP protège seulement l'étiquette de préférence. C'est souvent réaliste lorsque les requêtes et les réponses ne sont pas secrètes et que seul le choix l'est. Les auteurs conçoivent un algorithme efficace pour chaque cadre. La voie Label-DP repose sur la réponse randomisée. La méthode inverse l'étiquette de préférence avec une certaine probabilité, puis applique une estimation parcimonieuse aux étiquettes bruitées. Le résumé source ne détaille pas tous les choix d'optimisation, et cet article ne les devine pas. Les bornes d'erreur révèlent toutefois la conception, car les deux voies paient la confidentialité de manière différente. Pour l'erreur ℓ2 quadratique, la borne supérieure de (ε,δ)-Sample-DP est Õ(s*/n + s*²/n²ε²). Le premier terme est l'erreur statistique ordinaire, sans confidentialité. Le second est le coût de la confidentialité : il décroît en 1/n² mais croît avec s*². La borne d'ε-Label-DP fondée sur la réponse randomisée est Õ(s*/n + s*/nε²). Son terme privé dépend de s* de façon linéaire seulement, mais il ne décroît qu'en 1/n.

Quel est l'avantage décisif de l'estimation parcimonieuse privée de la récompense par rapport aux méthodes denses ? Les bornes dépendent du nombre de caractéristiques effectives s* et de la taille d'échantillon n, sans dépendance polynomiale en la dimension d. Une méthode dense paie pour d. Une méthode parcimonieuse paie pour s*. Cet écart est le résultat central du Private Sparse RLHF. Les bornes inférieures indiquent la marge restante. Les auteurs montrent que le taux de Sample-DP est proche de l'optimum, ce qui rend de grands gains supplémentaires peu probables. Pour Label-DP, ils montrent que la garantie ne peut pas être améliorée dans le cadre de la réponse randomisée. Ils démontrent aussi une borne inférieure générale pour Label-DP. La source ne dit pas que cette borne coïncide avec la borne supérieure : un écart peut subsister.

Impact sur l'industrie

L'évaluation empirique porte sur deux familles de benchmarks : la génération de sentiments et l'alignement de sécurité. Les auteurs comparent la méthode parcimonieuse à des références denses. Ils rapportent de meilleurs résultats et un compromis plus favorable entre confidentialité et utilité. Le résumé ne donne ni gains chiffrés, ni tailles de modèles, ni budgets de confidentialité, ni ablations. Le lecteur qui a besoin de ces chiffres doit consulter l'article complet.

Pour les équipes qui entraînent des modèles de récompense à partir de retours d'utilisateurs, le message pratique concerne l'origine du coût de confidentialité. Si les préférences sont réellement portées par quelques caractéristiques, le coût de la DP n'a pas à croître avec la taille du modèle. Cela compte pour les groupes open source, et pour les entreprises qui collectent des étiquettes de préférence auprès de clients et doivent respecter des règles de protection des données.

Les deux cadres correspondent aussi à des besoins de déploiement différents. Le Label-DP couvre le cas où seul le choix de l'annotateur est privé, et c'est l'option la plus légère à exploiter. Le Sample-DP offre la garantie la plus forte lorsque les caractéristiques elles-mêmes sont sensibles. Les bornes concordantes aident à choisir. Le Sample-DP est déjà proche de sa limite, donc un effort supplémentaire y apporterait peu. Pour progresser en Label-DP, il faut une méthode qui dépasse la réponse randomisée.

Perspectives

Plusieurs limites appellent de la prudence. L'analyse repose sur une récompense linéaire et sur le modèle BTL. Le réglage fin de bout en bout d'un grand modèle de langage reste éloigné de ce cadre. Que la structure parcimonieuse se vérifie dans l'espace de représentation d'un modèle réel dépend du choix des caractéristiques. Les affirmations de l'article doivent se lire dans ces hypothèses.

Les problèmes ouverts découlent des résultats. Le premier est d'assouplir l'hypothèse de parcimonie. Le deuxième est d'étendre la théorie à des modèles de récompense non linéaires. Le troisième est de combler l'écart entre la borne inférieure générale de Label-DP et la borne supérieure par réponse randomisée. Chacun rapprocherait le RLHF parcimonieux privé des systèmes que les praticiens entraînent réellement.

La leçon principale du Private Sparse RLHF est simple. Quand on ajoute la confidentialité à l'alignement, l'erreur peut suivre le nombre de caractéristiques qui comptent, s*, et non la dimension complète d du modèle. Si les signaux de préférence réels se révèlent parcimonieux, cette vision pourrait rendre l'apprentissage privé de la récompense praticable pour les grands modèles.