Private Sparse RLHF: Differenzielle Privatsphäre

Hintergrund

Reinforcement Learning from Human Feedback (RLHF) trainiert ein Belohnungsmodell auf paarweisen Vergleichen. Jede Stichprobe enthält zwei Kandidatenantworten und ein Label, das angibt, welche Antwort ein Mensch bevorzugt hat. Dieses Label kann sensible Informationen über die annotierende Person verraten, und ein Datenleck kann Nutzern schaden. Differenzielle Privatsphäre (DP) ist das übliche Werkzeug, um solche Informationsabflüsse mathematisch streng zu begrenzen.

Das Problem liegt in der Parametrisierung. Bisherige private Alignment-Verfahren behandeln die Belohnung als dicht: Alle d Dimensionen tragen zur Beschreibung der menschlichen Präferenz bei. Der Schätzfehler wächst dann polynomiell mit d. Moderne Modelle sind stark überparametrisiert, d ist enorm groß, und die theoretische Garantie verliert ihren praktischen Wert.

Die vorliegende arXiv-Arbeit definiert das Problem des Private Sparse RLHF. Sie nimmt an, dass menschliche Präferenzen nur von s* relevanten Merkmalen aus d abhängen, wobei s* weit kleiner als d ist. Die Autoren arbeiten im Bradley-Terry-Luce-Modell (BTL) und geben an, den ersten vollständigen theoretischen Rahmen für differenziell private, dünnbesetzte Belohnungsschätzung aus paarweisem Feedback vorzulegen.

Tiefenanalyse

Die Arbeit unterscheidet zwei Schutzgranularitäten. Sample-DP schützt die gesamte Stichprobe, also Merkmale und Label zusammen, sodass ein Angreifer nicht erkennen kann, ob der Datensatz einer Person im Training enthalten war. Label-DP schützt nur das Präferenzlabel. Das ist oft realistisch, wenn Prompts und Antworten nicht geheim sind und nur die Auswahl vertraulich bleiben soll. Für beide Szenarien entwerfen die Autoren je einen effizienten Algorithmus. Der Label-DP-Ansatz beruht auf Randomized Response. Das Verfahren kippt das Präferenzlabel mit einer gewissen Wahrscheinlichkeit und führt anschließend eine dünnbesetzte Schätzung auf den verrauschten Labels durch. Die Zusammenfassung der Quelle nennt nicht alle Optimierungsdetails, daher spekuliert dieser Beitrag nicht darüber. Die Fehlerschranken zeigen aber den Unterschied: Beide Wege bezahlen die Privatsphäre auf andere Weise. Beim quadratischen ℓ2-Schätzfehler beträgt die obere Schranke für (ε,δ)-Sample-DP Õ(s*/n + s*²/n²ε²). Der erste Term ist der gewöhnliche statistische Fehler ohne Privatsphäre. Der zweite Term ist der Preis des Datenschutzes: Er schrumpft mit 1/n², wächst aber mit s*². Die auf Randomized Response beruhende Schranke für ε-Label-DP lautet Õ(s*/n + s*/nε²). Ihr Datenschutzterm hängt nur linear von s* ab, fällt jedoch lediglich mit 1/n.

Worin liegt der zentrale Vorteil der dünnbesetzten privaten Belohnungsschätzung gegenüber dichten Verfahren? Die Fehlerschranken hängen von der Zahl der wirksamen Merkmale s* und vom Stichprobenumfang n ab und enthalten keine polynomielle Abhängigkeit von der Dimension d. Ein dichtes Verfahren zahlt für d, ein dünnbesetztes zahlt für s*. Genau diese Lücke ist das Kernergebnis des Private Sparse RLHF. Die unteren Schranken zeigen, wie viel Spielraum bleibt. Die Autoren weisen nach, dass die Sample-DP-Rate nahezu optimal ist, große weitere Gewinne sind also unwahrscheinlich. Für Label-DP zeigen sie, dass die Garantie im Randomized-Response-Rahmen nicht weiter verbessert werden kann. Zusätzlich beweisen sie eine allgemeine untere Schranke für Label-DP. Die Quelle sagt nicht, dass diese Schranke mit der oberen übereinstimmt, daher kann eine Lücke bestehen bleiben.

Branchenwirkung

Für die empirische Prüfung dienten zwei Benchmark-Familien: Stimmungsgenerierung und Sicherheitsausrichtung. Die Autoren vergleichen das dünnbesetzte Verfahren mit dichten Baselines. Sie berichten, dass es besser abschneidet und einen günstigeren Kompromiss zwischen Privatsphäre und Nutzen bietet. Die Zusammenfassung nennt weder konkrete Zahlen noch Modellgrößen, Privatsphärebudgets oder Ablationsstudien. Wer diese Werte braucht, muss den Volltext prüfen.

Für Teams, die Belohnungsmodelle auf Nutzerfeedback trainieren, liegt die praktische Botschaft in der Herkunft der Datenschutzkosten. Wenn Präferenzen tatsächlich von wenigen Merkmalen bestimmt werden, muss der Preis der DP nicht mit der Modellgröße steigen. Das ist für Open-Source-Gruppen interessant und ebenso für Unternehmen, die Präferenzlabels von Kunden sammeln und Datenschutzvorgaben einhalten müssen.

Die beiden Settings entsprechen zudem verschiedenen Einsatzbedürfnissen. Label-DP deckt den Fall ab, in dem nur die Entscheidung der annotierenden Person privat ist, und lässt sich leichter betreiben. Sample-DP bietet die stärkere Garantie, wenn schon die Merkmale selbst sensibel sind. Die passenden Schranken helfen bei der Wahl: Sample-DP liegt nahe an seiner Grenze, zusätzlicher Aufwand bringt dort wenig. Fortschritt bei Label-DP erfordert eine Methode jenseits von Randomized Response.

Ausblick

Mehrere Einschränkungen verdienen Vorsicht. Die Analyse stützt sich auf eine lineare Belohnung und das BTL-Modell. Vom Feintuning eines großen Sprachmodells Ende zu Ende ist es von diesem Aufbau noch ein weiter Weg. Ob eine dünnbesetzte Struktur im Repräsentationsraum eines realen Modells gilt, hängt davon ab, wie die Merkmale gewählt werden. Die Aussagen der Arbeit sind innerhalb dieser Annahmen zu lesen.

Die offenen Fragen ergeben sich direkt aus den Ergebnissen. Erstens lässt sich die Annahme der Dünnbesetztheit lockern. Zweitens kann die Theorie auf nichtlineare Belohnungsmodelle ausgeweitet werden. Drittens bleibt die Lücke zwischen der allgemeinen unteren Schranke für Label-DP und der oberen Schranke auf Basis von Randomized Response zu schließen. Jeder dieser Schritte würde Private Sparse RLHF näher an die Systeme bringen, die in der Praxis tatsächlich trainiert werden.

Die Hauptlehre ist schlicht: Wenn Datenschutz in das Alignment einzieht, kann der Fehler der Zahl der wirklich relevanten Merkmale s* folgen und nicht der vollen Modelldimension d. Erweisen sich reale Präferenzsignale als dünnbesetzt, könnte diese Sichtweise das private Lernen von Belohnungsmodellen für große Modelle praktikabel machen.