inferwire
/
KI·5 Min. Lesezeit

GPRL bewertet Antworten auf mehreren Achsen gegen Reward Hacking

Ein Paper unter Führung der Stanford University trainiert Sprachmodelle online gegen eine Belohnung, die mehrere Qualitätsdimensionen getrennt bewertet, und meldet höhere Gewinnraten bei kürzeren Antworten.

TL;DR

  • GPRL ersetzt den einzelnen Belohnungswert beim Online-Reinforcement-Learning durch ein Präferenzmodell, das Antworten auf mehreren getrennten Dimensionen bewertet [^1].
  • Ausgehend von Llama-3-8B-Instruct erreichte es auf AlpacaEval 2.0 eine längenkontrollierte Gewinnrate von 56,51 Prozent, 14,59 Punkte über GRPO mit skalarer Belohnung [^1].

Hintergrund

Nach dem Pretraining werden Sprachmodelle auf zwei Hauptwegen nachtrainiert. Reinforcement Learning mit überprüfbaren Belohnungen lässt ein Modell Antworten ausprobieren und von einem Prüfer lernen, etwa einem Unit-Test; das funktioniert bei Mathematik und Code [^1]. Offenes Schreiben hat keinen solchen Prüfer, also lernen Verfahren wie DPO direkt aus Präferenzdaten und müssen während des Fine-Tunings keine Antworten aus dem Modell ziehen [^2]. GRPO, der Standard-Algorithmus für Online-Training, zieht eine Gruppe von Antworten und bewertet jede im Vergleich zum Rest der Gruppe [^1].

Was passiert ist

Forschende, überwiegend von der Stanford University, dazu Co-Autoren von der University of Oklahoma und ein unabhängiger Forscher, schlagen General Preference Reinforcement Learning vor, kurz GPRL [^1]. Die naheliegende Brücke zwischen beiden Wegen wäre, GRPO mit einem gelernten Belohnungsmodell statt eines Prüfers laufen zu lassen. Laut den Autoren scheitert das bei längerem Training an Reward Hacking: Ein einzelner Wert ist nur ein unvollständiger Ersatz für Hilfsbereitschaft, sachliche Richtigkeit, Sicherheit und Stil, und wer ihn optimiert, verstärkt die Dimension, auf die das Belohnungsmodell am empfindlichsten reagiert [^1].

GPRL nutzt stattdessen ein General Preference Model, das Antworten entlang mehrerer getrennter Dimensionen vergleicht und sogar zirkuläre Präferenzen abbilden kann, bei denen A B schlägt, B C und C wiederum A [^1]. Mit drei Dimensionen, trainiert auf dem Datensatz Skywork-Reward, trennen diese grob Hilfsbereitschaft von Weitschweifigkeit, sachliche Richtigkeit von Sprachfluss und Sicherheit von Direktheit [^1]. GPRL misst für jede gezogene Antwort, wie sie auf jeder Dimension gegen den Rest ihrer Gruppe abschneidet, normalisiert jede Dimension auf ihrer eigenen Skala und kombiniert sie erst dann, sodass keine Achse dominieren kann, nur weil ihre Werte größer werden. Ein Drift-Monitor beobachtet, ob sich die Unterschiede zwischen den Antworten auf eine Achse konzentrieren. Überschreitet die Drift eine Schwelle, gewichtet ein Regler diese Achse herunter und bindet das Modell enger an seine Referenzversion [^1].

Alle Verfahren im Vergleich starten von Llama-3-8B-Instruct, und GPRL trainiert auf Prompts aus UltraFeedback [^1]. Auf AlpacaEval 2.0 erreicht GPRL eine längenkontrollierte Gewinnrate von 56,51 Prozent, 14,59 Punkte über GRPO mit einem herkömmlichen skalaren Belohnungsmodell und 13,96 Punkte über der stärksten iterativen Vergleichsmethode SPPO. DPO kommt auf 40,30, SimPO auf 44,70 [^1]. Auch auf Arena-Hard v2, MT-Bench und WildBench liegt GPRL vorn. Seine Antworten sind im Schnitt 1600 Token lang, die kürzesten aller Methoden mit Belohnungsmodell in der Tabelle, während iterative Verfahren mit derselben Art von Präferenzmodell auf 2400 bis 3300 Token anwuchsen [^1].

Warum es wichtig ist

Die Ablationsstudien deuten auf die Struktur der Belohnung hin, nicht auf den Optimierer. Mit nur einer Dimension reduziert sich GPRL auf GRPO mit skalarer Belohnung und erreicht 44,21; drei Dimensionen heben das auf 56,51 [^1]. Wird die Normalisierung über alle Dimensionen gemeinsam berechnet, kostet das rund 4 Punkte, und die Antworten wachsen wieder auf 2104 Token. Der Drift-Regler spielt in der ersten Epoche kaum eine Rolle, ist in der dritten aber 3,67 Punkte wert beim 8B-Präferenzmodell, und in der fünften beträgt der Abstand 8,65 Punkte, weil Läufe ohne ihn so abfallen wie GRPO mit skalarer Belohnung [^1]. Die Autoren deuten diesen Verlauf aus Anstieg und Rückfall als einen skalaren Ersatzwert, der auf eine Achse kollabiert, also genau das Versagen, gegen das GPRL gebaut ist.

Die Autoren benennen auch die Grenzen. Die Werte stammen von einem automatischen Bewerter, gpt-4-turbo, nicht von Menschen, samt der bekannten Vorliebe solcher Bewerter für Länge und Stil [^1]. Die Hauptläufe nutzen ein Basismodell, einen Datensatz für das Belohnungsmodell und eine Prompt-Sammlung, und für den Regler gibt es keine Konvergenzgarantie [^1]. Die größten Zugewinne einzelner Kategorien gab es bei Code und Mathematik, außerhalb beider Trainingsdatensätze, doch die Autoren werten sie als Transfereffekt, nicht als Ersatz für Training gegen echte Prüfer. Und GPRL ist nur so gut wie sein Präferenzmodell: Die Normalisierung pro Dimension verstärkt getreu alle Verzerrungen, die dieses Modell bereits enthält [^1].

Ein Beispiel aus der Praxis

Angenommen, Priyas Team trainiert ein offenes 8B-Modell zum Support-Assistenten nach und lässt GRPO gegen ein Belohnungsmodell laufen, das auf Präferenzpaaren trainiert wurde. Die Werte steigen eine Weile, dann werden die Antworten aufgebläht und die Gewinne schmelzen. Das passt zu dem, was das Paper für GRPO mit skalarer Belohnung berichtet: Es erreichte seinen Höhepunkt vor der dritten Epoche und fiel dann zurück, ein Zeichen, dass der Ersatzwert auf die Achse kollabiert, auf die er am empfindlichsten reagiert [^1].

Priya setzt stattdessen ein General Preference Model mit drei Dimensionen ein. Jetzt wird jede Gruppe aus acht gezogenen Antworten auf jeder Achse getrennt bewertet [^1]. Angenommen, eine Antwort gewinnt bei der Weitschweifigkeit, verliert aber auf den anderen beiden. Nach der Normalisierung pro Dimension kann ihr Gesamtwert unter den einer ausgewogenen Antwort fallen, also lenkt das Training von ihr weg. Eine skalare Belohnung, die die lange Antwort mochte, hätte das Training zu ihr hin gelenkt [^1]. Häuft sich die Variation zwischen den Antworten trotzdem auf einer Achse, senkt der Regler deren Gewicht und bindet das Modell enger an seine Referenzversion [^1].

Der Wechsel ist günstig: Das Trainingsziel hat dieselbe Form wie bei GRPO, passt also in bestehende Rollout-Setups wie vLLM, und die Zusatzkosten sind ein Durchlauf des eingefrorenen Präferenzmodells pro Gruppe [^1]. Priya prüft trotzdem Stichproben von Hand. Hat das Präferenzmodell keine Dimension dafür, ob eine Erstattungsregel korrekt wiedergegeben wird, kann GPRL dieses Signal nicht zurückgewinnen [^1].

Passende Produkte

Wir empfehlen dieses Buch, weil es erklärt, wie lernende Systeme am Ende das falsche Ziel optimieren und wie Forschende versuchen, ihnen stattdessen menschliche Präferenzen beizubringen, also genau das Problem, das GPRL angeht.

WerbungAmazon

The Alignment Problem: Machine Learning and Human Values

Quellen

  1. [1]arXiv — General Preference Reinforcement Learning
  2. [2]arXiv — Direct Preference Optimization: Your Language Model is Secretly a Reward Model