inferwire
/
KI·4 Min. Lesezeit

SDAR: Gesteuerte Selbstdistillation stabilisiert RL für LLM-Agenten

Forschende von Zhejiang University, Meituan und Tsinghua ergänzen das Reinforcement Learning von Agenten um Lehrersignale pro Token, filtern diese aber, damit unzuverlässige Signale das Training nicht entgleisen lassen.

TL;DR

  • SDAR ergänzt das RL-Training von LLM-Agenten um Hinweise pro Token von einer mit Skills ausgestatteten Kopie des Modells und gewichtet jedes Token über ein Gate [^1].
  • Auf Qwen2.5-3B stieg die ALFWorld-Erfolgsquote gegenüber reinem GRPO von 75,0 auf 84,4 Prozent, während naive Distillation kollabierte oder schlechter wurde [^1].

Hintergrund

Reinforcement Learning trainiert LLM-Agenten für Aufgaben wie textbasierte Haushaltsspiele, Online-Shopping oder Fragebeantwortung mit Suche, doch die Belohnung kommt nur einmal pro Durchlauf, ein grobes Signal für lange Interaktionen [^1]. On-Policy-Selbstdistillation, kurz OPSD, liefert dichte Hinweise pro Token: Dasselbe Modell erhält privilegierten Kontext, den es nur im Training gibt, und dient als Lehrer für die Token, die der Schüler erzeugt [^1]. Dieser Kontext sind hier abgerufene Skills, kompakte Demonstrationen wie Zerlegungen in Teilziele oder Aktionsvorlagen [^1].

Was passiert ist

Forschende von Zhejiang University, Meituan und Tsinghua University berichten, dass sich OPSD nicht sauber auf Agenten mit mehreren Runden übertragen lässt [^1]. Sobald der Schüler von Pfaden abweicht, die der Lehrer stützt, wird die Aufsicht pro Token unzuverlässig, die Divergenz zwischen beiden schießt hoch und die Leistung bricht stark ein. Zudem sind die Signale des Lehrers ungleich verteilt. Bewertet er ein Token des Schülers höher, bestätigt der Skill etwas, das der Schüler schon kann. Bewertet er es niedriger, kann das eine echte Korrektur sein, oder nur ein unpassender Skill, ein Lehrer, der ihn nicht nutzen kann, oder Drift über die Runden. In einer Vorstudie mit Qwen2.5-3B-Instruct machten solche Token mit negativer Lücke mehr als die Hälfte aller Token aus [^1].

Das vorgeschlagene Verfahren SDAR behält GRPO-Reinforcement-Learning als Hauptziel und fügt die Distillation als Hilfsverlust mit dem Gewicht 0,01 hinzu [^1]. Das Distillationsgewicht jedes Tokens läuft durch ein Sigmoid-Gate, das von der Lücke zwischen Lehrer und Schüler gesteuert wird: Token, die der Lehrer bestätigt, werden stärker destilliert, Token, die er ablehnt, sanft gedämpft. Weil die Distillation ein separater Verlust ist, bleibt der RL-Vorteilswert selbst unverändert [^1]. Von drei getesteten Gate-Varianten schlug die auf der Lücke basierende die Varianten auf Basis der Schüler-Entropie oder einer Mischung aus beidem [^1].

Das Team trainierte Qwen2.5- und Qwen3-Modelle 150 Schritte lang auf 8 H800-GPUs und testete sie auf ALFWorld, WebShop und einer Reihe von Frage-Antwort-Benchmarks mit Suche [^1]. Auf Qwen2.5-3B steigerte SDAR gegenüber GRPO die ALFWorld-Erfolgsquote von 75,0 auf 84,4 Prozent, die Genauigkeit bei Search-QA um 7,0 Punkte und bei WebShop um 4,7. Auf Qwen2.5-7B stieg die WebShop-Genauigkeit von 72,6 auf 82,8 [^1]. OPSD allein brach bei Search-QA auf nahezu null ein, und OPSD einfach zu GRPO hinzuzufügen senkte die ALFWorld-Erfolgsquote auf Qwen3-1.7B auf 32,0 Prozent, gegenüber 46,1 für GRPO allein. SDAR erreichte dort 53,9 [^1].

Warum es wichtig ist

Der Agent braucht die Skills im Einsatz nicht. Skill-GRPO, das abgerufene Skills in den Trainings-Prompt packt, fiel beim 3B-Modell auf ALFWorld von 80,5 auf 60,2 Prozent, wenn ohne sie getestet wurde, und damit unter reines GRPO. SDAR nutzt Skills nur im Training und erreichte trotzdem 84,4 [^1]. Die Autoren deuten das so, dass das Wissen in die Gewichte des Modells wandert, statt im Prompt zu bleiben. Das Gate federt auch schlechten Abruf ab: Im Robustheitstest schlugen selbst zufällig ausgewählte Skills reines GRPO, um 1,9 Punkte auf ALFWorld, während Schlagwortsuche 4,7 Punkte brachte [^1].

Die Belege haben Grenzen. Die Tests umfassen drei Benchmark-Sammlungen, Modelle bis 7B Parameter und 150 Trainingsschritte [^1]. SDAR gewinnt nicht überall: Auf Qwen2.5-3B lag es bei Search-QA hinter GRPO+OPSD, Skill-SD und RLSD, mit 43,4 gegenüber 44,6, 44,1 und 43,8. Die Spitzenwerte im Abstract mischen zudem Modellgrößen: Die Zahlen für ALFWorld und Search-QA stammen vom 3B-Modell, der Zuwachs von 10,2 Punkten bei WebShop vom 7B-Modell [^1]. Auch die Abstimmung zählt: Ein Distillationsgewicht von 0,1 ließ das oft schwächere Lehrersignal dominieren und führte zu einem starken Einbruch [^1].

Ein Beispiel aus der Praxis

Angenommen, Kenjis Team trainiert einen Shopping-Agenten, der einen Onlineshop durchsucht, um Produkte passend zur Anfrage eines Kunden zu finden, ähnlich wie bei WebShop. Mit GRPO allein bekommt der Agent eine einzige Belohnung am Ende: richtiger Artikel gekauft oder nicht [^1].

Kenji hat eine Bibliothek mit Skill-Dateien, etwa Notizen dazu, wie man einen Kauf in Teilziele zerlegt. Sie in den Trainings-Prompt zu packen ist riskant: Im Paper fiel Skill-GRPO auf ALFWorld von 80,5 auf 60,2 Prozent, sobald die Skills wegfielen [^1]. Reine Selbstdistillation ist ebenfalls riskant. Dasselbe Modell liest die Skill-Datei und dient als Lehrer, doch sobald der Agent auf die falsche Produktseite gerät, werden diese Hinweise unzuverlässig, und naive Kombinationen verschlechterten im Paper das Training [^1].

Mit SDAR treibt weiterhin die Belohnung das Training an. Bewertet der Lehrer mit dem Skill das nächste Token des Agenten höher als der Agent selbst, wird dieses Token stärker destilliert. Bewertet er ein Token niedriger, vielleicht weil die abgerufene Notiz eine andere Produktkategorie betrifft, schwächt das Gate dieses Signal ab, statt es dem Agenten aufzuzwingen [^1]. Kenji hält das Distillationsgewicht klein, beim Wert 0,01 aus dem Paper, denn 0,1 führte zu einem starken Einbruch [^1]. Im Einsatz läuft der Agent dann ganz ohne Skill-Dateien [^1].

Passende Produkte

Wir empfehlen dieses Buch, weil es Belohnungssignale, Credit Assignment und Policy-Gradient-Verfahren von Grund auf erklärt, also die Grundlage, auf der SDAR aufbaut.

WerbungAmazon

Reinforcement Learning: An Introduction

Quellen

  1. [1]arXiv — Self-Distilled Agentic Reinforcement Learning