AdamW: Kein Konvergenzbeweis bei Rauschen mit schweren Rändern
Ein kurzes Paper fragt, ob AdamW unter Gradientenrauschen mit schweren Rändern so schnell konvergiert wie Lion und Muon, und zeigt, wo der Beweis hängen bleibt.
TL;DR
- Ein Paper mit einem offenen Problem fragt, ob AdamW, der Standard-Optimierer für LLMs, unter Rauschen mit schweren Rändern beweisbar so schnell konvergiert wie Lion und Muon [^1].
- Die Autoren beweisen Teilergebnisse, darunter einen konstruierten Fall, in dem AdamWs Gedächtnis für seltene Ausreißer die Schritte schrumpfen lässt, während der Gradient groß bleibt [^1].
Hintergrund
Ein Optimierer legt fest, wie sich die Gewichte eines neuronalen Netzes nach jedem Trainingsbatch ändern. AdamW, also Adam mit entkoppeltem Weight Decay, stammt von Ilya Loshchilov und Frank Hutter von der Universität Freiburg und ist in TensorFlow und PyTorch implementiert [^2]. Konvergenzbeweise sagen, wie schnell ein Optimierer einen Punkt mit kleinem Gradienten erreicht. Die meisten Beweise für AdamW setzen Gradientenrauschen mit endlicher Varianz voraus [^1]. Rauschen mit schweren Rändern erzeugt seltene, sehr große Werte, die diese Annahme brechen können.
Was passiert ist
Fünf Forschende der Universitäten Nanjing, Zhejiang und Fudan haben das Paper am 22. Juni auf arXiv veröffentlicht [^1]. Es ist als offenes Problem formuliert. Die Autoren nennen AdamW den De-facto-Optimierer für das Training großer Sprachmodelle, halten aber fest, dass seine Theorie noch weitgehend von endlicher Varianz ausgeht, während empirische Befunde zeigen, dass das Gradientenrauschen beim LLM-Pretraining typischerweise schwere Ränder hat [^1]. Vorzeichenbasierte Optimierer wie Lion und Muon haben unter solchem Rauschen bereits scharfe Konvergenzraten, und auch AdaGrad kann darunter konvergieren. Für AdamW gibt es in diesem Bereich noch keine rigorose Konvergenztheorie [^1].
Die Frage ist bewusst eng gefasst: Erreicht AdamW unter denselben Annahmen die Rate, die für vorzeichenbasierte Verfahren bewiesen ist? Schon für den Fall ohne Weight Decay verlangen die Autoren entweder einen Beweis dafür oder eine konstruierte Instanz, die zeigt, dass es keine solche Garantie geben kann [^1]. Sie liefern Teilergebnisse. Ein positives zeigt, dass AdamW die Zielrate in einem gewichteten Fortschrittsmaß erreicht, aber nur, wenn seine beiden gleitenden Mittelwerte, das Momentum und der Mittelwert der quadrierten Gradienten, gleich lange zurückblicken. In der Praxis hat der zweite meist ein viel längeres Gedächtnis [^1]. Ein Hindernis-Ergebnis zeigt, dass AdamW ohne jede Mittelung zu SignSGD wird und manches unverzerrte Rauschen mit schweren Rändern es dann im Mittel in die falsche Richtung schiebt. Die Autoren betonen, dass dies eine Warnung vor beliebigem Rauschen ist, nicht vor AdamW in der Praxis [^1].
Das zweite Hindernis ist der Kern des Problems. In einem konstruierten eindimensionalen Fall lassen seltene große Ausreißer SignSGD weiter in die richtige Richtung driften, doch AdamWs Mittelwert der quadrierten Gradienten merkt sie sich und verkleinert die Schritte, sodass das Gedächtnis im Nenner große Gradienten verstecken kann [^1]. Laut den Autoren ist das keine allgemeine untere Schranke für alle AdamW-Einstellungen. Es zeigt aber einen konkreten Bereich mit langem Gedächtnis, in dem AdamW nach dem gewichteten Maß Fortschritt zu machen scheint, während der Gradient selbst groß bleibt [^1].
Warum es wichtig ist
Die Antwort würde helfen, etwas zu erklären, das sich in der Praxis bereits zeigt. Lion und Muon haben in vielen praktischen Szenarien durchgehend besser abgeschnitten als AdamW, auch bei großen LLM-Systemen wie Kimi-K2, GLM-5 und DeepSeek-V4 [^1]. Erfüllt AdamW dieselbe Garantie, so die Autoren, muss der Vorteil der vorzeichenbasierten Optimierer aus Aspekten stammen, die klassische Konvergenztheorie nicht erfasst. Scheitert AdamW, würde die Theorie erklären, warum Muon es beim LLM-Training mit schweren Rändern schlagen kann [^1].
Das Paper zeigt auch, warum der übliche Beweisweg nicht trägt. Bei Rauschen mit schweren Rändern kann der Erwartungswert des quadrierten Gradienten unendlich sein, also fehlt Analysen, die AdamWs Mittelwert der quadrierten Gradienten durch eine endliche Schätzung des zweiten Moments ersetzen, die Grundlage [^1]. AdaGrads Akkumulator wächst nur, und neuere Arbeiten konnten ihn kontrollieren; AdamW muss zusätzlich das Auseinanderlaufen zweier exponentieller Mittelwerte beherrschen [^1]. Nichts davon zeigt, dass echte Trainingsläufe mit AdamW scheitern. Die Ergebnisse sind Beweise über konstruierte Fälle, das Paper markiert also eine Lücke in der Theorie, kein Urteil über den Optimierer.
Ein Beispiel aus der Praxis
Angenommen, Jun fährt an einem Universitätslabor Pretraining-Experimente für ein kleines Sprachmodell, mit AdamW in der üblichen Einstellung, bei der der Mittelwert der quadrierten Gradienten ein viel längeres Gedächtnis hat als das Momentum [^1]. Für ein bestimmtes Gewicht sind die meisten Gradienten moderat und zeigen in dieselbe Richtung. Hin und wieder liefert ein Batch aber einen riesigen Wert in die Gegenrichtung.
AdamW quadriert diesen Ausreißer und behält ihn in seinem Mittelwert mit langem Gedächtnis, während das Momentum ihn viel früher vergisst [^1]. Der Schritt für dieses Gewicht ist das Momentum geteilt durch die Wurzel dieses Mittelwerts, also schrumpft er über viele Schritte gegen null, obwohl der wahre Gradient dort nicht kleiner geworden ist. Im konstruierten eindimensionalen Beispiel des Papers bleibt der Gradient über den Lauf gemittelt dadurch bei mindestens der Hälfte seines Startwerts, während SignSGD, das nur auf die Richtung schaut, weiter in die richtige Richtung driftet [^1].
Was Jun daraus nicht schließen sollte: dass AdamW kaputt ist. Die Konstruktion deckt einen Bereich mit langem Gedächtnis ab, nicht jede Einstellung [^1]. Zeigt Juns Vergleich, dass Muon schneller trainiert, bietet das Paper zwei Lesarten: Entweder zeigt die Theorie irgendwann, dass AdamW bei schweren Rändern zurückfällt, oder Muons Vorsprung beruht auf etwas, das klassische Konvergenztheorie nicht erfasst [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil sein Kapitel über Optimierung erklärt, wie adaptive Verfahren wie AdaGrad, RMSProp und Adam funktionieren, also genau das Vorwissen, das dieses offene Problem voraussetzt.