inferwire
/
KI·4 Min. Lesezeit

ParetoSlider: Ein Diffusionsmodell, ein Regler für konkurrierende Ziele

Forschende trainieren ein einziges Bild- oder Videomodell, bei dem du die Balance zwischen konkurrierenden Zielen erst bei der Generierung festlegst, statt sie im Training zu fixieren.

TL;DR

  • ParetoSlider trainiert ein Diffusionsmodell so nach, dass sich die Balance zwischen konkurrierenden Rewards, etwa Bearbeitungsstärke gegen Treue zum Original, bei der Generierung einstellen lässt [^1].
  • Bei Stable Diffusion 3.5, FluxKontext und LTX-2 erreichte oder übertraf das eine Modell laut den Autoren Baselines, die für jeden festen Kompromiss separat trainiert wurden [^1].

Hintergrund

Bild- und Videogeneratoren werden oft mit Reinforcement Learning (RL) nachtrainiert: Das Modell erzeugt Beispiele, Reward-Modelle bewerten sie, und das Training schiebt das Modell zu höheren Bewertungen [^1]. Zählen mehrere Kriterien, fasst man die Rewards üblicherweise zu einer festen gewichteten Summe zusammen, was die Autoren „Early Scalarization“ nennen [^1]. Damit steht schon beim Training ein einziger Kompromiss fest, etwa zwischen dem Befolgen einer Bearbeitungsanweisung und der Treue zum Ausgangsbild, und lässt sich später nicht mehr ändern [^1].

Was passiert ist

Forschende der Universität Tel Aviv, von Lightricks und Adobe Research stellen ParetoSlider vor, das ein einziges Diffusionsmodell darauf trainiert, die gesamte Pareto-Front anzunähern: die Menge der Kompromisse, bei denen sich kein Kriterium verbessern lässt, ohne ein anderes zu verschlechtern [^1]. Im Training bekommt jeder Prompt einen zufällig gezogenen Präferenzvektor, also nicht negative Gewichte, die sich zu eins addieren, und das Modell erhält ihn als zusätzliche Eingabe. Dann erzeugt das Modell eine Gruppe von Beispielen, und jedes Reward-Modell bewertet jedes davon [^1]. Rewards mit von Natur aus großen Werten oder großer Streuung könnten die anderen übertönen, was die Autoren „Reward Hijacking“ nennen. Dagegen werden die Werte für jeden Reward getrennt normalisiert und erst im letzten Schritt der Verlustberechnung mit den Gewichten verrechnet, im Paper Late Scalarization genannt [^1]. Die Methode baut auf DiffusionNFT auf, einem bestehenden RL-Framework zum Nachtrainieren, und ergänzt kleine Konditionierungsmodule, die zusammen mit LoRA-Adaptern trainiert werden [^1].

Das Team testete drei Basismodelle: Stable Diffusion 3.5 für Text-zu-Bild, FluxKontext für anweisungsbasierte Bildbearbeitung und LTX-2 für Text-zu-Video [^1]. Zu den Kompromissen gehörten Fotorealismus gegen Stile wie Skizze, Aquarell oder Anime, Erhalt des Originals gegen Befolgen der Anweisung sowie Animation gegen Fotorealismus im Video [^1]. Als Vergleich dienten unter anderem Fixed-Weights, das für jeden Kompromisspunkt einen eigenen Trainingslauf braucht, Flow-Multi, das eine einzige statische Policy lernt, das Umschreiben von Prompts durch ein Sprachmodell und bei der Bildbearbeitung das Durchfahren der Text- und Bild-Guidance-Skalen [^1].

Bei der Aufgabe Fotorealismus gegen Skizze dominierte die Front von ParetoSlider durchweg alle Baselines, während Fixed-Weights eher zum dominanten Reward kippte [^1]. In den Hypervolumen-Tabellen im Anhang, einem Standardmaß dafür, wie gut eine Menge von Ergebnissen den Kompromissraum abdeckt, kam ParetoSlider auf 0,870, gegenüber 0,827 für das Umschreiben von Prompts, 0,683 für Flow-Multi und 0,435 für Fixed-Weights [^1]. Bei der Bildbearbeitung waren es 0,574 gegenüber 0,561 für Text-Guidance und 0,395 für Bild-Guidance [^1].

Warum es wichtig ist

Der praktische Gewinn: ein Checkpoint statt vieler. Andere Ansätze für Kontrolle zur Laufzeit interpolieren zwischen separat trainierten Modellen, sodass der Speicherbedarf linear mit der Zahl der Ziele wächst, oder steuern die Generierung ohne Training mit hohem Aufwand pro Schritt [^1]. ParetoSlider braucht zur Laufzeit weder Neutraining noch Modellinterpolation noch Gradientenführung pro Schritt: Man setzt die Gewichte, und das Modell generiert wie gewohnt [^1]. Die Autoren sehen darin einen Weg zu Bedienoberflächen, mit denen auch Laien Reward-Kompromisse steuern können [^1].

Die Abstände schwanken allerdings. Bei der Bildbearbeitung ist der Hypervolumen-Vorsprung vor einfacher Text-Guidance klein, und in den Ablationen fanden Early und Late Scalarization eine ähnliche Gesamtfront; der Vorteil von Late Scalarization lag in gleichmäßigeren Zwischenstufen, wo die Alternativen eher zum Fotorealismus kippten [^1]. Außerdem erbt die Methode die Schwächen ihrer Reward-Modelle. Die Autoren nennen als Beispiel einen Skizzen-Reward, der auf Graustufenbilder anspricht statt auf echten Skizzenstil, und warnen, dass ein einziger schlecht definierter Reward die gesamte Kompromissfläche verzerren kann [^1].

Ein Beispiel aus der Praxis

Angenommen, Noa betreibt ein kleines Studio, das Porträts von Kundschaft mit einem Bildbearbeitungsmodell in Fantasy-Figuren verwandelt. Eine Kundin will erkennbar bleiben, ein anderer Kunde will den kompletten Look eines gepanzerten Kriegers. Mit einem Modell, das auf eine feste Gewichtung nachtrainiert wurde, bekommt Noa genau eine Balance zwischen Gesicht erhalten und Anweisung befolgen. Eine andere Balance bedeutet einen weiteren Trainingslauf; die Autoren trainierten für ihren eigenen Vergleich fünf separate Modelle für fünf Punkte [^1].

Die üblichen Stellschrauben haben Nebenwirkungen. Eine höhere Bild-Guidance-Skala bewahrt mehr vom Original, erzeugt aber Bildfehler, und eine höhere Text-Guidance-Skala lässt Bilder eher stärker gesättigt wirken [^1].

Mit einem per ParetoSlider trainierten Modell lädt Noa einen einzigen Checkpoint und stellt pro Auftrag einen Präferenzwert ein [^1]. Nahe am vollständigen Erhalt bleiben feine Merkmale wie Sommersprossen erhalten; je weiter das Gewicht in Richtung Anweisung wandert, desto mehr verschiebt sich die Identität, und diese Details verschwinden unter der stärkeren Bearbeitung, ähnlich wie im Krieger-Beispiel des Papers [^1]. Für die Kundin bleibt Noa nahe der ausgewogenen Mitte, für den Kunden geht es Richtung Bearbeitung. Jedes Ergebnis prüft Noa trotzdem, denn der Regler ist nur so gut wie die Reward-Modelle, mit denen er trainiert wurde [^1].

Passende Produkte

Wir empfehlen dieses Buch, weil es Reinforcement Learning von Grund auf erklärt, also die Trainingsmethode, mit der ParetoSlider Bild- und Videomodelle nachtrainiert.

WerbungAmazon

Reinforcement Learning: An Introduction

Quellen

  1. [1]arXiv — ParetoSlider: Diffusion Models Post-Training for Continuous Reward Control