inferwire
/
KI·4 Min. Lesezeit

DiT-Reward macht Stable Diffusion 3.5 zum Bewertungsmodell für Bilder

Forschende von JD Explore Academy und Pekinger Universitäten machen Stable Diffusion 3.5 Large zu einem Reward-Modell, das HPSv3 in vier Präferenz-Benchmarks schlägt und Latents 1,65-mal schneller bewertet.

TL;DR

  • DiT-Reward macht Stable Diffusion 3.5 Large zu einem Reward-Modell, das HPSv3 in vier Präferenz-Benchmarks schlägt, trainiert mit denselben Daten [^1].
  • Beim Fine-Tuning eines Bildgenerators brachte es mehr Realismus und Details als HPSv3 und bewertete Bilder 1,65-mal schneller, hinkte aber bei der Prompt-Treue hinterher [^1].

Hintergrund

Reward-Modelle bewerten erzeugte Bilder und dienen dazu, Text-zu-Bild-Modelle zu evaluieren, Ergebnisse neu zu sortieren und Modelle feinzutunen [^1]. Trainiert werden sie mit Bildpaaren, bei denen Menschen das jeweils bevorzugte Bild gewählt haben. Die meisten bauen auf separat vortrainierten Vision-Language-Modellen wie CLIP oder BLIP auf, sodass ein erzeugtes Bild erst in Pixel dekodiert und dann erneut kodiert werden muss [^1]. Viele moderne Generatoren sind Diffusion Transformer, die das verbreitete U-Net-Rückgrat durch einen Transformer ersetzen, der auf Latent-Patches arbeitet [^1] [^2].

Was passiert ist

In einem am 22. Juni auf arXiv veröffentlichten Paper beschreiben Forschende von JD Explore Academy, der Tsinghua University, dem Beijing Institute of Technology und der Peking University DiT-Reward [^1]. Das Verfahren nutzt das Transformer-Rückgrat von Stable Diffusion 3.5 Large mit etwa 8 Milliarden Parametern als Bewerter. Ein Bild wird in den Latent-Raum des Generators kodiert und leicht verrauscht, weil das Modell auf verrauschten Eingaben statt fertigen Bildern trainiert wurde. Das Rückgrat verarbeitet es zusammen mit dem Prompt, die Hidden States von vier Schichten werden gemittelt und an ein kleines Netz übergeben, das einen einzelnen Wert ausgibt [^1]. Um Architekturen statt Daten zu vergleichen, trainierte das Team mit dem öffentlichen Datenmix von HPSv3, ohne weitere Quellen hinzuzufügen [^1].

DiT-Reward schlug HPSv3 in allen vier Benchmarks, die das Paper angibt. Bei HPDv3 erzielte es mit 77,6 Prozent paarweiser Genauigkeit den besten Wert, ebenso bei HPDv2 mit 85,6 Prozent, bei ImageReward landete es auf Platz zwei und bei PickScore gleichauf auf Platz zwei [^1]. Mit eingefrorenem Generator und nur einem trainierten Kopf von etwa 10 Millionen Parametern erreichte es bei HPDv3 noch 72,3 Prozent [^1]. In Tests einzelner Schichten stieg die Genauigkeit von 58,71 Prozent in Schicht 0 auf 71,98 Prozent in Schicht 24 und sank in den letzten Schichten wieder. Der Wechsel vom Medium-Rückgrat mit 2,5 Milliarden Parametern zum Large-Rückgrat mit 8,1 Milliarden hob die Genauigkeit bei HPDv3 von 71,5 auf 77,6 Prozent [^1].

Anschließend nutzte das Team DiT-Reward, um Stable Diffusion 3.5 Large mit dem Reinforcement-Learning-Verfahren Flow-GRPO feinzutunen, und verglich das mit einem gleich aufgesetzten Lauf mit HPSv3 [^1]. Bewertet von GPT-5 und Gemini-3-Flash über 18 vergleichbare Checkpoints stieg der durchschnittliche Gesamtwert von 7,18 auf 7,41 und von 6,61 auf 7,02, wobei DiT-Reward an jedem Checkpoint vorne lag [^1]. Die Gewinne lagen bei Bildqualität, Realismus und Detailreichtum, HPSv3 behielt einen leichten Vorsprung bei der Prompt-Treue [^1]. Die direkte Bewertung von Latents dauerte 54 Millisekunden pro Bild gegenüber 89 bei HPSv3, bei einem Spitzenspeicher von 16,1 GB gegenüber 16,0 GB [^1].

Warum es wichtig ist

Das Paper übernimmt ein Muster aus dem Alignment von Sprachmodellen, bei dem Policy und Reward-Modell meist vom selben oder einem eng verwandten vortrainierten Modell ausgehen und dann getrennt trainiert werden [^1]. Hier starten beide von Stable Diffusion 3.5 Large. Weil sie sich einen Latent-Raum teilen, müssen erzeugte Bilder vor der Bewertung nicht in Pixel dekodiert und von einem separaten Bildmodell neu kodiert werden, und genau daher kommt der Geschwindigkeitsvorteil [^1]. Über den Pixelweg ist DiT-Reward mit 154 Millisekunden und 27,2 GB langsamer als HPSv3 [^1].

Reward Hacking löst das Verfahren nicht. Beide Läufe lernten irgendwann, ihrem Bewerter zu gefallen: Gesichter und Objekte wurden frontal und starr, halluzinierte Details häuften sich, und die Ergebnisse entfernten sich vom Prompt [^1]. HPSv3 trieb Sättigung und Kontrast hoch, DiT-Reward erhielt die globale Struktur, erzeugte aber gedämpfte Farben, falsche Gesichter und eine schwächere Prompt-Treue [^1]. Die Autoren sehen darin ein Zeichen, dass Reward-Modelle mit denselben Präferenzdaten einen Generator je nach Rückgrat in unterschiedliche Richtungen lenken können. Sie schlagen vor, Repräsentationen der Text-Token einzubeziehen, um DiT-Reward empfindlicher für den Prompt zu machen [^1].

Ein Beispiel aus der Praxis

Angenommen, du feintunst ein Bildmodell für Produktfotos und nutzt ein Reward-Modell, um Kandidaten während des Trainings zu bewerten. Teilen sich Generator und Reward-Modell einen Latent-Raum, wie Stable Diffusion 3.5 Large und DiT-Reward, kannst du jeden Kandidaten bewerten, ohne ihn erst zu dekodieren: im Test des Papers in 54 statt 89 Millisekunden pro Bild [^1]. Die Prompt-Treue prüfst du trotzdem weiter und schaust dir im Lauf des Trainings Beispielbilder an. Im Paper wurden beide Reward-Modelle irgendwann ausgetrickst, und bei DiT-Reward zeigte sich das in gedämpften Farben und schwächerer Prompt-Treue [^1].

Passende Produkte

Wir empfehlen dieses Buch, weil es Diffusionsmodelle und Transformer erklärt, die beiden Bausteine des Diffusion Transformers, den DiT-Reward weiterverwendet.

WerbungAmazon

Generative Deep Learning: Teaching Machines to Paint, Write, Compose, and Play

Quellen

  1. [1]arXiv — DiT-Reward: Generative Representations for Text-to-Image Reward Modeling
  2. [2]arXiv — Scalable Diffusion Models with Transformers