Paris 2.0: Video-Diffusion ohne synchronisierte GPUs trainiert
Bagel Labs trainierte drei Video-Experten mit je 11 Milliarden Parametern getrennt und wählt zwischen ihnen per Router. Gegen ein Einzelmodell sank die FVD von 561,04 auf 279,01.
TL;DR
- Paris 2.0 von Bagel Labs trainiert drei Video-Experten mit je 11 Milliarden Parametern, die nie Gradienten, Parameter oder Aktivierungen austauschen, und kombiniert sie per Router [^1].
- Gegen ein Einzelmodell mit denselben Daten und gleichem Rechenbudget senkte es die Fréchet Video Distance in einem Test mit niedriger Auflösung von 561,04 auf 279,01 [^1].
Hintergrund
Diffusionsmodelle erzeugen Bilder und Videos, indem sie Rauschen schrittweise in ein Bild verwandeln. Große Modelle werden meist als ein einziges Modell trainiert, dessen Parameter gemeinsam aktualisiert werden, und das bindet das Training an einen Cluster aus GPUs am selben Ort mit schnellen Verbindungen [^1]. Ein dezentrales Diffusionsmodell (DDM) teilt die Trainingsdaten dagegen in Cluster und trainiert für jeden einen eigenen Experten, ohne Kommunikation zwischen ihnen. Ein kleiner Router entscheidet dann beim Generieren, welche Experten zum Einsatz kommen [^1].
Was passiert ist
Paris 2.0, am 25. Mai von Ali Rouzbayani, Bidhan Roy, Marcos Villagra und Zhiying Jiang von Bagel Labs auf arXiv veröffentlicht, überträgt dieses Rezept von Bildern auf Video [^1]. Der Vorgänger Paris 1.0 war ein Bildmodell mit offenen Gewichten aus acht Experten mit je 129 bis 605 Millionen Parametern, die asynchron über AWS, GCP, lokale Cluster und Runpod trainiert wurden, insgesamt 120 A40-GPU-Tage [^2]. Video ist schwieriger, schreiben die Autoren, weil es jedem Experten Bewegung, längeren zeitlichen Kontext und schwerere Latents aufbürdet; ob das Rezept zeitlich kohärente Videos liefern kann, war daher offen [^1].
Jeder Experte von Paris 2.0 ist ein MM-DiT im FLUX-Stil mit 11 Milliarden Parametern, ein multimodaler Diffusions-Transformer, initialisiert mit Bildgewichten von FLUX.1-dev und für Video auf genau einem Datencluster vortrainiert [^1]. Der Router ist mit rund 100 Millionen Parametern viel kleiner. Bei jedem Entrauschungsschritt liest er das aktuelle verrauschte Video, den Zeitschritt und einen kompakten Textvektor, gewichtet dann die passendsten Experten und kombiniert ihre Ausgaben [^1]. Weil die Experten im Training nichts austauschen, könnte laut Paper jeder auf der jeweils billigsten Hardware laufen, auch auf Spot-Instanzen und Consumer-Hardware über Clouds und Regionen verteilt [^1]. Auf welcher Hardware Paris 2.0 selbst trainiert wurde, steht nicht darin.
Die vorgestellte Studie ist eine erste Stufe. Drei Experten, je einer pro Datencluster, traten gegen ein einzelnes Modell mit 11 Milliarden Parametern an, das auf allen drei Clustern zusammen trainiert wurde; jeder Experte sah ein Drittel der Daten mit einem Drittel des Rechenaufwands der Vergleichsbasis [^1]. Bewertet wurden beide auf 2.048 zurückgehaltenen Clips mit 256 × 256 Pixeln und identischen Sampling-Einstellungen. Die Experten senkten die Fréchet Video Distance, ein Maß dafür, wie realistisch erzeugte Videos insgesamt wirken, von 561,04 auf 279,01 und hoben die CLIP-Text-Video-Ähnlichkeit von 0,2032 auf 0,2178 und den Ästhetik-Score von 3,7950 auf 3,9036 [^1]. Bagel Labs stellte Experten und Router auf Hugging Face bereit, hinter einer Zugangsanfrage, die von Hand geprüft wird. Laut Formular sind die Gewichte für Forschung und Evaluation gedacht, kommerzielle Nutzung erfordert eine schriftliche Vereinbarung, während dieselbe Seite eine MIT-Lizenz angibt [^3].
Warum es wichtig ist
Der naheliegende Einwand ist die Größe: Das Ensemble hat insgesamt mehr Parameter als die Vergleichsbasis, was die Autoren als einzigen strukturellen Unterschied nennen [^1]. Sie argumentieren, dass das Routing und nicht die reine Kapazität den Gewinn bringt. Mit umgangenem Router schlug ein Wechsel zwischen zwei Experten über die Entrauschungsschritte hinweg jeden Experten allein bei CLIP-, Ästhetik- und Warping-Werten, und bei 24 von 40 Prompts gewann der Wechselplan; ein Experte bevorzugte offenbar Schritte mit viel Rauschen, der andere solche mit wenig [^1]. Ein Experte erreichte auf Prompts seines eigenen Clusters eine CLIP-Ähnlichkeit von 0,2175, auf allgemeinen Prompts nur 0,1781, die Experten spezialisieren sich also tatsächlich [^1]. Paris 1.0 zeigte dasselbe Muster bei Bildern: Alle acht Experten gewichtet ergaben eine FID von 47,89, schlechter als die 29,64 des Einzelmodells, während die beiden besten Experten 22,60 erreichten [^2].
Die Belege sind noch schmal: drei ausgewählte Cluster, niedrige Auflösung und automatische Metriken. Das DDM erzeugte auch mehr Bewegung, 0,712 gegenüber 0,555 Pixeln pro Frame, doch die Autoren betonen, dass dieser Wert die Verschiebung pro Frame misst, nicht die zeitliche Konsistenz [^1]. Hält das Ergebnis im größeren Maßstab, wächst die Kapazität, indem man einen weiteren Experten trainiert statt einen synchronisierten Lauf zu vergrößern, während jede Generierung weiterhin etwa so viel Rechenleistung kostet wie ein einzelnes Modell [^1]. Als nächstes Ziel nennen die Autoren Weltmodelle für physische KI, trainiert „auf der verteilten Rechenleistung, die es auf der Welt schon gibt, statt auf den monolithischen Clustern, die nur wenige Labs aufbauen können“ [^1].
Ein Beispiel aus der Praxis
Angenommen, Tomasz betreibt ein Startup mit fünf Leuten, das ein eigenes Videomodell für Kochanleitungen, Bastelvideos und Produktdemos will. Ein herkömmlicher Trainingslauf bräuchte einen reservierten Block GPUs mit schnellen Verbindungen, weil sich jeder Trainingsschritt über alle synchronisiert [^1]. Das sprengt das Budget von Tomasz.
Mit dem DDM-Rezept sortiert das Team seine Clip-Bibliothek zuerst in Cluster, einen pro Videotyp. Jeder Experte trainiert dann auf seinem eigenen Cluster, auf den Maschinen, die in dieser Woche günstig sind: Spot-Instanzen in einer Cloud, ein gemieteter Server in einer anderen. Fällt eine Spot-Instanz weg, wartet nichts anderes darauf, weil kein Experte von den Gradienten eines anderen abhängt; die Autoren von Paris 1.0 führen das als fehlende Blockade durch langsame Worker auf [^2]. Der Router trainiert separat, als Klassifikator, der errät, aus welchem Cluster ein verrauschter Clip stammt [^1].
Beim Generieren landet ein Prompt für eine Wok-Anleitung bei jedem Entrauschungsschritt beim Router, der die Experten so gewichtet, dass der Koch-Experte den Großteil der Arbeit übernimmt. Jedes Video kostet trotzdem nur etwa so viel Rechenleistung wie ein Experte [^1]. Eine neue Kategorie später bedeutet, einen weiteren Experten zu trainieren und den Router anzupassen, statt einen riesigen Lauf neu zu starten [^1].
Zwei Grenzen sollte Tomasz im Blick behalten. Die Belege für Paris 2.0 stammen bisher aus einer Studie mit niedriger Auflösung bei 256 × 256 [^1]. Und wer die Gewichte von Bagel Labs in einem Produkt nutzen will, braucht die Zustimmung des Unternehmens und eine schriftliche Vereinbarung [^3].
Passende Produkte
Wir empfehlen dieses Buch, weil es erklärt, wie neuronale Netze mit Gradienten-Updates trainiert werden und wie großes Training diese Arbeit auf viele Maschinen verteilt, also genau die Abstimmung, auf die Paris 2.0 verzichtet.