inferwire
/
KI·4 Min. Lesezeit

VLA Foundry: Eine Codebasis vom Sprachmodell bis zur Robotersteuerung

Ein offenes Framework des Toyota Research Institute trainiert Sprach-, Bild-Sprach- und Roboteraktionsmodelle in einer Codebasis. Die Qwen3-VL-Variante schlug ein älteres Modell in der Simulation um 23 Punkte.

TL;DR

  • VLA Foundry vom Toyota Research Institute trainiert Sprach-, Bild-Sprach- und Roboteraktionsmodelle in einer offenen Codebasis, vom Vortraining bis zum Aktions-Fine-Tuning [^1].
  • Die auf Qwen3-VL aufbauende Steuerung schlug das frühere geschlossene Multi-Task-Modell des Instituts in der Simulation um durchschnittlich 23 Punkte; Ergebnisse mit echten Robotern fehlen noch [^1].

Hintergrund

Ein Vision-Language-Action-Modell, kurz VLA, nimmt Kamerabilder und eine Aufgabenbeschreibung entgegen und gibt Roboterbewegungen aus. Gebaut wird es meist in Stufen: Ein Sprachmodell wird trainiert, mit einem Bild-Encoder zu einem Bild-Sprach-Modell erweitert und dann darauf angepasst, Aktionen vorherzusagen [^1]. Die meisten Open-Source-VLA-Projekte decken laut den Autoren nur die letzte Stufe ab und flicken inkompatible Vortrainings-Pipelines zusammen, obwohl frühe Entscheidungen über die Daten bestimmen, wie gut der Roboter später arbeitet [^1].

Was passiert ist

Forschende am Toyota Research Institute haben VLA Foundry veröffentlicht, ein Open-Source-Framework mit einem gemeinsamen Daten- und Trainings-Stack für alle drei Stufen [^1]. Modelle, Datenpipelines und Encoder werden per Namen aus YAML-Konfigurationsdateien erzeugt, sodass der Austausch eines Bild-Encoders oder Sprach-Backbones eine einzige Änderung auf der Kommandozeile ist; vortrainierte Backbones lassen sich von Hugging Face laden [^1]. Das Training baut auf FSDP2 und AWS-Werkzeugen auf, und das Team hat den Durchsatz auf bis zu 128 GPUs in 16 Knoten gemessen [^1]. Dazu liefert das Projekt den offenen LBM-Simulationsbenchmark mit 49 Tischaufgaben für zweiarmige Roboter als Docker-Image sowie ein Dashboard für statistische Vergleiche zwischen Steuerungen [^1].

Um die Pipeline durchgehend vorzuführen, trainierte das Team Foundry-VLA-1.7B von Grund auf: ein Sprachmodell mit 1,2 Milliarden Parametern auf 1 Billion Tokens aus dem offenen DCLM-Datensatz, einen zusätzlichen Vision Transformer mit 86 Millionen Parametern und einen Aktionskopf mit 325 Millionen Parametern, der per Flow Matching lernt, eine Folge von Roboteraktionen zu erzeugen [^1]. Ein zweites Modell, Foundry-Qwen3VLA-2.1B-MT, setzt denselben Aktionskopf auf das vortrainierte Qwen3-VL 2B [^1]. Beide lernten aus simulierten und echten, ferngesteuert aufgezeichneten Demonstrationen aus der früheren LBM-Arbeit des Instituts, mit 42 Aufgaben in der Simulation und 361 in der realen Welt; anders als damals nutzte das Team den offenen OXE-Datensatz nicht [^1].

Auf 16 Simulationsaufgaben, die im Training vorkamen, schlug das Qwen-Modell die frühere, geschlossene LBM-Multi-Task-Steuerung um durchschnittlich 23 Prozentpunkte, ein statistisch signifikanter Abstand [^1]. Eine von Grund auf trainierte Variante, die nur Simulationsdaten sah, lag statistisch gleichauf mit LBM, während das vollständige, von Grund auf trainierte Modell das schwächste der vier verglichenen war [^1]. Beim Qwen-Modell schlug Multi-Task-Training das Training auf Einzelaufgaben, und Fine-Tuning pro Aufgabe half weiter; beim von Grund auf trainierten Modell waren die Multi-Task- und Fine-Tuning-Varianten statistisch schlechter als das Einzelaufgaben-Training [^1]. Beide schafften auf 3 zurückgehaltenen Aufgaben ohne Training darauf einige Erfolge [^1].

Warum es wichtig ist

Das deutlichste Signal betrifft das Backbone. Das stärkere vortrainierte Bild-Sprach-Modell ergab die bessere Robotersteuerung, was die Autoren als vereinbar mit der Hypothese werten, dass stärkere Backbones bessere Ergebnisse bringen [^1]. Genau solche Fragen soll das Framework prüfbar machen, denn Vortraining und Aktionstraining teilen sich eine Codebasis, und die Zwischenstände Foundry-LLM-1.2B und Foundry-VLM-1.3B sind veröffentlicht, damit andere jede Stufe verändern können [^1].

Die Grenzen nennt das Paper selbst. Alle Ergebnisse stammen aus der Simulation mit wenigen Robotertypen, Zahlen von echter Hardware gibt es noch nicht, und jedes Experiment nutzt den Flow-Matching-Aktionskopf [^1]. Welche Datenrezepte über die Stufen hinweg am besten funktionieren, klären die Autoren ebenfalls noch nicht, und Sicherheit oder Fehlererkennung behandeln sie nicht [^1]. Ein Ergebnis zeigt die Lücke zwischen beiden Welten: Das nur mit echten Roboterdaten trainierte Modell kam im Simulator auf fast 0 Prozent Erfolg, was die Autoren erwartet hatten, weil die Simulation außerhalb seiner Trainingsverteilung liegt [^1].

Ein Beispiel aus der Praxis

Angenommen, Tomás leitet ein kleines Robotiklabor mit einer zweiarmigen Tischstation und will wissen, ob ein stärkeres Bild-Sprach-Backbone eine bessere Steuerung ergibt. Mit getrennten Werkzeugen lägen Backbone und Aktionstraining in verschiedenen Codebasen, und jeder Unterschied im Ergebnis könnte auch an der Verkabelung dazwischen liegen [^1].

In VLA Foundry trainiert Tomás eine Steuerung auf dem veröffentlichten Foundry-VLM-1.3B mit dem Flow-Matching-Aktionskopf aus dem Paper und tauscht dann per Konfigurationsänderung Qwen3-VL 2B von Hugging Face ein [^1]. Beide Läufe teilen Trainingsschleife, Dataloader und Vorverarbeitung, also unterscheidet sich nur das Backbone [^1].

Danach lässt Tomás beide Steuerungen im LBM-Simulator aus dem Docker-Image laufen und verfolgt das Dashboard. Dessen Statistikwerkzeug STEP erlaubt es, eine Auswertung früher abzubrechen oder mehr Durchläufe als geplant zu sammeln, was mit einem Standardtest wie dem von Barnard auf „p-Hacking“ hinausliefe [^1]. Sehen die Läufe im Labor aus wie im Paper, gewinnt die Qwen-Variante deutlich [^1].

Der Haken kommt an der echten Station. Das Paper nennt keine Zahlen von echter Hardware, und sein nur mit realen Daten trainiertes Modell funktionierte im Simulator kaum [^1]. Die Simulation sagt Tomás also, welches Backbone sich zuerst auf dem Tisch lohnt, nicht aber, wie sich der Arm dort schlägt; das klären nur echte Versuche.

Passende Produkte

Wir empfehlen dieses Buch, weil es Schritt für Schritt zeigt, wie man ein Sprachmodell von Grund auf vortrainiert, also die erste Stufe der Pipeline, die VLA Foundry um Bild und Roboteraktionen erweitert.

WerbungAmazon

Build a Large Language Model (From Scratch)

Quellen

  1. [1]arXiv — VLA Foundry: A Unified Framework for Training Vision-Language-Action Models