nas-torch sucht kompakte neuronale Netze auf einer einzigen RTX 3060
Ein Paper kombiniert einen kleinen Transformer mit einem Bienenvolk-Algorithmus, um kompakte Netze auf einer Consumer-GPU zu entwerfen, und findet in etwa drei Stunden ein CIFAR-10-Modell mit 174.000 Parametern.
TL;DR
- Das Open-Source-Framework nas-torch fand in drei Stunden auf einer RTX 3060 einen CIFAR-10-Klassifikator mit etwa 174.000 Parametern und 84,85 Prozent Genauigkeit [^1].
- Das zeigt Architektursuche auf Consumer-Hardware, doch das von Hand entworfene ResNet-20 erreicht weiterhin etwa 91,25 Prozent mit rund 270.000 Parametern [^1].
Hintergrund
Neural Architecture Search (NAS) automatisiert die Wahl der Schichten eines Netzes und ihres Zusammenspiels. Frühe Verfahren waren teuer: Der Reinforcement-Learning-Ansatz von Zoph und Le, bei dem ein Steuerungsnetz Architekturen vorschlägt und aus ihren Ergebnissen lernt, kostete bis zu 22.400 GPU-Tage [^1]. Spätere Abkürzungen wie ENAS und DARTS drückten die Suche auf wenige GPU-Tage, sind laut dem Paper aber an bestimmte zellbasierte Vorlagen gebunden [^1].
Was passiert ist
Romain Amigon von der Université du Québec à Chicoutimi veröffentlichte das Paper am 13. Juli auf arXiv und stellte das Framework nas-torch als Open Source bereit [^1]. Die Suche läuft in zwei Stufen. Zuerst schreibt ein kleiner Transformer mit etwa 68.000 Parametern Architekturen Token für Token aus einem Vokabular von 15 Bausteinen, etwa Faltungen, Residual-Blöcken, Pooling und dichten Schichten. Er lernt per Reinforcement Learning daraus, wie gut jeder Kandidat abschneidet [^1]. Seine Belohnung ist die Genauigkeit abzüglich einer Strafe für die Tiefe, was ihn zu kleinen Netzen lenkt, und ein Entropie-Term zwingt ihn zum Erkunden, wenn die Werte stagnieren [^1]. Der beste Entwurf dient dann als Startpunkt für einen Artificial-Bee-Colony-Algorithmus, ein Schwarmverfahren, bei dem simulierte Bienen kleine Änderungen rund um vielversprechende Kandidaten ausprobieren und Bereiche aufgeben, die sich nicht mehr verbessern [^1].
Damit die Suche günstig bleibt, trainiert jeder Kandidat etwa 10 Epochen auf 40 Prozent der Trainingsbilder und wird auf separaten 10 Prozent bewertet. Der Testdatensatz wird nur einmal am Ende genutzt [^1]. Bei einer Stichprobe von 15 Architekturen ordnete diese Abkürzung sie ähnlich wie ein volles Training über 100 Epochen, mit einer Spearman-Korrelation von 0,721 [^1]. Alle Läufe nutzten eine NVIDIA GeForce RTX 3060 mit 6 GB Speicher [^1].
Bei CIFAR-10 erreichte die volle Hybridmethode über drei Seeds im Schnitt 84,85 Prozent Genauigkeit, mit etwa 174.000 Parametern und einer Suchzeit von etwa 192 Minuten [^1]. Bei gleichem Evaluierungsbudget kam die Zufallssuche auf 83,51 Prozent mit etwa 133.000 Parametern in etwa 29 Minuten, Simulated Annealing auf 87,21 Prozent mit etwa 294.000 Parametern in etwa 109 Minuten [^1]. Ohne die Tiefenstrafe erreichte die Hybridmethode 86,82 Prozent bei etwa 229.000 Parametern. Das Bienenvolk allein, ohne die Vorlage des Transformers gestartet, blieb bei 76,19 Prozent stecken [^1]. Jenseits von Bildaufgaben entwarf das Framework einen Detektor für Kreditkartenbetrug mit 4.614 Parametern und einem F1-Wert von 0,7178 [^1].
Warum es wichtig ist
Das zentrale Ergebnis sind die Kosten. Das Paper beziffert die Suche auf etwa 0,16 GPU-Tage oder rund 2,08 TFLOPS-Tage, normiert auf die Rechenleistung der GPU, gegenüber etwa 17 für DARTS und über 96.000 für die ursprüngliche Reinforcement-Learning-Methode [^1]. Den Abstand führt das Paper auf einen bewussten Tausch zurück: nas-torch durchsucht nur Standardschichten statt der komplexen Zellen dieser Methoden, und ein direkter Vergleich der Genauigkeit mit ihnen ist laut dem Paper nicht aussagekräftig [^1].
Die Ergebnisse zeigen auch die Grenzen. Simulated Annealing schlug die Hybridmethode bei der Genauigkeit und war schneller fertig, allerdings mit größeren Netzen, und das Paper räumt ein, dass die kleinen Tests mit Tabellendaten den Beitrag des Transformers nicht isolieren [^1]. Bei CIFAR-100 lag die Genauigkeit im Schnitt bei 52,36 Prozent, was das Paper auf das eingeschränkte Vokabular an Schichten zurückführt. Ein Seed blähte sich auf etwa 3,10 Millionen Parameter auf, weil ein Validierungssplit von etwa 50 Bildern pro Klasse das Belohnungssignal laut dem Paper so verrauschte, dass die Tiefenstrafe nicht mehr griff [^1]. Das Paper versteht die Arbeit als Machbarkeitsnachweis für automatisierte Suche auf einer einzelnen Consumer-GPU, nicht als Anlauf auf Bestwerte bei der Genauigkeit [^1].
Ein Beispiel aus der Praxis
Angenommen, du brauchst einen kleinen Bildklassifikator für ein Gerät mit sehr wenig Speicher, und dir steht nur ein PC mit einer RTX 3060 zur Verfügung. Mit nas-torch könntest du die Suche etwa drei Stunden laufen lassen, statt das Netz von Hand zu entwerfen [^1]. Nach dem Paper bekämst du ein kompaktes Modell, müsstest aber gegenüber dem von Hand entworfenen ResNet-20 Genauigkeit abgeben, also prüfst du das Ergebnis gegen dein eigenes Ziel [^1]. Außerdem lässt du eine einfache Vergleichssuche laufen: Im CIFAR-10-Test des Papers kam die Zufallssuche bis auf 1,34 Punkte an die Hybridmethode heran, in etwa 29 statt etwa 192 Minuten [^1].
Passende Produkte
Wir empfehlen dieses Buch, da es das mathematische und architektonische Grundlagenwissen vermittelt, das erforderlich ist, um die Deep-Learning-Strukturen zu verstehen, die Neural Architecture Search optimieren möchte.