GSQ: Einfache skalare Quantisierung erreicht fast die 2-Bit-Spitze
Forschende von ISTA, ETH Zürich und Red Hat AI lernen per Gumbel-Softmax-Sampling, wie jedes Gewicht gerundet wird. Bei 2 Bit behält Llama-3.1-70B in einem Standardformat den Großteil seiner Genauigkeit.
TL;DR
- GSQ lernt, wie jedes Gewicht eines LLM gerundet wird, und schlägt andere einfache skalare Quantisierer bei 2 und 3 Bit pro Parameter [^1].
- Das Ergebnis läuft auf vorhandenen skalaren Inferenz-Kernels, und GSQ komprimierte das Billionen-Parameter-Modell Kimi-K2.5 auf 2 Bit, wo Vektorverfahren schwer anwendbar sind [^1].
Hintergrund
Quantisierung speichert die Gewichte eines Modells mit weniger Bits, damit es weniger Speicher braucht; lokal laufen Modelle heute oft mit 2 bis 3 Bit pro Parameter [^1]. Einfache skalare Verfahren wie GPTQ, das Modelle mit 175 Milliarden Parametern in etwa vier GPU-Stunden auf 3 oder 4 Bit brachte, runden jedes Gewicht auf ein kleines Raster [^2]. Laut den GSQ-Autoren stoßen sie bei etwa 3 bis 4 Bit an eine Fehlergrenze, während Vektor- und Trellis-Verfahren wie QTIP darunter besser abschneiden, aber schwer umzusetzen und zu skalieren sind [^1].
Was passiert ist
Die neue Methode von ISTA, ETH Zürich und Red Hat AI behält das einfache Format bei: symmetrische Gewichte aus einem kleinen gleichmäßigen Raster, ein gemeinsamer Skalenfaktor pro Gruppe von 128 Gewichten und keine Nullpunkte [^1]. Neu ist, wie jedes Gewicht seinen Rasterpunkt wählt. GSQ gibt jedem Gewicht einige trainierbare Werte, einen pro Rasterstufe, und nutzt Gumbel-Softmax-Sampling, das eine diskrete Wahl in eine glatte verwandelt, die sich mit Gradienten optimieren lässt [^1]. Diese Werte und die Skalen werden gemeinsam trainiert, damit jeder quantisierte Block die Ausgabe des Originalblocks nachbildet; sinkt eine Temperatur-Einstellung, legen sich die weichen Entscheidungen auf feste Rasterpunkte fest [^1]. Bei 2 Bit hat jedes Gewicht nur vier Stufen, was das Problem handhabbar hält; bei mehr Bits betrachtet GSQ nur wenige benachbarte Punkte [^1].
Bei Llama-3.1-70B-Instruct mit 2 Bit erreichte GSQ über fünf Zero-Shot-Benchmarks im Schnitt 75,57, gegenüber 78,99 für das 16-Bit-Modell, 71,43 für EfficientQAT, die beste skalare Vergleichsmethode, und 57,38 für GPTQ [^1]. Damit liegt GSQ 4,14 Punkte über dem besten skalaren Verfahren und 1,68 beziehungsweise 0,70 Punkte hinter den Vektorverfahren QTIP und PV-Tuning [^1]. Beim 8B-Modell schlug eine ternäre GSQ-Version mit 1,58 Bit die 2-Bit-Varianten von GPTQ und QuIP um mehr als 20 Punkte und kam fast an 2-Bit-EfficientQAT heran [^1]. Mit vLLM und Humming-Kernels auf NVIDIA-L40s-GPUs lief das 70B-Modell mit 2 Bit pro GPU bis zu 6,2-mal schneller als in BF16 [^1].
Außerdem wandte das Team GSQ auf Kimi-K2.5 an, ein Mixture-of-Experts-Modell mit 1T Parametern, das in 4 Bit ausgeliefert wird, und brachte dessen Experten-Gewichte auf 2 Bit [^1]. LiveCodeBench v6 stieg von 61,37 auf 69,37 und MATH500 von 96,68 auf 97,32, während AIME 25 von 95,33 auf 93,00 nachgab und GPQA Diamond von 89,29 auf 76,57 fiel [^1]. Den Einbruch führen die Autoren auf ihre Kalibrierungsdaten zurück, OpenThoughts, die stark auf Mathematik und Code ausgerichtet sind [^1]. Bei der Suche in langen Kontexten hielt das 2-Bit-Modell bis 32.000 Token mit dem Original mit oder lag vorn, darüber fiel es leicht ab, etwa von 46,04 auf 44,91 im Bereich von 128.000 bis 256.000 Token [^1].
Warum es wichtig ist
Die zentrale These der Autoren: Die Genauigkeitslücke zwischen skalarer und vektorieller Quantisierung ist vor allem eine Lücke in der Optimierung, keine Grenze des Formats [^1]. Das zählt, weil skalare Formate das sind, was tatsächlich eingesetzt wird: Sie sind mit Abstand am weitesten verbreitet, während Vektor- und Trellis-Formate wegen ihrer Komplexität nur sehr geringe Beschleunigungen beim Dekodieren gegenüber BF16 brachten [^1]. Eine Methode, die die Genauigkeit innerhalb des skalaren Formats steigert, ist ein direkter Ersatz und braucht keine neuen Kernels [^1].
Das Paper zeigt auch die Grenzen. GSQ braucht Kalibrierung und ist teuer: Die zusätzlichen trainierbaren Werte belegen das 2- bis 5-Fache des Speichers der quantisierten Gewichte, und die Experimente liefen vor allem auf Knoten mit acht H200- oder B300-GPUs [^1]. Wegen dieser Kosten lief jede Konfiguration nur einmal, und die Ergebnisse zu Kimi-K2.5 vergleichen GSQ nur mit dem Originalmodell, nicht mit anderen Quantisierern [^1]. Der Einbruch bei GPQA ist eine Lehre, die die Autoren selbst ziehen: Was in die Kalibrierung einfließt, bestimmt, was das kleine Modell behält [^1].
Ein Beispiel aus der Praxis
Angenommen, Lena betreibt eine kleine Analysefirma, die Llama-3.1-70B-Instruct auf eigenen GPUs laufen lässt und die Betriebskosten mit 2 Bit pro Parameter senken will. Mit einfachem GPTQ maß das Paper bei dieser Einstellung im Schnitt 57,38 gegenüber 78,99 für das volle Modell, ein Verlust, den die Nutzer der Firma bemerken würden [^1].
Lenas Team quantisiert das Modell stattdessen mit GSQ. Die Gewichte landen im selben einfachen skalaren Format, also kann die Firma sie weiter mit vLLM und einem skalaren Kernel ausliefern; im L40s-Aufbau des Papers lief das 2-Bit-Modell pro GPU bis zu 6,2-mal schneller als BF16, bei einem Schnitt von 75,57 [^1]. Aufwendig ist der Quantisierungslauf selbst, denn die Experimente im Paper liefen auf Knoten mit acht H200- oder B300-GPUs [^1].
Der Haken sind die Kalibrierungsdaten. Lenas Firma beantwortet vor allem Fragen aus Chemie und Biologie für Kunden. Kalibriert das Team auf einem Datensatz aus Mathematik und Code, wie es die Autoren bei Kimi-K2.5 taten, können die naturwissenschaftlichen Werte so absacken wie bei GPQA Diamond, von 89,29 auf 76,57 [^1]. Also kalibriert das Team mit Texten, die der echten Arbeit der Firma ähneln, und prüft das quantisierte Modell vor der Umstellung mit den eigenen Fragen der Firma.
Passende Produkte
Wir empfehlen dieses Buch, weil es die Grundlagen der gradientenbasierten Optimierung und der Wahrscheinlichkeitsrechnung erklärt, mit denen GSQ lernt, wie jedes Gewicht gerundet wird.