SpecValidator: Ein 1,5B-Modell erkennt fehlerhafte Coding-Prompts
Forschende aus Luxemburg zeigen, dass eine gestrichene Vorgabe in einer Programmieraufgabe die Erfolgsquote um bis zu 15,3 Punkte senkt, und trainieren einen kleinen Klassifikator, der solche Mängel erkennt.
TL;DR
- In einer Luxemburger Studie senkte eine einzige gestrichene Vorgabe in einer Programmieraufgabe die Erfolgsquote um bis zu 15,3 Punkte, größere Modelle schnitten nicht besser ab [^1].
- Der kleine Klassifikator SpecValidator der Forschenden erkennt solche Mängel deutlich besser als GPT-5-mini oder Claude Sonnet 4 und fand echte Fälle in Standard-Benchmarks [^1].
Hintergrund
Programmiermodelle werden meist mit Benchmarks wie HumanEval, MBPP und LiveCodeBench gemessen, die den erzeugten Code gegen Tests laufen lassen. Die übliche Kennzahl Pass@1 zählt eine Aufgabe als gelöst, wenn die erste Antwort des Modells die Tests besteht [^1]. Diese Benchmarks setzen eine klare, vollständige Aufgabenbeschreibung voraus. In der Praxis, so die Forschenden, verwenden Menschen vage Begriffe, lassen Randfälle weg oder machen Tippfehler, ähnlich den Mängeln, die in Softwarespezifikationen auftreten [^1].
Was passiert ist
Amal Akli, Mike Papadakis, Maxime Cordy und Yves Le Traon von der Universität Luxemburg haben das Paper am 27. April auf arXiv veröffentlicht [^1]. Sie nahmen die drei Python-Benchmarks und ließen GPT-5-mini jede Aufgabenbeschreibung auf drei Arten verändern. Lexikalische Vagheit ersetzt präzise Wörter durch allgemeinere, etwa „arrange“ (anordnen) statt „sort“ (sortieren). Unterspezifikation streicht genau eine ausdrückliche Vorgabe, etwa eine Zahlengrenze, eine Sortierregel oder das erwartete Verhalten in Randfällen. Syntax- und Formatfehler fügen Tippfehler, kaputte Klammern oder unordentliche Leerzeichen ein, ohne die Bedeutung zu ändern [^1]. Ein separates Modell, Qwen2.5-Coder-32B, prüfte die 6.573 fehlerhaften Beschreibungen, und drei Forschende kontrollierten eine Stichprobe von 100 von Hand [^1].
Dann schrieben zehn Modelle Code für die ursprünglichen und die veränderten Aufgaben: drei kleine offene Modelle mit 6 bis 7 Milliarden Parametern, fünf größere mit 15 bis 34 Milliarden sowie die Reasoning-Modelle GPT-5-mini und Claude Sonnet 4 [^1]. Unterspezifikation schadete jedem Modell. Bei HumanEval sank Pass@1 um 7,9 bis 15,3 Prozentpunkte; GPT-5-mini und Claude Sonnet 4, die bei 96,3 und 95,7 Prozent starteten, verloren jeweils 9,7 Punkte [^1]. Bei MBPP lagen die Verluste bei 5,1 bis 10,8 Punkten. Vage Formulierungen kosteten bei HumanEval zwischen 1,3 und 12,2 Punkte, bei MBPP nur 1,5 bis 3,2, und Tipp- oder Formatfehler spielten kaum eine Rolle [^1]. LiveCodeBench blieb bei jedem Fehlertyp innerhalb von 2,0 Punkten. Seine Aufgaben enthalten Beispiele für Ein- und Ausgaben, die die gestrichene Vorgabe oft ohnehin abbilden [^1].
SpecValidator ist die Antwort der Forschenden: Qwen2.5-Coder-1.5B, ein kleines Code-Modell, feinjustiert mit LoRA, einem Verfahren, das nur einen kleinen Satz zusätzlicher Gewichte trainiert, hier 0,14 Prozent der Parameter [^1]. Es ordnet eine Beschreibung als fehlerfrei oder einem der drei Fehlertypen zu und meldet den Typ, damit die Beschreibung überarbeitet werden kann [^1]. Auf zurückgehaltenen Testdaten erreichte es einen F1-Wert von 0,804 und einen MCC von 0,745, zwei gängige Maße für die Klassifikationsgüte, bei denen höher besser ist [^1]. Direkt gefragt kam GPT-5-mini auf einen F1-Wert von 0,469 und Claude Sonnet 4 auf 0,518; mit vier gelabelten Beispielen im Prompt waren es 0,462 und 0,557 [^1]. Anschließend ließen die Forschenden SpecValidator auf 456 Originalbeschreibungen laufen, die als fehlerfrei galten. Es markierte 83 davon: keine aus HumanEval, 33 aus MBPP und 50 aus LiveCodeBench [^1]. Bei MBPP galten 90,9 Prozent der markierten Aufgaben als gescheitert, im Schnitt versagten 6,7 der zehn Modelle; bei LiveCodeBench waren es 98,0 Prozent und 7,7 Modelle [^1]. Drei Forschende prüften die 33 MBPP-Fälle und bestätigten 24 als unterspezifiziert, darunter „Finde das Spitzenelement im gegebenen Array“, was offenlässt, ob ein lokales oder das globale Maximum gemeint ist und ob der Index oder der Wert zurückkommen soll [^1].
Warum es wichtig ist
Aus dem ersten Experiment ziehen die Forschenden eine klare Schlussfolgerung: Wie gut ein Modell mit einer mangelhaften Beschreibung zurechtkommt, hängt vor allem von der Art des Fehlers und vom Aufbau der Beschreibung ab, nicht von der Größe des Modells [^1]. Selbst Modelle mit über 95 Prozent bei HumanEval verloren fast 10 Punkte, wenn eine Vorgabe fehlte [^1]. Der Hebel liegt also bei der Eingabe, nicht bei einem größeren Modell. Der Vergleich mit GPT-5-mini und Claude Sonnet 4 zeigt laut Paper, dass starke Codegenerierung sich „nicht auf das Meta-Denken über den Prompt überträgt“ [^1]. Neben der höheren Genauigkeit nennen die Forschenden den geringeren Rechenaufwand und den lokalen Betrieb als Vorteile des kleinen Modells [^1].
Der schwierigste Fall ist zugleich der schädlichste. Unterspezifikation hinterlässt keine Spur im Text, der Klassifikator muss also bemerken, dass etwas fehlt; die Verwechslung von fehlerfreien und unterspezifizierten Beschreibungen war sein häufigster Fehler [^1]. Die Forschenden nennen auch Grenzen ihrer Studie: Alle Aufgaben sind in Python, bei bibliotheksintensiven Aufgaben könnten die Ergebnisse anders ausfallen, und echte Prompts können mehrere Fehler zugleich enthalten [^1]. Für alle, die Benchmarks bauen, sehen sie direkte Folgen, denn manche Aufgaben in Standard-Benchmarks sind selbst fehlerhaft [^1].
Ein Beispiel aus der Praxis
Angenommen, Priya arbeitet im Datenteam eines mittelgroßen Logistikunternehmens und bittet einen Coding-Assistenten: „Write a function to sort a given matrix according to the sum of its rows.“ Der Satz liest sich gut. Tatsächlich ist er eines der Beispiele aus dem Paper: In der ursprünglichen MBPP-Aufgabe stand „in ascending order“, also aufsteigend, und die Mutation zur Unterspezifikation hat genau diese Wörter gestrichen [^1].
Ohne sie muss der Assistent die Richtung raten. Rät er absteigend, sortiert Priyas Funktion die Matrix falsch herum, und die vorhandenen Tests des Teams schlagen fehl. Diese Fehlerart verursachte in der Studie die größten Einbrüche, und selbst die stärksten Modelle waren nicht immun [^1].
Schaltet Priyas Team SpecValidator vor den Assistenten, liest der Klassifikator die Beschreibung zuerst und meldet den erkannten Fehlertyp, hier Unterspezifikation, sodass Priya die fehlende Regel ergänzen kann, bevor Code entsteht [^1]. Jeden Fall fängt er nicht ab: Fehlerfreie von unterspezifizierten Beschreibungen zu unterscheiden, war seine häufigste Fehlerquelle [^1]. Deshalb fügt Priya noch ein Beispiel für Ein- und Ausgabe hinzu, so wie es LiveCodeBench-Aufgaben tun. In der Studie hielten solche Beispiele LiveCodeBench selbst bei gestrichenen Vorgaben innerhalb von 2,0 Punkten [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es ein Standardwerk dazu ist, Softwareanforderungen klar und vollständig zu formulieren, also genau die Disziplin, aus der das Paper seinen Begriff der Spezifikationsfehler übernimmt.