LLM-geschriebene API-Tests straucheln bei vagen Anforderungen
RESTestBench bewertet von LLMs geschriebene REST-API-Tests danach, ob sie anforderungsspezifische Fehler finden. Vage Anforderungen senken die Werte stark, und Nachbessern am fehlerhaften Dienst verschlechtert sie.
TL;DR
- RESTestBench prüft, ob von LLMs geschriebene REST-API-Tests 228 von Hand gebaute, anforderungsspezifische Fehler in drei Open-Source-Diensten mit 106 Anforderungen finden [^1].
- Bei vagen Anforderungen fielen die Werte meist um 26 bis 40 Punkte, und Nachbessern an fehlerhaftem Code ließ Tests mehr Fehler übersehen [^1].
Hintergrund
Werkzeuge für automatisierte REST-API-Tests wurden bisher meist an der Code-Abdeckung und an Absturzsignalen wie HTTP-5xx-Serverfehlern gemessen [^1]. Neuere LLM-basierte Werkzeuge schreiben Tests aus Anforderungen in natürlicher Sprache und sollen so die Geschäftslogik prüfen [^1]. Für dieses Ziel sind die alten Metriken laut den Autoren schwache Stellvertreter: Sie zeigen, wie viel von einem System ein Test durchläuft, nicht ob er das beabsichtigte Verhalten prüft [^1]. Mutationstests, die kleine Fehler einbauen und zählen, wie viele ein Test findet, liefern ein stärkeres Signal [^1].
Was passiert ist
Forschende von CASABLANCA hotelsoftware, der Universität Innsbruck, der Technischen Universität München und Diffblue haben RESTestBench im April auf arXiv veröffentlicht [^1]. Der Benchmark bündelt drei Open-Source-Dienste: ein FastAPI-Full-Stack-Template in Python, eine kompakte .NET-TodoApp und eine NestJS-Umsetzung der RealWorld-API [^1]. Dazu schrieben die Autoren 106 Anforderungen, jeweils in einer präzisen Fassung, die jeden Schritt und jeden erwarteten Wert nennt, und einer vagen, die nur das Ziel angibt, sowie 228 von Hand gebaute Mutationen [^1]. Jede Mutation verletzt genau eine Anforderung, nach dem Prinzip des Property-Based Mutation Testing von Bartocci et al.: Ein Test bekommt nur dann Punkte, wenn er die Verletzung genau dieser Anforderung erkennt [^1]. Ein Beispiel vertauscht in einer Nutzerliste die E-Mail-Adressen zwischen den Nutzern, sodass ein Test, der nur prüft, ob die Adressen vorhanden sind, den Fehler übersieht [^1].
Das Team testete zehn Modelle, von Llama 3.1 8B und GPT-5 Nano bis Claude Sonnet 4.5, und führte jedes Experiment dreimal durch [^1]. Im einstufigen Aufbau bekommt ein Modell die Anforderung, die OpenAPI-Spezifikation und die Adresse des Dienstes und schreibt in einem Durchgang einen pytest-Test. Bei präzisen Anforderungen reichten die Werte von 13 Prozent für Llama 3.1 8B bis 92 Prozent für Sonnet 4.5. Bei vagen fielen sie meist um 26 bis 40 Prozentpunkte, und die besten Modelle lagen eng beieinander zwischen 49 und 54 Prozent [^1].
Im Aufbau mit Nachbesserung läuft der Test gegen den laufenden Dienst, und ein zweiter Aufruf desselben Modells prüft die Ausgabe und den HTTP-Mitschnitt, akzeptiert den Test oder verlangt eine Überarbeitung, über bis zu drei Runden [^1]. Das half vor allem bei vagen Anforderungen: GPT-5 Nano gewann 29 Punkte und erreichte 80 Prozent [^1]. Wurde der Test aber an einem Dienst erzeugt, der den eingebauten Fehler bereits enthielt, lagen die Werte durchweg niedriger, und bei vier Modellen mit präzisen Anforderungen, darunter Sonnet 4.5 und GPT-5 Nano, schlug die einfache einstufige Erzeugung die Nachbesserung am fehlerhaften Dienst [^1]. Die plausible Erklärung der Autoren: Das Modell passt seine Prüfungen an das fehlerhafte Verhalten an und behandelt den Defekt als korrekt [^1].
Warum es wichtig ist
Die Ergebnisse stellen ein verbreitetes Design infrage. Mehrere Werkzeuge, die das Paper untersucht, darunter LogiAgent, SAINT und RESTifAI, bessern ihre Tests am laufenden Dienst nach [^1]. Die Autoren argumentieren, dass ein anforderungsbasierter Test ein korrektes von einem fehlerhaften System unterscheiden können muss, was nicht gelingt, wenn er das aktuelle Verhalten als Wahrheit nimmt [^1]. Die Daten der Autoren zeigen, dass die Nachbesserung Tests zu dem hinzieht, was der Code gerade tut, umso stärker, je mehr Spielraum die Anforderung lässt [^1]. Die meisten untersuchten Werkzeuge lassen außerdem ein LLM die Anforderungen schreiben, ohne Prüfung, weshalb die Autoren dort mit noch geringerer Korrektheit rechnen [^1].
Kosten und Fehlerarten ergänzen das Bild. Die Nachbesserung verteuerte die Erzeugung etwa auf das Zwei- bis Vierfache. Bei vagen Anforderungen erreichte GPT-5 Nano mit Nachbesserung 70 Prozent für 0,41 Dollar pro Durchlauf, mehr als Sonnet 4.5 mit 65 Prozent für 10,13 Dollar [^1]. Auch die Fehler unterschieden sich: Die Llama-Modelle schrieben kaputte Tests mit falschen Statuscodes, erfundenen Endpunkten oder stehengebliebenen Platzhaltern, während Sonnet 4.5 sauberen Code schrieb, der REST-Konventionen voraussetzte, die der Dienst nicht einhielt, etwa Status 422 erwartete, wo der Dienst 400 liefert [^1]. Kein Modell überschritt bei vagen Anforderungen die übliche Marke von 90 Prozent für eine gute Testsuite, und die Studie beschränkt sich auf drei Dienste, Python-Tests und drei Durchläufe pro Experiment [^1].
Ein Beispiel aus der Praxis
Angenommen, Priya betreut die Buchungs-API einer kleinen Firma für Hotelsoftware. Eine neue Anforderung kommt vom Produktteam als eine einzige Zeile: Gäste können eine Buchung stornieren, und der Test soll die Antwort prüfen. Priya gibt sie zusammen mit der OpenAPI-Spezifikation an einen LLM-Testgenerator mit Nachbesserungsschleife, also genau die Art von Aufbau, die RESTestBench getestet hat [^1].
Letzte Woche hat eine Änderung aus dem Team die Stornierung kaputt gemacht: Der Endpunkt meldet Erfolg, aber die Buchung bleibt aktiv. Der Generator schreibt einen ersten Test, der prüft, ob die Buchung weg ist, führt ihn gegen den Dienst aus und liest den HTTP-Mitschnitt. Der Test schlägt fehl, und der Prüfschritt muss entscheiden, ob der Test oder der Dienst falsch liegt [^1]. Die vage Anforderung sagt nicht, was eine Stornierung mit der Buchung machen soll, also tut das Modell, was das Paper beobachtet hat: Es passt seine Prüfungen an das fehlerhafte Verhalten an und behandelt den Defekt als korrekt [^1]. Der nachgebesserte Test besteht, und der Fehler geht mit grünem Haken live.
Die Lösung folgt aus den zwei Befunden des Papers. Priya schreibt die Anforderung im präzisen Stil neu, mit jedem Schritt und den erwarteten Antwortfeldern, einschließlich des Buchungsstatus nach der Stornierung; präzise Anforderungen verbesserten die Werte bei jedem getesteten Modell [^1]. Und weil die einstufige Erzeugung aus präzisen Anforderungen bei vier Modellen die Nachbesserung an einem fehlerhaften Dienst schlug, lässt Priya den Test erzeugen, ohne dass das Modell den Dienst vorher sieht [^1]. Diesmal schlägt der Test fehl, wie er soll, und die kaputte Stornierung erreicht keine Gäste.
Passende Produkte
Wir empfehlen dieses Buch, weil es Testabdeckung und Mutationstests erklärt, also die Ideen, auf denen die Bewertung von RESTestBench aufbaut, und weil die 90-Prozent-Marke, die das Paper zitiert, daraus stammt.