E3 bremst Coding-Agenten beim Überlesen; echte Gewinne sind kleiner
Ein Paper der University of Tennessee lässt Agenten den Umfang einer Aufgabe vorab schätzen. Im Simulator sanken die Kosten um 85 Prozent, mit einem echten gpt-4o-Agenten die Tokens um 18 Prozent.
TL;DR
- E3 lässt Coding-Agenten den Umfang einer Aufgabe vorab schätzen und nur nach gescheiterter Prüfung erweitern, was simulierte Kosten bei gleichem Erfolg um 85 Prozent senkte [^1].
- Mit einem echten gpt-4o-Agenten war der Effekt kleiner: E3 brauchte 18 Prozent weniger Tokens als ein Lies-alles-Prompt und 4 Prozent weniger als ReAct [^1].
Hintergrund
LLM-Agenten bearbeiten inzwischen Code in ganzen Projekten. Das Paper beginnt mit einem bewusst trivialen Fall: Auf einer persönlichen Website soll ein E-Mail-Icon durch das Markup ersetzt werden, das die Seite für ein anderes schon nutzt. Das ist eine Änderung von zwei Zeilen, trotzdem kann ein fähiger Agent mehrere Minuten damit verbringen, die Icon-Bibliothek, das Verzeichnis der Website und die Projektarchitektur erneut zu lesen [^1]. Die Autoren nennen das eine Maximum-Context-First-Strategie: so viel Kontext wie möglich sammeln, dann jedes denkbare Risiko ausschließen [^1].
Was passiert ist
Junjie Yin und Xinyu Feng von der University of Tennessee in Knoxville schlagen E3 vor, kurz für Estimate, Execute, Expand; Yin ist zusätzlich Microsoft zugeordnet [^1]. Der Agent schätzt zuerst Schwierigkeit, Umfang und Risiko anhand von Hinweisen in der Anweisung und höchstens einer günstigen Suche. Dann führt er den kleinsten Weg aus, der die Prüfung bestehen könnte, und nur wenn die Prüfung scheitert oder seine Zuversicht gering ist, erweitert er den Umfang um eine Stufe und nutzt dabei, was er schon gefunden hat [^1]. Außerdem definieren die Autoren die Agent Cognitive Redundancy Ratio (ACRR), die verschwendeten Aufwand gegenüber dem minimal ausreichenden Weg eines Orakels misst [^1].
Um das exakt zu messen, bauten sie MSE-Bench: 121 prozedural erzeugte Bearbeitungsaufgaben in einem deterministischen Simulator, in dem jede Strategie eine Änderung vornehmen kann, sobald sie den relevanten Inhalt gesehen hat, sodass nur die Menge an gesammeltem Kontext variiert [^1]. Aufgaben der Stufe 1 sind Ersetzungen in einer Datei, Aufgaben der Stufe 2 benennen ein Symbol in einigen Dateien um, und Aufgaben der Stufe 3 sind Refactorings über das ganze Repository mit einer Abhängigkeit, die hinter einem Import-Alias versteckt ist; 18 davon sind täuschend lokal formuliert [^1]. In diesen Experimenten läuft kein Sprachmodell, und der Schätzer ist eine von Hand geschriebene Regel [^1].
Eine Maximum-Context-First-Strategie, die die Autoren als Belastungsmodell für den oberen Grenzfall beschreiben, löste jede Aufgabe bei mittleren Kosten von 122,9, prüfte dabei 8,5 Dateien und verbrauchte 4.421 Tokens pro Aufgabe [^1]. Eine feste ReAct-Schleife aus Suchen, Lesen, Bearbeiten und Testen löste nur 66,9 Prozent und scheiterte an jeder Aufgabe der Stufe 3. Eine adaptive Retrieval-Referenz löste alles bei mittleren Kosten von 22,1, E3 löste alles bei 18,6 [^1]. Gegenüber Maximum-Context-First senkte E3 die Tokens um 90,9 Prozent, die geprüften Dateien um 92,2 Prozent und die Gesamtkosten um 84,9 Prozent; gegenüber adaptivem Retrieval sanken die Kosten um 16,0 Prozent [^1].
Warum es wichtig ist
Die Autoren gehen offen mit den Grenzen der Simulation um. Der verschwendete Aufwand war bei den einfachsten Aufgaben am höchsten, mit einem Verhältnis von 22,1 auf Stufe 1 gegenüber 5,4 auf Stufe 3 bei Maximum-Context-First, doch sie nennen das teils mechanisch: Die Kosten dieser Strategie ändern sich kaum, während das Minimum mit jeder Stufe wächst [^1]. Auf Stufe 3 war adaptives Retrieval sparsamer als E3, weil E3 optimistisch startet und bei den täuschenden Aufgaben für eine zusätzliche Erweiterung zahlt [^1]. Ohne den Expand-Schritt fiel die Erfolgsquote auf 85,1 Prozent. Mit umformulierten Anweisungen, die die Schlüsselwort-Hinweise des Schätzers aushebelten, sank dessen Trefferquote von 85,1 auf 66,9 Prozent, doch E3 löste weiter jede Aufgabe, und die Kosten stiegen um 8,7 Prozent [^1]. Die günstige Schätzung funktioniert also nur, weil Prüfung und Erweiterung ihre Fehler auffangen.
Der Test mit einem echten Modell fällt bescheidener aus. In LLM-Case bearbeitet gpt-4o die echte Bibliothek toml 0.10.2, und jeder Patch wird bewertet, indem pytest läuft [^1]. Selbst mit der Anweisung, erst alles zu lesen, prüfte gpt-4o nur eine bis vier Dateien [^1]. E3 brauchte 18 Prozent weniger Tokens und war 18 Prozent schneller als dieser gründliche Agent, gegenüber ReAct 4 Prozent weniger Tokens und 5 Prozent schneller, bei praktisch gleichem Erfolg [^1]. Bei den trivialen Änderungen lagen die drei Strategien im Rauschen. Beim täuschenden Refactoring der Stufe 3 scheiterte der gründliche Agent in allen drei Läufen, einmal am Rate-Limit des Anbieters, während E3 seine beiden nicht gedrosselten Läufe bestand [^1]. Die Autoren stellen das als Fallstudie mit drei Läufen pro Aufgabe auf einem Modell dar, nicht als statistisch belastbaren Benchmark [^1].
Ein Beispiel aus der Praxis
Angenommen, du bittest einen Coding-Agenten, die Versionsnummer eines Python-Pakets zu erhöhen. Die Änderung betrifft eine Datei. Nach diesem Paper zahlt ein Agent, der erst alles lesen soll, für Kontext, den er nicht braucht, und die Verschwendung ist relativ gesehen genau bei solchen einfachen Aufgaben am größten [^1]. Mit einem Vorgehen nach E3 findet der Agent die eine Stelle, ändert sie, lässt die Tests laufen und erweitert seine Suche nur, wenn sie scheitern [^1]. Bei einer Umbenennung, die lokal klingt, aber anderswo als Basisklasse dient, wie bei der Decoder-Basisklasse im Paper, ist es genau der scheiternde Test, der ihn zur zweiten Datei führt [^1]. Große Einsparungen bei der trivialen Änderung selbst solltest du nicht erwarten: Mit gpt-4o lagen solche Läufe im Rauschen [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es Ideen aus der Informatik auf alltägliche Entscheidungen anwendet, darunter in einem Kapitel darüber, wann weniger Nachdenken zu besseren Ergebnissen führt.