FUSE kombiniert unvollkommene LLM-Prüfer ohne gelabelte Antworten
Forschende von Stanford und Google gewichten ein Ensemble aus LLM-Bewertern allein anhand von deren eigenen Scores. FUSE war in den meisten Tests so gut wie Verfahren mit Labels oder besser.
TL;DR
- FUSE von Forschenden aus Stanford und von Google fasst die Scores mehrerer unvollkommener LLM-Prüfer zu einem Ensemble zusammen, ganz ohne korrekt gelabelte Daten [^1].
- In Best-of-N-Tests gewann es 27 von 40 Vergleichen gegen Verfahren mit gelabelten 5 Prozent der Fragen und schlug dort stets den einfachen Durchschnitt [^1].
Hintergrund
Beim Best-of-N-Sampling schreibt ein Modell viele Antworten auf eine Frage, und ein Prüfer, meist ein anderes LLM oder ein Reward-Modell, wählt die beste aus [^1]. LLM-Bewerter sind günstig, aber unvollkommen: Eine frühere Studie fand, dass starke Bewerter wie GPT-4 in mehr als 80 Prozent der Fälle mit menschlichen Präferenzen übereinstimmten, dokumentierte aber auch Verzerrungen durch Position, Länge und Selbstbevorzugung [^2]. Mehrere Prüfer zu mitteln hilft weniger, wenn ihre Qualität schwankt, weil schwache genauso zählen wie starke [^1].
Was passiert ist
Das Team von der Stanford University und Google baut auf statistischen Arbeiten aus dem Crowdsourcing auf, bei denen die Zuverlässigkeit einzelner Annotierender geschätzt wird, ohne die richtigen Antworten zu kennen [^1]. Ein Verfahren von Jaffe und Kollegen aus dem Jahr 2015 kann Sensitivität und Spezifität jedes Prüfers daraus ableiten, wie die Scores gemeinsam schwanken, aber nur, wenn sich je drei Prüfer bei feststehender richtiger Antwort unabhängig voneinander irren [^1]. Bei LLM-Prüfern trifft das selten zu: Auf den Testdaten verlor das Verfahren von 2015 in 7 von 10 Fällen gegen den einfachen Durchschnitt [^1]. FUSE misst allein aus den Scores, wie stark diese Annahme verletzt ist, und wählt für jeden Prüfer eine Schwelle, die seine Scores so in Ja/Nein-Stimmen verwandelt, dass die Verletzung möglichst klein bleibt [^1]. Dann schätzt es die Qualität jedes Prüfers für genau diese Frage, passt damit ein Ensemble per logistischer Regression an und gibt die Antwort zurück, die am wahrscheinlichsten stimmt [^1].
Der Haupttest nutzte vorhandene Daten mit 100 Antworten pro Frage von Llama 3.1 8B Instruct und Llama 3.3 70B Instruct zu GPQA, GPQA Diamond, MATH500, MMLU und MMLU Pro, bewertet von bis zu 33 offenen Reward- und Sprachmodellen [^1]. Drei teilüberwachte Vergleichsverfahren, darunter WEAVER, bekamen Labels für 5 Prozent der Fragen [^1]. Mit dem 70B-Generator lag FUSE praktisch gleichauf mit WEAVER, etwa bei 64,4 gegenüber 64,1 Prozent auf GPQA Diamond [^1]. Über beide Generatoren gewann es 27 von 40 Vergleichen gegen die überwachten Verfahren, schlug den einfachen Durchschnitt und den Mehrheitsentscheid immer und lag in allen Fällen bis auf einen vor dem besten einzelnen Prüfer, der erst im Nachhinein feststand [^1].
Zwei schwierigere Tests folgten. Auf 649 Fragen aus Humanity's Last Exam, mit 50 Antworten pro Frage von Gemini 3 Pro Preview und sieben Prüfern, lag eine Zufallsauswahl in 52,1 Prozent der Fälle richtig; FUSE kam auf 54,3 Prozent, der beste einzelne Prüfer, GPT-5.2 High, auf 53,5 Prozent und der einfache Durchschnitt nur auf 51,4 Prozent [^1]. Bei 123 abgewandelten Aufgaben aus der IMO Shortlist, mit Antworten von Qwen3-30B-A3B-Thinking-2507 und 9 offenen Prüfern, erreichte FUSE 63,8 Prozent [^1]. Das entsprach dem einfachen Durchschnitt, der dort laut den Autoren wie ein Orakel wirkt, weil die Prüfer ähnlich stark und fast unabhängig sind; WEAVER kam auf 62,1 Prozent [^1].
Warum es wichtig ist
Unvollkommene Prüfung wiederholter Stichproben ist nicht nur ein Trick zur Laufzeit. Die Autoren weisen darauf hin, dass dieselbe Pipeline auch in Trainingsverfahren steckt, etwa in Reinforcement Learning mit Rubrik-basierten Belohnungen und in der Auswahl synthetischer Trainingsdaten [^1]. Prüfer ohne Labels zu gewichten zählt vor allem dort, wo Labels teuer sind, und die Autoren erwarten, dass die Fähigkeiten der Modelle und die Kosten brauchbarer Ground-Truth-Labels gemeinsam steigen [^1]. Auf dem schwersten Datensatz sind die Gewinne allerdings bescheiden: Bei Humanity's Last Exam stehen die 54,3 Prozent von FUSE gegen 52,1 Prozent bei Zufallsauswahl, und die Teilmenge lässt Fragen aus, die keine Antwort richtig gelöst hat [^1].
Die wichtigste Einschränkung nennen die Autoren selbst: FUSE ist aufwendig, weil es Scores von mehreren verschiedenen Prüfmodellen braucht [^1]. Das Ensemble in ein kleines Modell zu destillieren wäre günstiger, doch jedes feste Modell ist laut den Autoren anfällig für Verschiebungen in der Datenverteilung, während die fragenweise Variante von FUSE davor konstruktionsbedingt geschützt ist [^1].
Ein Beispiel aus der Praxis
Angenommen, Amaras Team betreibt eine Mathe-Nachhilfe-App, die für jede neue Hausaufgabe 50 Lösungsvorschläge erzeugt und den Lernenden einen davon zeigen muss. Für diese Aufgaben gibt es keinen Lösungsschlüssel, also keine Labels. Das Team bewertet jeden Vorschlag mit mehreren Bewertungsmodellen unterschiedlicher Qualität.
Die Scores zu mitteln liegt nahe, doch dann zählen die schwachen Bewerter genauso viel wie die starken [^1]. Bei sehr schweren Aufgaben kann das nach hinten losgehen: Bei Humanity's Last Exam traf der einfache Durchschnitt seltener die richtige Antwort als eine Zufallsauswahl [^1].
Mit FUSE übergibt das Team die Score-Tabelle einer Aufgabe: 50 Vorschläge mal Anzahl der Bewerter [^1]. FUSE sortiert Bewerter aus, die nicht besser als Zufall wirken, macht aus den Scores jedes Bewerters Ja/Nein-Stimmen und schätzt aus dem Muster der Übereinstimmung, wie zuverlässig jeder Bewerter bei genau dieser Aufgabe ist [^1]. Weil diese Schätzung pro Frage erfolgt, kann ein Bewerter, der bei einer Aufgabenart stark und bei einer anderen schwach ist, jeweils unterschiedlich zählen [^1]. Dann passt FUSE eine gewichtete Kombination an und liefert die Lösung, die am wahrscheinlichsten stimmt [^1].
Der Haken ist die Rechnung. Jeder Bewerter muss jeden Vorschlag bewerten, und genau diesen Aufwand nennen die Autoren als größte Schwäche der Methode [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es Ensemble-Learning und die Grundlagen überwachter und unüberwachter Verfahren kompakt erklärt, also den Hintergrund, auf dem FUSE aufbaut.