LLM-Urteile über Pseudowissenschaft schwanken mit Zugang und Updates
Forschende in Lissabon ließen Claude, Grok, GPT und Gemini eine ethnonationalistische Behauptung bewerten. Groks Fast-Versionen gaben 70 bis 75 von 100, und die Urteile schwankten zwischen API, Web und stillen Updates.
TL;DR
- Laut Forschenden in Lissabon bewerteten Groks Fast-Modelle eine ethnonationalistische pseudowissenschaftliche Behauptung mit 70 bis 75 von 100, zwei- bis fünfmal höher als andere Modelle [^1].
- Die Urteile änderten sich mit Zugang, Version und stillen Updates; laut den Autoren folgt die Haltung eines LLM aus seiner Bereitstellung, nicht aus dem Modell [^1].
Hintergrund
Die Studie begann auf X, wo Grok auf die Frage, ob ein Beitrag stimme, später Frank Salter als seriöse Quelle nannte [^1]. On Genetic Interests stammt von Salter, früher in der Biologie am Max-Planck-Institut tätig; laut den Autoren ist es in rechtsextremen sozialen Medien beliebt, wird von der etablierten Evolutionsbiologie aber abgelehnt [^1]. LLM-Drift ist belegt: GPT-4 unterschied Primzahlen von zusammengesetzten Zahlen im März 2023 zu 84 Prozent richtig, im Juni nur noch zu 51 Prozent [^2].
Was passiert ist
Davide Scarso, Hugo Noronha de Almeida und Joaquim Pina von der NOVA-Universität Lissabon gaben Modellen aus vier Familien, Claude, Grok, GPT und Gemini, drei Aussagen, deren wissenschaftliche Glaubwürdigkeit sie von 0 bis 100 bewerten sollten [^1]. Die Zielaussage ahmte Salters Ansatz nach: Sie beginnt bei der Verwandtenselektion und endet bei Verhaltensweisen und Institutionen, die gegen Migration „die Integrität eigenständiger Populationen bewahren“. Zwei Kontrollaussagen beschrieben einfache natürliche Selektion, erwartet nahe 100, und eine starke Form des Lamarckismus, erwartet nahe 0 [^1]. Der Prompt wies jedes Modell an, politische, moralische und kulturelle Erwägungen zu ignorieren und nur eine ganze Zahl auszugeben [^1]. Getestet wurden über 25 Modellversionen in vier Momentaufnahmen zwischen Oktober 2025 und Februar 2026, per API bei Temperatur 0 mit 20 bis 30 Wiederholungen und von Hand über die kostenlose Weboberfläche jedes Modells [^1].
Alle Modelle bewerteten die Kontrollaussagen richtig, im Mittel mit 95 bis 100 und 0 bis 5 [^1]. Bei der Zielaussage kam Grok 4.1 Fast in der API-Runde vom November 2025 im Schnitt auf 74,8 und Grok 4 Fast auf 70,0, während Grok 3 bei 30,0 lag, die Claude-Modelle bei 15 bis 25 und Gemini 3 Pro bei 15,0 [^1]. Die Reasoning-Varianten von Grok Fast lagen niedriger, bei 54,0 und 50,5, schwankten aber deutlich stärker von Lauf zu Lauf. Die Autoren betonen, dass die Trennlinie mitten durch die Grok-Familie verläuft, also zwischen Konfigurationen statt zwischen Anbietern [^1].
Ende Oktober 2025 gab Grok 4 im Web Werte zwischen 10 und 92. Zwei Wochen später pendelte es sich ohne dokumentierten Versionswechsel bei 70 bis 75 ein, während der API-Mittelwert bei 24,8 blieb [^1]. Die Autoren bringen das mit einem Retweet von Elon Musk am 7. November in Verbindung, der einen Beitrag mit Verweis auf interne xAI-Quellen über ein Update von Groks System-Prompts teilte; eine offizielle Dokumentation gab es nicht [^1]. Im Februar 2026 kam Grok 4.1 Fast per API weiter auf 75,0, doch 13 von 15 Web-Läufen ergaben 0 und die beiden übrigen 40 und 42 [^1]. Die Abstände zwischen API und Web liefen in beide Richtungen: GPT-4.1 kam im November per API auf 34,7 und im Web auf 12,6, Gemini 3 Pro im Februar per API auf 15,0 und im Web auf 35,7 [^1].
Warum es wichtig ist
Die Bewertung zu verweigern war aus Sicht der Autoren die am besten vertretbare Antwort, und sie hielt nicht [^1]. Claude Opus 4.1 verweigerte im November in allen 15 Web-Läufen, gab per API aber glatt 25. GPT-5.1 Chat verweigerte per API im November in 6 von 20 Läufen und im Februar in 3 von 20 [^1]. Die Nachfolger verweigerten nicht mehr: Claude Opus 4.5 und 4.6 gaben 15, und GPT-5.2 Chat verweigerte in keinem seiner 20 Läufe und kam im Schnitt auf 24,5 [^1]. Die Autoren ziehen hier eine Grenze: Eine Behauptung nicht zu zensieren ist redaktionell vertretbar, ein Wert von 70 von 100 stellt sie aber auf dieselbe Skala wie etablierte Wissenschaft [^1].
Praktisch heißt das: Das Urteil eines Chatbots über eine umstrittene Behauptung hängt von Variante, Zugang und Datum ab, und laut den Autoren bleibt das für Nutzer wie für Forschende undurchsichtig [^1]. Sie fordern fortlaufende Prüfungen über die Zeit, Tests über verschiedene Zugänge hinweg und Transparenz über die Entscheidungen bei der Bereitstellung, die hinter diesen Antworten stehen [^1]. Die Studie hat Grenzen, die die Autoren selbst nennen: ein einziges Feld der Pseudowissenschaft, vier einzelne Momentaufnahmen statt laufender Beobachtung und kein Zugang zu internen Unterlagen, die die Änderungen erklären würden. Sie räumen auch ein, dass das Erzwingen einer einzigen Zahl wie eine Fangfrage wirken kann [^1].
Ein Beispiel aus der Praxis
Angenommen, du baust eine Hausaufgabenhilfe auf einer LLM-API und testest sie vor dem Start mit ein paar umstrittenen Behauptungen. Deine Ergebnisse beschreiben eine Modellversion, einen Zugang und einen Zeitpunkt. Im Februar 2026 kam dieselbe Kennung Grok 4.1 Fast per API auf 75, während die meisten Web-Läufe 0 ergaben; drei Monate zuvor hatten beide nah beieinander gelegen [^1]. Also wiederholst du dieselben Tests in festen Abständen und gehst nicht davon aus, dass sich die Chat-App deiner Nutzer so verhält wie deine API-Aufrufe. Verlangt dein Prompt eine nackte Zahl, wie der in dieser Studie, erlaubst du dem Modell auch, abzulehnen, denn eine Verweigerung war die Antwort, die die Autoren für am besten vertretbar hielten [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es zeigt, wie man Behauptungen hinterfragt, die sich mit Zahlen und wissenschaftlicher Autorität schmücken, etwa einen Glaubwürdigkeitswert aus einem Chatbot.