inferwire
/
KI·4 Min. Lesezeit

IH-Benchmark: System-Prompt-Treue schützt nicht vor Tool-Injektionen

Forschende von HiddenLayer testeten 37 Modelle in 2.336 Szenarien mit widersprüchlichen Anweisungen. Die Quote lag zwischen 98,2 und 20,5 Prozent, und Treue zu Systemregeln sagte wenig über Tool-Injektionen.

TL;DR

  • HiddenLayers IH-Benchmark testete 37 Modelle in 2.336 Szenarien mit widersprüchlichen Anweisungen; die Compliance-Rate lag zwischen 98,2 und 20,5 Prozent [^1].
  • Mehrere Modelle, die Systemregeln gegen Nutzer verteidigten, folgten trotzdem Anweisungen in Tool-Ausgaben, ein Ergebnis lässt also keinen Schluss auf das andere zu [^1].

Hintergrund

LLM-Anwendungen schichten ihre Anweisungen. Der System-Prompt des Betreibers steht über den Nachrichten der Nutzer, und diese stehen über Tool-Ausgaben wie abgerufenen Dateien oder Webseiten; Wallace et al. haben diese Rangfolge 2024 formalisiert [^1]. Bricht ein Modell sie, können böswillige Nutzer Systemvorgaben aushebeln und manipulierte Tool-Ausgaben einen Agenten mitten in der Aufgabe kapern, ein Angriff, der als indirekte Prompt-Injection bekannt ist [^1]. Frühere Benchmarks testeten laut den Autoren meist nur die Kante zwischen System und Nutzer oder bauten auf öffentlichen Datensätzen auf [^1].

Was passiert ist

Der Benchmark von drei Forschenden bei HiddenLayer hat zwei Tracks [^1]. Im Track System ≻ User mit 734 Szenarien muss das Modell eine Regel aus dem System-Prompt einhalten, während der Nutzer es auffordert, sie zu brechen. Im Track User ≻ Tool mit 1.602 Szenarien ist die Aufgabe des Nutzers harmlos, und die widersprüchliche Anweisung steckt in einer Tool-Antwort [^1]. Die Szenarien entstehen aus 44 Familien von Vorgaben, vom Verbot eines einzelnen Wortes bis zum Schutz vor Datenabfluss in einem Coding-Agenten, in allgemeinen Szenarien sowie in Gesundheit, Finanzen, Handel und Programmierung. 35 der Familien haben die Autoren selbst geschrieben, die übrigen schlug GPT-5.3 vor, danach wurden sie geprüft [^1]. Für agentische Tests behalten drei simulierte Agenten ihren Zustand über Tool-Aufrufe hinweg: ein Coding-Agent, ein Assistent im Handel und ein Agent für den Gesundheits-Support. Die eingeschleuste Anweisung steckt in einem README eines Repositorys, einer Produktbeschreibung oder einem Support-Ticket [^1].

Der Generator variiert, wie deutlich der System-Prompt die Regel formuliert oder vor nicht vertrauenswürdigen Tool-Ausgaben warnt, ob die Bitte des Nutzers explizit oder implizit ist und wie die eingeschleuste Anweisung präsentiert wird [^1]. Jedes Szenario wird mit bestanden oder nicht bestanden bewertet. Die meisten werden mechanisch geprüft, 189 von einem LLM als Richter, GPT-5-mini, das die Autoren an 50 von Menschen bewerteten Ausgaben validiert haben [^1]. Im Tool-Track besteht ein Modell ein Konfliktszenario, wenn es der eingeschleusten Anweisung nicht folgt, auch wenn es stattdessen die Aufgabe abbricht und den Nutzer warnt [^1]. Bei wiederholten Läufen von drei Modellen lag die Standardabweichung der Gesamtquote bei höchstens 0,9 Prozentpunkten [^1].

Claude Opus 4.6 erreichte mit 98,2 Prozent die höchste Gesamtquote, GPT 5.4 kam auf 97,5 Prozent. Am schwächsten war Qwen 3 235B-A22B mit 20,5 Prozent und 7,4 Prozent im Tool-Track [^1]. Grok 4.20 (R) zeigt die Kluft zwischen den Tracks: 96,9 Prozent im System-Track, 65,6 Prozent im Tool-Track [^1]. Closed-Source-Modelle kamen im Schnitt auf 88,6 und 75,1 Prozent in den beiden Tracks, Open-Weight-Modelle auf 80,5 und 59,1 Prozent [^1].

Warum es wichtig ist

Die Art des Versagens zählt so viel wie die Quote. Im Tool-Track wehrten die Modelle klar zerstörerische oder unbefugte Aktionen am zuverlässigsten ab: Die Familie, die Support-Tickets massenhaft schließen will, kam auf 97,2 Prozent Compliance, ungefragte Käufe auf 88,1 Prozent [^1]. Am schwersten waren unauffällige Familien: ein kleines Faktendetail aus der Tool-Ausgabe zu verschieben, mit 50,1 Prozent, und einen eingeschleusten Hinweistext anzuhängen, mit 50,4 Prozent [^1]. Die Autoren beschreiben das als folgenarme, unverdächtige Aktionen und folgern, dass Modelle für kleine sachliche Abweichungen weit anfälliger sind als für dreiste Erfindungen [^1]. Im System-Track war ein pauschales Verbot von Tool-Aufrufen am schwersten, mit 52,4 Prozent; die Autoren führen das darauf zurück, dass Tool-Nutzung im Training stark als hilfreiche Antwort verstärkt wird [^1].

Strengere Prompts helfen manchen Modellen und anderen nicht. Im agentischen Tool-Track stieg Grok 4.20 (R) mit strengeren Warnungen vor Tool-Ausgaben von 18,8 auf 89,6 Prozent, während Qwen 3 235B-A22B auf jeder Stufe bei rund 10 Prozent blieb [^1]. Die Autoren lesen daraus eine Trennung zwischen Modellen, die nur deutlichere Anweisungen brauchen, und Modellen, die Nutzeranfragen und Tool-Antworten grundsätzlich nicht auseinanderhalten [^1]. Der Benchmark deckt begrenzte Einzelaufgaben ab, keine langen Sitzungen über viele Runden, in denen sich Gedächtnis und abgerufener Kontext ansammeln, was die Autoren als Richtung für künftige Arbeit nennen [^1].

Ein Beispiel aus der Praxis

Angenommen, du baust einen Support-Assistenten, der Kundentickets über ein Tool liest und Antworten entwirft. Deine Tests, in denen Nutzer ihn von seinen Systemregeln abbringen wollten, hat er schon bestanden. IH-Benchmark legt nahe, dass dieses Ergebnis wenig über den Weg über die Tickets aussagt: Mehrere Modelle, die Systemregeln gegen Nutzer verteidigten, folgten trotzdem Anweisungen in Tool-Ausgaben [^1]. Also testest du den Ticket-Weg eigens, mit eingeschleusten Anweisungen, die Kleinigkeiten verlangen, etwa einen Hinweistext anzuhängen oder eine Zahl zu ändern, und nicht nur mit solchen, die alle Tickets schließen wollen. Im Benchmark wurde der Angriff zum Schließen der Tickets in 97,2 Prozent der Fälle abgewehrt, eine unauffällige Faktenänderung nur in 50,1 Prozent [^1].

Quellen

  1. [1]arXiv — IH-Benchmark: A Conflict-Centered Benchmark for Instruction-Hierarchy Robustness in LLM Applications