inferwire
/
KI·3 Min. Lesezeit

Paper: Transformer bauen Transformationen aus dem Prompt

Zwei Forschende widersprechen der Sicht vom „stochastischen Papagei“: Transformer erzeugen demnach während der Inferenz Transformationen aus dem Prompt, und ihr Anteil wächst mit der Länge des Prompts.

TL;DR

  • Zwei Forschende argumentieren, dass Transformer während der Inferenz promptabhängige Transformationen bauen, und widersprechen der Sicht, LLMs gäben nur Trainingsstatistik wieder [^1].
  • Dieser dynamische Anteil wachse mit der Prompt-Länge und könne den der festen Gewichte erreichen, was Interpretierbarkeit, Kontrolle und kleinere Systeme betreffe [^1].

Hintergrund

Die Sicht vom „stochastischen Papagei“ besagt, dass große Sprachmodelle bloß statistische Regelmäßigkeiten aus dem Training wiedergeben [^1]. Diese Modelle sind Transformer, eine Architektur, die auf Attention aufbaut [^2]. Eine Attention-Funktion berechnet jede Ausgabe als gewichtete Summe von Werten, und das Gewicht jedes Werts ergibt sich aus dem Vergleich einer Query mit einem Key [^2]. Bei Self-Attention stammen Queries, Keys und Werte alle aus der Ausgabe der vorherigen Schicht, diese Gewichte hängen also von der Eingabe ab und nicht nur vom Training [^2].

Was passiert ist

Marco Giunti und Fabrizia Giulia Garavaglia stellten „The Transformer Revolution, Part 1“ am 4. August auf arXiv [^1]. Das Paper bietet eine neue Deutung dessen, was ein Transformer während der Inferenz tut. Gegen die Papageien-Sicht argumentieren die beiden, dass Transformer promptabhängige Transformationen konstruieren und anwenden, deren Parameter erst während der Inferenz entstehen. Diese Form der Berechnung nennen sie SIDPP, kurz für Sequence-level Interactive Dynamic Parallel Processing [^1]. In ihrem Bild „transformiert“ der Transformer „Konzepte mittels Konzepten“: Token-Vektoren sind die Konzepte, die transformiert werden, und die Matrizen und Vektoren, die Transformationen definieren, sind die transformierenden Konzepte. Statisch sind sie, wenn das Training sie festlegt, dynamisch, wenn sie aus der Eingabesequenz entstehen. Technisch entsprechen sie Gruppen einfacher neuronaler Netze [^1].

Das Neue am Transformer sehen die beiden in sogenannten Output-Weight-Verbindungen. Neben gewöhnlichen Verbindungen, bei denen die Ausgabe eines Netzes zur Eingabe eines anderen wird, bestimmen die Ausgaben mancher Netze die Gewichte anderer [^1]. Über diese Verbindungen baut das System aus dem Prompt Transformationen und verändert damit die Repräsentationen der Token. Laut dem Paper wächst der Beitrag dieser dynamischen Verarbeitung mit der Länge des Prompts und kann den der statischen Verarbeitung erreichen oder übertreffen, was die beiden starke Prompt-Sensitivität nennen [^1]. Sie gehen noch weiter und vermuten, dass menschliche Sprachverarbeitung selbst eine Form von SIDPP sein könnte, weil das menschliche Nervensystem die dafür nötigen Mechanismen besitzt [^1].

Warum es wichtig ist

Das Paper ist eine Deutung und keine Benchmark-Studie, sein Abstract nennt keine Messergebnisse [^1]. Sein Wert liegt in der Sichtweise. Wenn ein langer Prompt, wie die beiden argumentieren, so viel zur Berechnung beitragen kann wie die trainierten Gewichte, dann erklärt die Untersuchung der Gewichte allein nur einen Teil dessen, was ein Modell mit einer bestimmten Eingabe macht. Die Forschenden selbst schreiben, der Ansatz betreffe Interpretierbarkeit, Vorhersagbarkeit und Kontrolle sowie den Bau kleinerer, nachhaltigerer Systeme [^1].

Die Aussagen sind unterschiedlich stark. Die Beschreibung der Output-Weight-Verbindungen ist eine Lesart der Architektur, der Bezug zur Großhirnrinde dagegen ausdrücklich eine Vermutung, die laut den beiden „im Prinzip“ zutreffen könnte [^1]. Der Titel weist es als ersten Teil eines größeren Werks aus.

Ein Beispiel aus der Praxis

Angenommen, du pflegst den Prompt eines Support-Chatbots und fügst drei Seiten neuer Richtlinien ein. Nach der Darstellung der beiden verlagert ein längerer Prompt mehr von der Verarbeitung des Modells auf Transformationen, die aus diesem Prompt entstehen, und deren Anteil kann den der festen Gewichte erreichen oder übertreffen [^1]. Praktisch heißt das: Du behandelst eine große Änderung am Prompt wie eine Codeänderung und stellst nach jeder Änderung deine üblichen Testfragen erneut, statt anzunehmen, dass das Modell wie vorher antwortet.

Passende Produkte

Wir empfehlen dieses Buch, weil es eine ausgewogene Expertenperspektive darauf bietet, ob KI-Modelle die Welt wirklich verstehen oder lediglich hochentwickelte Mustererkenner sind.

WerbungAmazon

Artificial Intelligence: A Guide for Thinking Humans

Quellen

  1. [1]arXiv — The Transformer Revolution, Part 1: Dynamic Processing through Output-Weight Interconnections
  2. [2]arXiv — Attention Is All You Need