Forschende passen NVIDIAs Nemotron-Retrieval an Griechisch an
Ein Preprint passt NVIDIAs Nemotron-Retrieval-Modelle an Neugriechisch an und zeigt, dass einfache BM25-Suche bei griechischen Fachdokumenten mehrere fertige mehrsprachige Embedder schlägt.
TL;DR
- Ein Preprint passt NVIDIAs Nemotron-Modelle für Suche und Antworten an Neugriechisch an, das die Modelle und große Retrieval-Benchmarks bisher ausließen [^1].
- Einfache BM25-Keyword-Suche schlug auf griechischen Fachkorpora mehrere fertige mehrsprachige Embedder; Fine-Tuning hob nDCG@10 bei Nemotron 1B von 0,362 auf 0,835 [^1].
Hintergrund
Retrieval-Augmented Generation, kurz RAG, lässt ein Sprachmodell aus Dokumenten antworten. Ein Embedding-Modell wandelt Fragen und Textpassagen in Vektoren um und findet die nächstgelegenen Treffer, ein Reranker sortiert die Kandidaten neu, und ein Reader-Modell schreibt die Antwort. BM25 ist ein älteres, keywordbasiertes Ranking-Verfahren, das kein Training braucht. nDCG@10 misst, wie gut die ersten zehn Treffer sortiert sind; höher ist besser, und eine perfekte Reihenfolge erreicht eins. Alle diese Teile müssen in der Sprache der Nutzer funktionieren.
Was passiert ist
Ayoub Kirouane und Christos Petrocheilos stellten das Paper am 5. August auf arXiv [^1]. Ausgangspunkt ist eine Lücke: Neugriechisch fehlt in NVIDIAs Nemotron-Retrieval-Modellen und in großen mehrsprachigen Retrieval-Benchmarks, obwohl RAG auf Griechisch für Anwendungen in Recht, Energie, Finanzen und Medizin wichtig ist [^1]. Die Antwort der beiden ist eine durchgängige Anpassung des Nemotron-Retrieval-Stacks. Dazu gehören das Sammeln eines Korpus, synthetische Trainingsdaten, das Training des Retrieval-Modells, die Anpassung des Rerankers und das Fine-Tuning des Readers, außerdem ein neuer Benchmark namens HERA [^1].
Der erste Befund betrifft den Ausgangspunkt. Auf griechischen Fachkorpora übertraf die parameterfreie BM25-Baseline mehrere fertige mehrsprachige Dense-Retrieval-Modelle [^1]. Nach Fine-Tuning mit 65.773 griechischen Retrieval-Paaren verbesserte ein Nemotron-Embedding-Modell mit 1 Milliarde Parametern seinen nDCG@10-Wert von 0,362 auf 0,835 und schlug seine nicht angepasste Version deutlich [^1]. Laut den Autoren hilft das gelernte Griechisch auch bei allgemeinen Texten, ob das angepasste Modell BM25 schlägt, hängt aber vom Fachgebiet ab [^1].
In den späteren Stufen verbesserte ein angepasster Cross-Encoder-Reranker die Ergebnisse in allen Fachgebieten [^1]. Danach nutzten die Autoren LoRA, ein schlankes Fine-Tuning-Verfahren, für Nemotron 30B-A3B, ein Mixture-of-Experts-Modell, als Reader. Die bewertete Antwortkorrektheit stieg von 29,4 auf 66,9 Prozent, und die Autoren berichten von größerer Treue zu den Quellen und besseren Zitaten [^1]. HERA beschreiben sie als ersten großen griechischen Benchmark für RAG und veröffentlichen ihn zusammen mit den angepassten Modellen [^1].
Warum es wichtig ist
Das BM25-Ergebnis ist die praktische Lehre für alle, die Suche in einer Sprache bauen, die große Modelle schlecht abdecken. Ein mehrsprachiger Embedder ist bei Fachdokumenten nicht automatisch besser als Keyword-Suche, also lohnt es sich, beides zu messen, bevor man sich entscheidet [^1]. Der Sprung nach dem Fine-Tuning zeigt, dass 65.773 griechische Trainingspaare reichten, um das Bild für ein Modell zu ändern, auch wenn die Autoren selbst sagen, dass der Vorsprung vor BM25 je nach Fachgebiet schwankt [^1].
Der veröffentlichte Benchmark könnte so wichtig sein wie die Modelle. Ohne griechischen RAG-Benchmark hatten Teams kaum eine gemeinsame Grundlage, um Systeme zu vergleichen, und HERA liefert eine [^1]. Die Zahlen stammen bisher aus der eigenen Auswertung der Autoren in einem Preprint; erst Tests anderer Gruppen mit den veröffentlichten Modellen auf eigenen griechischen Daten werden zeigen, wie gut die Verbesserungen halten.
Ein Beispiel aus der Praxis
Angenommen, du baust für deine Firma ein Suchwerkzeug für griechische Energievorschriften. Bevor du ein fertiges mehrsprachiges Embedding-Modell auswählst, lässt du einfaches BM25 auf denselben Dokumenten laufen, denn im Paper schlug es mehrere solcher Modelle auf griechischen Fachkorpora [^1]. Wenn du aus deinen eigenen Unterlagen genug Paare aus Frage und Passage sammeln kannst, ist Fine-Tuning des Embedders der Schritt, der Nemotron 1B im Paper nach vorn brachte [^1]. Danach vergleichst du beide Varianten mit deinen eigenen Testfragen und behältst die, die die richtige Vorschrift weiter oben einordnet.
Passende Produkte
Wir empfehlen dieses Buch, weil es die Grundlagen von Suchsystemen erklärt, vom Keyword-Ranking bis zur Bewertung von Trefferlisten.