Beim Ontologie-Lernen helfen größere Modelle nicht immer
Ein kontrollierter Test von 13 Qwen- und GPT-Modellen beim Aufbau von Ontologien ergab: Größe verbessert vor allem die Präzision, am stärksten zwischen 9B und 27B, und zählt weniger als Architektur und Modellfamilie.
TL;DR
- Forschende der TIB und der Leibniz Universität Hannover haben 13 Sprachmodelle unter identischen Bedingungen beim Ontologie-Lernen getestet und festgestellt, dass größer nicht verlässlich besser ist [^1].
- In einer dichten Modellfamilie verbesserte Skalierung vor allem die Präzision, am stärksten zwischen 9B und 27B; Architektur und Herkunft zählten oft mehr als die Größe [^1].
Hintergrund
Ontologie-Lernen bedeutet, strukturiertes Wissen aus Texten zu gewinnen: welchem Typ ein Begriff angehört, wie Konzepte eine Hierarchie bilden und welche anderen Beziehungen sie verbinden. Darauf bauen Wissensgraphen in Feldern wie Biomedizin und Materialwissenschaft auf. Wie viel die Modellgröße bei diesen Aufgaben hilft, war bisher kaum gemessen [^1].
Was passiert ist
Hamed Babaei Giglou, Sören Auer und Jennifer D'Souza evaluierten 13 Modelle, dichte und Mixture-of-Experts-Varianten der Familien Qwen3.5 und Qwen3.6 sowie proprietäre GPT-Versionen, mit der Retrieval-Augmented-Pipeline OntoLearner [^1]. Alle Modelle bekamen dasselbe Embedding-Modell, dieselbe Retrieval-Konfiguration, dieselben Prompts, Dekodiereinstellungen, Datensätze und Metriken, über Begriffstypisierung, Taxonomie-Erkennung und die Extraktion nicht-taxonomischer Beziehungen auf vier Ontologien aus Biomedizin und Materialwissenschaft [^1].
Innerhalb der dichten Qwen3.5-Linie steigerten mehr Parameter vor allem die Präzision statt des Recalls, mit dem größten Sprung zwischen 9B und 27B [^1]. Doch der Effekt der Größe war weder stetig noch einheitlich: Dichte 27B-Modelle schlugen bei der Begriffstypisierung deutlich größere sparsame Modelle, während größere Mixture-of-Experts-Modelle bei der Taxonomie-Erkennung unter den Modellen mit offenen Gewichten am besten abschnitten [^1]. Nicht-taxonomische Beziehungen zu extrahieren, blieb in jeder Größe schwierig, besonders bei der Ontologie Materials Data Science [^1]. Unterschiede zwischen vergleichbaren Qwen-Varianten und GPT-Versionen deuteten darauf hin, dass Architektur und Herkunft die Parameterzahl überwiegen können [^1].
Warum es wichtig ist
Teams, die Wissensbasen aufbauen, greifen oft zum größten Modell, das sie sich leisten können. Diese Studie legt nahe, dass bei strukturierter Extraktion die richtige Wahl von der Aufgabe abhängt: Ein mittelgroßes dichtes Modell kann bei einer Aufgabe ein viel größeres sparsames schlagen und bei einer anderen verlieren. Die Autoren folgern, dass die Modellgröße allein kein ausreichendes Auswahlkriterium ist [^1].
Ein Beispiel aus der Praxis
Angenommen, ein biomedizinisches Team will Tausende Begriffe typisieren und jeden als Krankheit, Medikament oder Gen kennzeichnen. Nach dieser Studie könnte ein dichtes 27B-Modell dabei besser abschneiden als ein weit größeres Mixture-of-Experts-Modell, während das größere Modell beim Aufbau der Konzepthierarchie die bessere Wahl sein könnte [^1]. Beide an einer Stichprobe der eigenen Daten zu testen, ist die praktische Antwort.
Passende Produkte
Wir empfehlen dieses Buch, weil es essenzielle Anleitungen zur Erstellung formaler Domänenmodelle, Taxonomien und Wissensgraphen bietet.