Warum Retrieval-Augmented Generation weiterhin hybride Suche braucht
Retrieval-Augmented Generation setzt ein Sprachmodell auf einen Suchschritt: die relevantesten Passagen abrufen, dann daraus eine Antwort generieren. Das Modell tut, was es immer tut — flüssigen, selbstbewussten Text schreiben. Ob dieser Text stimmt, hängt fast ausschließlich davon ab, ob zuerst die richtigen Passagen abgerufen wurden. Ein falscher Abruf erzeugt keine Fehlermeldung, sondern eine falsche Antwort, die genauso selbstbewusst klingt wie eine richtige.
Wo interne Wissensdatenbanken das Retrieval brechen
Die schwierigsten RAG-Ziele sind nicht öffentliche Dokumente, sondern die Handbücher, Tickets, Verträge und ERP- und CRM-Datensätze, die ein Unternehmen bereits hat — voller interner Abkürzungen, Teilenummern und Eigennamen, die in den Trainingsdaten eines Modells nie vorkommen. Wie wie Vektor-Embeddings funktionieren erklärt, gleichen Embeddings nach Bedeutung ab, nicht nach exakter Zeichenfolge — genau deshalb kann ein interner Ticket-Code oder eine seltene SKU in einem Stapel thematisch ähnlicher Passagen untergehen, ohne dass das je als Fehltreffer auffällt.
Eine Retrieval-Methode allein reicht nicht
Warum hybride Suche beidem überlegen ist begründet das für die Produktsuche; derselbe Kompromiss gilt eine Ebene höher in einer RAG-Pipeline, nur mit höherem Einsatz. Was der Retriever nicht findet, bekommt das Modell nie zu sehen — und kein noch so gutes Prompting rettet eine Passage, die nie abgerufen wurde. Keyword- und semantischer Abgleich scheitern an unterschiedlichen, sich ergänzenden Stellen, sodass ein RAG-Retriever, der nur eine Methode nutzt, deren blinden Fleck direkt ins Kontextfenster des Modells vererbt.
Reranking ist die Stelle, an der beide Listen wirklich zusammenlaufen
Beide Retriever laufen zu lassen erzeugt erst einmal nur zwei Ranglisten; etwas muss noch die endgültige Reihenfolge festlegen, die das Modell sieht. Ein Cross-Encoder-Reranker bewertet Anfrage-Passage-Paare direkt, statt vorab berechnete Vektoren zu vergleichen — langsamer und teurer pro Anfrage, aber spürbar genauer bei der Auswahl der wenigen Passagen, die tatsächlich ins begrenzte Kontextfenster gehören. Für ein RAG-System lohnt sich das meist: Die Kosten, zwanzig Kandidaten-Passagen neu zu bewerten, sind gering gegenüber den Kosten einer falschen Antwort aus den Top fünf.
Die praktische Konsequenz
Bei RAG-Projekten bekommt die Modellwahl meist die meiste Aufmerksamkeit; die Retrieval-Qualität ist in der Regel der größere Hebel. Bevor Sie an Prompts oder Modellen schrauben, prüfen Sie, was der Retriever für die wirklich wichtigen Anfragen tatsächlich liefert — exakte Kennungen, umformulierte Fragen und alles, was zwei getrennte Passagen miteinander verknüpfen muss. Kommt dabei regelmäßig nichts oder etwas Falsches zurück, ist das die Stelle, die zuerst behoben werden sollte.