Hybride Suche und Reranking: bessere Quellen für RAG finden

Die Frage „Was bedeutet Fehler E-417?“ enthält eine genaue Kennung. Eine semantisch ähnliche Anleitung zu E-471 kann fachlich völlig falsch sein. Hier sind exakte Zeichenfolgen und geeignete Textanalyse besonders wichtig.

Die Frage „Wie bekomme ich das Gerät nach einer Unterbrechung wieder betriebsbereit?“ kann dieselbe Anleitung meinen, ohne deren Fachbegriff zu verwenden. Semantische Suche kann solche sprachlichen Unterschiede überbrücken. Sie garantiert jedoch nicht, dass jedes ähnliche Dokument zum richtigen Gerät gehört.

Azure beschreibt die gemeinsame Verwendung von Volltext- und Vektorabfragen und deren Zusammenführung. Das ist ein dokumentiertes Produktmuster, kein Nachweis eines Vorteils für jede Sammlung. Azure AI Search: Hybrid Search.

Eine hybride RAG-Suche durchläuft diese Stufen:

1. Zuerst werden zulässiger Quellenbereich und relevante Filter bestimmt.
2. Danach erzeugen Textsuche und Vektorsuche jeweils Kandidaten.
3. Eine Zusammenführung bildet daraus eine gemeinsame Rangfolge.
4. Optional bewertet ein weiteres Verfahren die Kandidaten genauer im Verhältnis zur Frage.
5. Erst anschließend entscheidet der Kontextaufbau, welche Ausschnitte an das Antwortmodell gelangen. Er kann Dubletten reduzieren, notwendige Nachbarschaft ergänzen und das verfügbare Kontextbudget verteilen.

Reranking und Kontextaufbau sind deshalb nicht dieselbe Aufgabe.

Protokollieren Sie im Versuch die Ergebnisse der einzelnen Stufen. Wenn nur die endgültige Antwort sichtbar ist, bleibt unklar, ob die richtige Quelle nie gefunden oder später verworfen wurde. Eine kleine nachvollziehbare Kandidatenliste ist oft wertvoller als eine zusätzliche komplexe Suchkomponente.

Klassische Volltextsuche bewertet die Übereinstimmung von Suchbegriffen und Dokumentinhalt. BM25 ist ein verbreitetes Verfahren dafür. Es ist besonders dann nützlich, wenn genaue Bezeichnungen, seltene Begriffe oder Kennungen eine Rolle spielen.

Die konkrete Textanalyse beeinflusst das Ergebnis. Großschreibung, Bindestriche, Wortformen und interne Abkürzungen können unterschiedlich behandelt werden. Prüfen Sie deshalb echte Produktcodes und Fachbegriffe, statt aus dem Verfahrensnamen auf korrektes Verhalten zu schließen.

Ein Glossar kann betriebliche Synonyme verbinden. Es sollte fachlich gepflegt sein: Zwei ähnlich klingende Produktnamen sind nicht automatisch austauschbar. Eine zu großzügige Ersetzung kann die Präzision verschlechtern, die Textsuche gerade liefern soll.

Vektorsuche vergleicht numerische Darstellungen von Frage und Inhalt. Sie kann unterschiedliche Formulierungen zusammenführen und damit relevante Abschnitte finden, die kaum gemeinsame Wörter mit der Frage haben.

Bedeutungsnähe ist jedoch nicht gleich fachliche Gültigkeit. Eine Passage zu einem älteren Modell kann sehr ähnlich sein und trotzdem die falsche Wartungsregel enthalten. Metadaten für Produkt, Version, Standort und Gültigkeitszeitraum bleiben deshalb wichtig.

Auch das verwendete Embedding-Modell gehört zum Versuch. Ein Wechsel kann die Rangfolge verändern und eine Neuverarbeitung des Bestands erfordern. Vergleichen Sie nicht alte Dokumentvektoren mit einem neuen Fragevektorverfahren, ohne die Kompatibilität ausdrücklich geprüft zu haben.

Text- und Vektorscores haben nicht automatisch dieselbe Bedeutung oder Skala. Eine einfache Addition kann deshalb eine Suchart ungewollt dominieren lassen. Rangbasierte Verfahren umgehen einen Teil dieser Vergleichsprobleme, indem sie die Platzierung eines Dokuments in mehreren Listen betrachten.

Azure dokumentiert Reciprocal Rank Fusion für seine hybride Suche. Das Verfahren ist eine konkrete Form der Zusammenführung; andere Produkte können andere Einstellungen oder Kombinationen verwenden. Prüfen Sie die tatsächliche Implementierung, statt einen allgemeinen Begriff als exakte Konfiguration zu behandeln. Azure: hybride Abfragen.

Gewichtungen sollten anhand eines getrennten Entwicklungsbestands gewählt werden. Wenn Sie sie so lange verändern, bis einige Lieblingsfragen gut aussehen, kann die Suche bei anderen Aufgabentypen schlechter werden. Halten Sie deshalb einen unveränderten Prüfbestand zurück.

Ein Reranker betrachtet Frage und Kandidat genauer und kann dadurch einen passenden Abschnitt nach vorne bringen. Er durchsucht dabei nicht automatisch den gesamten Bestand erneut. Wenn der richtige Beleg fehlt, bleibt er auch nach der Neuordnung fehlend.

Microsoft beschreibt seinen semantischen Ranker ausdrücklich als zusätzliche Bewertung einer vorhandenen Ergebnismenge. Die konkreten Grenzen dieses Produkts sind versionsabhängig und nicht als allgemeine RAG-Regel zu verstehen. Azure AI Search: Semantic Ranking.

Unterscheiden Sie außerdem eine extrahierte Suchantwort von einer später generierten Antwort. Ein Suchdienst kann passende Textstellen hervorheben; das nachfolgende Sprachmodell formuliert daraus gegebenenfalls eine neue Erklärung. Beide Ausgaben benötigen unterschiedliche Prüfungen.

Ein erfundenes Servicehandbuch enthält die korrekte Anleitung für Fehler E-417. Die Textsuche findet diese Kennung sehr gut. Eine zweite Anleitung beschreibt allgemeine Startprobleme in verständlicher Sprache und wird von der Vektorsuche bevorzugt.

Die Nutzerfrage verbindet beides: „E-417 nach Stromausfall, wie weiter?“ Die zusammengeführte Liste sollte die genaue Fehleranleitung enthalten. Ein Reranker kann anschließend die Passage bevorzugen, die zusätzlich den Stromausfallkontext behandelt.

Vor der Antwort prüft die Anwendung weiterhin Gerätetyp und gültige Version. Wenn die Fehleranleitung eine zwingende Sicherheitsvoraussetzung enthält, muss diese im Kontext bleiben. Das Beispiel beschreibt eine gewünschte Auswahl, keine gemessene Leistungsverbesserung eines bestimmten Produkts.

Berechtigungs- und Gültigkeitsfilter verändern die Kandidatenmenge. Eine Suche, die ohne Filter gut aussieht, kann im echten Betrieb weniger relevante Treffer liefern. Testen Sie deshalb mit denselben Einschränkungen, die später tatsächlich gelten.

Ein Filterfehler kann wie ein schlechter Suchalgorithmus wirken. Wenn der richtige Standort versehentlich ausgeschlossen wird, hilft ein anderer Reranker nicht. Prüfen Sie zunächst, ob die erforderliche Quelle überhaupt im erlaubten Suchraum liegt.

Die Zugriffskontrolle darf für Qualitätsverbesserungen nicht aufgeweicht werden. Mehr Treffer durch Einbeziehung gesperrter Dokumente sind kein Fortschritt. Die SharePoint-Anleitung zeigt, warum der technische Rechtepfad separat abgenommen werden muss.

Eine sinnvolle Versuchsreihe zur Suche kann vier Varianten umfassen:

• Textsuche
• Vektorsuche
• hybride Suche
• hybride Suche mit Reranking

Verwenden Sie identische Quellenfassungen, Rollen und fachliche Referenzen. So lässt sich der zusätzliche Beitrag der jeweiligen Stufe erkennen.

Teilen Sie die Testfragen für einen Suchvergleich in diese Gruppen:

• exakte Kennung
• paraphrasierte Fachfrage
• mehrsprachige Formulierung
• Regel mit Ausnahme
• Frage ohne vorhandene Antwort

Für jede Frage markieren Sie die benötigten Fundstellen. Ein fachlicher Prüfer bewertet anschließend die Antwort.

Erfassen Sie neben richtigen Treffern auch nicht passende Kandidaten, zusätzliche Laufzeit und Kosten. Eine Variante, die wenige schwierige Fälle verbessert, kann sinnvoll sein; sie muss dafür nicht zwingend bei jeder einfachen Frage ausgeführt werden. Eine solche Aufteilung benötigt jedoch klare überprüfte Regeln.

Prüfen Sie zunächst, ob die erforderliche Fundstelle innerhalb der tatsächlich verwendeten Kandidatenmenge liegt. Danach prüfen Sie ihre Position und ob sie den Modellkontext erreicht. Erst dann wird die generierte Antwort bewertet.

Microsoft unterscheidet entsprechende Prozess- und Systembewertungen in seinen RAG-Evaluatoren. Das unterstützt die Fehleranalyse, ersetzt aber keine fachliche Bewertung Ihrer konkreten Aufgaben. Microsoft: RAG-Evaluatoren.

Ein hoher Suchwert beweist keine vollständige Antwort. Ein Modell kann trotz gutem Beleg eine Ausnahme weglassen. Umgekehrt kann es eine richtige Antwort aus allgemeinem Wissen formulieren, obwohl die Suche versagt hat. Für eine belegpflichtige Unternehmensanwendung ist auch dieser zweite Fall zu erkennen.

Mehrere fast identische Chunks können die obersten Plätze belegen. Dadurch fehlt im begrenzten Kontext eventuell ein anderer notwendiger Beleg. Prüfen Sie, ob die Auswahl verschiedene relevante Abschnitte und Quellen abdeckt.

Vielfalt bedeutet nicht, zwanghaft unterschiedliche Dokumente zu mischen. Wenn eine einzige gültige Anleitung die Frage vollständig beantwortet, können weitere Quellen verwirren. Die Auswahl sollte die benötigten Aussagen abdecken, nicht eine abstrakte Anzahl verschiedener Dateien erreichen.

Behandeln Sie alte und neue Fassungen ausdrücklich. Zwei ähnliche Versionen nebeneinander können das Modell zu einer vermischten Antwort verleiten. Gültigkeitsfilter und eindeutige Kennzeichnung gehören deshalb vor oder in die Auswahl, nicht nur in einen Hinweis am Ende.

Zusätzliche Kandidaten und Reranking können mehr Verarbeitung verursachen. Messen Sie die gesamte Antwortzeit einschließlich Suche, Neuordnung und Generierung. Ein schneller Suchdienst kann Teil eines langsamen Gesamtwegs sein.

Prüfen Sie auch gleichzeitige Anfragen und schwierige mehrteilige Fragen. Durchschnittswerte allein verdecken Ausreißer. Legen Sie fest, ob bei Ausfall des Rerankers eine einfachere geprüfte Suche zulässig ist oder die Antwort begrenzt werden muss.

Rechnen Sie Kosten pro erfolgreich gelöster Aufgabe, nicht nur pro Suchaufruf. Weniger Nacharbeit kann zusätzliche technische Kosten rechtfertigen. Ohne messbare Qualitätsverbesserung erhöht eine zusätzliche Stufe dagegen vor allem die Komplexität.

Entscheid festhalten. Dokumentieren Sie die gewählte Kombination, den Prüfbestand und die Fehlergruppen, die dadurch verbessert wurden. Halten Sie ebenfalls bekannte Schwächen fest. Das erleichtert einen späteren Modell- oder Indexwechsel.

Wo weiter suchen. Wenn die richtige Quelle regelmäßig fehlt, kehren Sie zu Quellenaufnahme, Chunking und Filtern zurück. Wenn sie vorhanden ist, aber zu weit hinten steht, prüfen Sie Zusammenführung und Reranking. Der Chunking-Leitfaden und der RAG-Abnahmeplan helfen, diese Entscheidungen mit konkreten Nachweisen zu verbinden.

Einfache Vergleichsbasis. Behalten Sie eine einfache Vergleichsbasis, nachdem Sie sich für eine aufwendigere Pipeline entschieden haben. Sie ist ein nützlicher Bezugspunkt, wenn spätere Änderungen die Antwortzeit erhöhen oder Rückschritte verursachen. Ein anspruchsvoller Aufbau sollte seinen Platz weiterhin durch beobachtbaren Nutzen verdienen, statt nur deshalb schwer entfernbar zu werden, weil er zuerst in Betrieb ging.

Unveränderter Quellenbestand. Halten Sie den Quellenbestand unverändert, während Sie Schwellenwerte abstimmen. Ändert sich zwischen zwei Läufen ein Dokument oder wird eine Berechtigung korrigiert, stammt der Unterschied im Score möglicherweise nicht von der untersuchten Einstellung. Stellen Sie gegebenenfalls den früheren Stand wieder her oder führen Sie alle verglichenen Varianten erneut gegen den neuen freigegebenen Bestand aus. So vermeiden Sie, eine Konfiguration wegen eines scheinbaren Gewinns zu wählen, der aus unabhängiger Quellenpflege stammt.

Ein Suchscore ist keine allgemeine Wahrscheinlichkeit, dass die spätere Antwort stimmt. Werte können sich zwischen Suchverfahren, Modellversionen und Indexkonfigurationen unterscheiden. Übernehmen Sie daher keinen Grenzwert aus einem Beispiel, ohne seine Wirkung auf die eigene Sammlung zu prüfen.

Bewerten Sie sowohl abgelehnte richtige Treffer als auch zugelassene ungeeignete Treffer. Eine höhere Schwelle kann irrelevante Passagen reduzieren, aber seltene korrekte Formulierungen ausschließen. Eine niedrigere Schwelle kann mehr passende Quellen finden und zugleich irreführenden Kontext liefern. Die Entscheidung muss zur Aufgabe und zum vorgesehenen Rückfrage- oder Abbruchverhalten passen. Halten Sie diese Abwägung fest, damit ein späteres Update nicht unbemerkt die bisherige Antwortgrenze verschiebt.

Diese Leitfäden von modernagents behandeln angrenzende Entscheidungen rund um KI-Wissensassistenten:

• KI-Wissensassistent: internes Wissen auffindbar machen
• RAG-Chunking: Inhalte teilen, ohne den Zusammenhang zu verlieren
• Vektordatenbank für RAG auswählen: Anforderungen statt Rangliste
• RAG-Wissensassistent testen: Quellen, Rechte und Antworten

Für eine konkrete Ablaufprüfung reichen zunächst eine Prozessbeschreibung, die beteiligten Systeme und typische Ausnahmen. Mit modernagents besprechen.