Wenn RAG falsche Antworten gibt: Quellen und Enthaltung prüfen

Eine frei erfundene Vorschrift ist ein klarer Fehler. Schwieriger sind Antworten, deren Teile plausibel wirken: Der Betrag stammt aus einem Dokument, die Frist aus einem anderen und die behauptete Zuständigkeit aus allgemeinem Modellwissen. Zusammen entsteht eine Regel, die in keiner freigegebenen Quelle steht.

Auch ein echter Link kann täuschen. Eine Richtlinie kann das Thema behandeln, ohne die konkrete Aussage zu bestätigen. Eine korrekte Passage kann für Deutschland gelten, während die Frage einen österreichischen Standort betrifft. Eine historische Quelle kann für die Frage nach dem Vorjahr richtig und für die heutige Entscheidung falsch sein.

Microsoft unterscheidet bei der RAG-Bewertung unter anderem Quellendeckung und Relevanz. Das unterstützt eine wichtige Trennung: Eine Antwort kann vollständig aus dem gelieferten Kontext stammen und trotzdem die Frage verfehlen. Microsoft: End-to-End-Evaluierung.

Die folgenden Dokumente sind erfunden und dienen weder als Reisekostenleitfaden noch als steuerliche Beratung. Eine interne Richtlinie erlaubt ab September ein Hotelbudget von 120 Euro. Die alte Fassung nennt 95 Euro. Ein Anhang verlangt für Messezeiträume eine separate Freigabe.

Die Frage lautet: „Darf ich nächste Woche während der Messe ein Zimmer für 115 Euro buchen?“ Die Antwort „Ja, die Grenze beträgt 120 Euro“ zitiert die aktuelle Richtlinie. Trotzdem fehlt die entscheidende Ausnahme. Das Problem ist nicht die Zahl, sondern die unbelegte Erlaubnis.

Eine bessere Antwort benennt die allgemeine Grenze, erklärt die Messeausnahme und verweist auf den Freigabeweg. Ist der Anhang nicht verfügbar, soll der Assistent keine Buchungsfreigabe aussprechen. Er kann sagen, welche Information fehlt und wer sie klärt. Für die Bewertung zählt damit die Handlungsfolge, nicht nur die Übereinstimmung einzelner Wörter.

Zerlegen Sie repräsentative Antworten in überprüfbare Aussagen. Die folgende Matrix ist eine vorgeschlagene Prüfmethode, kein Ergebnis eines durchgeführten Versuchs.

Ein Beleg sollte zur konkreten Passage führen. Speichern Sie Dokumentidentität, Version, Abschnitt und gegebenenfalls Seite zusammen mit dem Text. Lassen sich Links nur zur Startseite öffnen, muss der Nutzer anschließend erneut suchen. Das macht die Antwort schwerer überprüfbar und erhöht den tatsächlichen Arbeitsaufwand, selbst wenn die Antwort zufällig stimmt.

Untersuchen Sie eine falsche RAG-Antwort Stufe für Stufe in dieser Reihenfolge:

1. Quelle. Prüfen Sie zuerst, ob die erforderliche Information überhaupt freigegeben vorliegt. Fehlendes Wissen kann kein Retrieval-Verfahren zuverlässig erzeugen.
2. Extraktion. Danach prüfen Sie, ob der Import den Inhalt korrekt extrahiert hat. Bei Tabellen können Spaltenüberschriften oder Fußnoten verloren gehen.
3. Suche. Erst dann folgt die Suche: Enthielt die Kandidatenliste die richtige Passage?
4. Reranking und Kontextaufbau. Falls ja, wurde sie beim Reranking oder beim Zusammenstellen des Modellkontexts entfernt?
5. Antwortbildung. Wenn der vollständige Beleg beim Modell ankam und die Antwort dennoch falsch ist, liegt der Schwerpunkt bei Antwortinstruktion, Modellverhalten oder nachgelagerter Prüfung.

Diese Reihenfolge verhindert unnötige Umbauten. Eine zusätzliche Vektordatenbank löst keine fehlende Fußnote. Mehr Kontext behebt keine falsche Gültigkeitsentscheidung. Eine strengere Antwortvorlage ersetzt keine technisch durchgesetzten Leserechte.

Definieren Sie unterschiedliche Zustände. „Keine passende Quelle gefunden“ ist etwas anderes als „Zwei gültige Quellen widersprechen sich“. Die folgende Tabelle ordnet drei Situationen die Reaktion zu, die ein RAG-Assistent zeigen sollte.

Beispielsweise kann eine genehmigte Richtlinie Vorrang vor einem Team-Wiki haben; diese Regel muss fachlich beschlossen werden und braucht eine fachlich verantwortliche Person.

Ein Konfidenzwert des Modells ist dafür kein hinreichender Ersatz. Legen Sie statt eines Konfidenzwerts des Modells beobachtbare Bedingungen fest:

• erforderliche Metadaten vorhanden
• gültige Quelle gefunden
• wesentliche Ausnahmen mitgeliefert
• keine widersprüchliche höher priorisierte Fassung

Erst diese Bedingungen lassen sich nachvollziehbar testen.

Ein Dokument kann neben Fachwissen auch Anweisungen an den Assistenten enthalten. Solche Inhalte sind als Daten zu behandeln. Ein Absatz, der das Modell zum Offenlegen anderer Dateien auffordert, erhält durch seine Aufnahme in die Wissensbasis keine zusätzliche Autorität.

OWASP beschreibt RAG-Poisoning und indirekte Prompt Injection als eigenständige Angriffswege. Daraus folgt für die Gestaltung: Quellenfreigabe, Zugriffsprüfung und begrenzte Werkzeugrechte gehören außerhalb der bloßen Antwortformulierung. OWASP: RAG Security. Die technische Vertiefung steht im Leitfaden zu Prompt Injection.

Stellen Sie echte Arbeitsfragen zusammen und ergänzen Sie bewusst schwierige Varianten. Benötigt werden aktuelle und historische Fragen, fehlende Angaben, widersprüchliche Quellen, nicht vorhandenes Wissen und Fragen mit eingeschränkten Zugriffsrechten. Nehmen Sie deutsche und englische Formulierungen auf, wenn beide im Betrieb vorkommen.

Bewerten Sie getrennt, ob die richtige Passage gefunden wurde, ob die Kernaussagen belegt sind, ob Ausnahmen erhalten bleiben und ob der Nutzer eine sinnvolle nächste Handlung erhält. Ein Prüfer sollte die Antwort zunächst ohne Bewertungsnote eines zweiten Modells beurteilen können. Automatische Bewertungen helfen beim Sortieren größerer Mengen, ersetzen aber keine fachliche Entscheidung über kritische Fälle.

Wiederholen Sie diesen Bestand nach Änderungen an Quellen, Chunking, Suchverfahren und Modell. Halten Sie zusätzlich neue Fehler aus dem Betrieb fest. Dabei gehören sensible Gesprächsinhalte nicht unkontrolliert in eine dauerhaft geteilte Testdatei; legen Sie gegebenenfalls kontrollierte oder anonymisierte Fälle an.

Benennen Sie die fachlich verbindlichen Quellen und ihre Rangfolge. Definieren Sie, wann eine Frage beantwortet, zurückgefragt oder an einen Menschen übergeben wird. Vereinbaren Sie eine überprüfbare Fehlergrenze für den konkreten Einsatz; ein Personalprozess verlangt andere Freigaben als eine Suche nach Kantinenöffnungszeiten.

Ein bestandener Test belegt das Verhalten für die geprüften Fälle. Er garantiert keine fehlerfreie Zukunft. Entscheidend ist ein laufender Korrekturweg: Meldung erfassen, betroffene Quelle und Antwortversion sichern, Ursache bestimmen, Fehler beheben und den Fall dauerhaft in den Prüfbestand aufnehmen. Der RAG-Abnahmeplan hilft, diese Entscheidungen vor dem breiten Rollout festzuhalten.

Diese Leitfäden von modernagents behandeln angrenzende Entscheidungen rund um KI-Wissensassistenten:

• KI-Wissensassistent: internes Wissen auffindbar machen
• RAG-Wissensassistent testen: Quellen, Rechte und Antworten
• PDFs, Scans und Tabellen für RAG vorbereiten
• RAG-Wissen aktuell halten: Versionen, Löschung und Widersprüche

Für eine konkrete Ablaufprüfung reichen zunächst eine Prozessbeschreibung, die beteiligten Systeme und typische Ausnahmen. Mit modernagents besprechen.