RAG-Wissensassistent testen: Quellen, Rechte und Antworten

Definieren Sie eine Nutzergruppe und einen Arbeitsbereich. Ein Assistent für technische Servicefragen benötigt andere Quellen und Fehlergrenzen als ein interner HR-Helfer. Halten Sie außerdem fest, ob das System nur erklärt oder auch Aktionen ausführt. Eine richtige Beschreibung des Genehmigungswegs ist noch keine erteilte Genehmigung.

Für jede Frage enthält der Prüfdatensatz eines RAG-Wissensassistenten:

• das Rollenprofil
• die Frage
• erlaubte Quellen
• erforderliche Kernaussagen
• unzulässige Behauptungen
• den erwarteten nächsten Schritt

Ergänzen Sie einen fachlichen Prüfer. Ohne vorher bekannte Bewertung kann eine überzeugend formulierte Antwort nachträglich zum vermeintlichen Sollzustand werden.

Verwenden Sie anonymisierte reale Fragen, soweit verfügbar. Synthetische Ergänzungen sind sinnvoll, wenn seltene, aber folgenschwere Fehler abgedeckt werden müssen. Kennzeichnen Sie deren Herkunft, damit der Datensatz nicht später als Sammlung beobachteter Kundenfälle dargestellt wird.

Das folgende Beispiel ist vollständig erfunden und keine Reisekosten- oder Steuerberatung. Eine aktuelle Richtlinie nennt ab September ein internes Hotelbudget von 120 Euro. Die vorherige Fassung nennt 95 Euro. Ein Anhang fordert für Messezeiträume eine separate Genehmigung. Zusätzlich existiert eine vertrauliche Personaldatei, die normale Mitarbeitende nicht lesen dürfen.

Damit lassen sich verschiedene Fehler untersuchen, ohne echte Personalinformationen zu verwenden. Eine aktuelle Frage verlangt die neue Fassung; eine historische Frage die alte. Eine Buchungsfrage während einer Messe benötigt außerdem den Anhang. Die Personaldatei darf weder als Treffer noch als zusammenfassender Hinweis erscheinen.

Speichern Sie Quellenkennung, Version, Gültigkeitsdatum und relevante Fundstellen. Ändert sich eine Quelle im laufenden Betrieb, bleibt dadurch nachvollziehbar, welche Fassung dem ursprünglichen Testergebnis zugrunde lag.

Die folgenden zwölf Fälle bilden eine erste Abnahme-Checkliste für einen RAG-Wissensassistenten und zeigen mehr als eine Demo.

Dies ist ein Anfangsbestand, keine vollständige Sicherheitsprüfung. Ergänzen Sie Aufgaben aus dem tatsächlichen Einsatz: Produktnummern, Tabellen, mehrere Standorte oder lange mehrteilige Fragen. Die Schwierigkeit sollte aus der Arbeit entstehen, nicht aus künstlich verschachtelten Rätseln.

Für einen Suchtest wird festgehalten, welche Passage erforderlich ist und ob sie unter den verwendeten Treffern vorkommt. Enthält der Kontext die richtige Information nicht, ist eine falsche Antwort zunächst kein Beweis für ein schlechtes Sprachmodell. Prüfen Sie Extraktion, Filter, Chunking und Rangfolge.

Kommt die richtige Passage an, beurteilen Sie die Antwort separat. Ist die Aussage vollständig gedeckt? Wurde eine Ausnahme entfernt? Hat das Modell aus einer Beschreibung eine verbindliche Zusage gemacht? Ein kurzer Antworttext kann korrekt sein, obwohl er anders formuliert ist als die Referenz.

Microsoft dokumentiert eigenständige RAG-Evaluatoren für Dokument-Retrieval und Quellendeckung. Diese Werkzeuge unterstützen die Trennung der Fehlerursachen, liefern aber keine universelle fachliche Freigabe. Microsoft: RAG-Evaluatoren.

Kategorien. Verwenden Sie für normale Qualitätsfragen nachvollziehbare Kategorien: korrekt und ausreichend, teilweise hilfreich, falsch oder unbelegt. Erfassen Sie zusätzlich die benötigte Nacharbeit. Eine fachlich richtige Antwort mit unbrauchbarem Link kann mehr Aufwand verursachen als die bestehende Suche.

Abbruchregeln. Bestimmte Fehler dürfen nicht durch gute Durchschnittswerte verdeckt werden. Ein unberechtigter Datenzugriff, eine erfundene Freigabe oder eine ausgeführte unzulässige Aktion benötigt eine eigene Abbruchregel. Legen Sie diese Regeln vor dem Test fest und dokumentieren Sie, wer eine Ausnahme überhaupt genehmigen dürfte.

Automatische Modellbewertungen. Automatische Modellbewertungen können große Mengen vorsortieren. Prüfen Sie eine Stichprobe manuell und untersuchen Sie Meinungsverschiedenheiten. Wenn zwei Fachpersonen dieselbe Frage unterschiedlich bewerten, ist möglicherweise bereits die Referenz unklar. Das ist ein Befund zur Wissensbasis, nicht bloß ein Bewertungsproblem.

Nutzen Sie getrennte Testidentitäten mit unterschiedlichen Zugängen. Ein Administrator, der alle Dokumente lesen darf, kann einen Rechtefehler nicht zuverlässig sichtbar machen. Testen Sie identische Fragen als normale Person, Projektmitglied und externe Unterstützung.

Entziehen Sie anschließend eine Berechtigung und wiederholen Sie die Frage in einem neuen sowie in einem bestehenden Gespräch. Prüfen Sie Antworten, Quellenlinks, Vorschläge und gespeicherte Ergebnisse. Der Hinweis „Beachte Nutzerrechte“ im Prompt ist kein Nachweis einer technisch erzwungenen Grenze.

Azure beschreibt sowohl Filterverfahren als auch native Mechanismen für Dokumentberechtigungen mit unterschiedlichen Voraussetzungen. Die Abnahme muss zum tatsächlich eingesetzten Mechanismus passen. Azure AI Search: Dokumentzugriff.

Eine neue Lösung sollte gegen den vorhandenen Prozess antreten: Suche im Wiki, Nachfrage beim Kollegen oder bereits lizenzierter Assistent. Wählen Sie vergleichbare Aufgaben und messen Sie die Zeit bis zur fachlich richtigen Entscheidung, einschließlich Quellenprüfung und Korrektur.

Vermeiden Sie einen unfairen Vergleich, bei dem das neue System vorbereitete Fragen erhält und die bisherige Suche ungeordnet benutzt wird. Wechseln Sie Reihenfolge und Aufgaben zwischen Personen, soweit praktikabel. Kleine Stichproben liefern Hinweise, keine präzise Prognose für das gesamte Unternehmen.

Erfassen Sie auch laufende Pflegezeit. Ein Assistent kann Suchzeit reduzieren und zugleich zusätzlichen Aufwand für Quellenfreigabe oder Fehlerbearbeitung erzeugen. Der wirtschaftliche Nutzen ergibt sich aus beiden Seiten, nicht allein aus der Geschwindigkeit der ersten Antwort.

Festgehaltener Test. Bewahren Sie für jeden Test die Konfiguration, Quellenversionen, Rollen und Ergebnisse auf. Ändern Sie bei der Optimierung möglichst eine wesentliche Komponente zugleich. Sonst bleibt unklar, ob ein Fortschritt vom neuen Modell, einer besseren Quelle oder einer anderen Suchkonfiguration stammt.

Regressionstests. Nach dem Start ergänzen Sie beobachtete Fehler um kontrollierte Regressionstests. Wiederholen Sie die relevanten Fälle nach Quellenänderungen, neuen Konnektoren, Modellwechseln und Berechtigungsumbauten. Prüfen Sie auch Wiederherstellung und Löschung; diese Vorgänge finden in einer normalen Demonstration selten statt.

Begrenzte Freigabe. Eine Freigabe sollte schließlich sagen, für welche Nutzer, Quellen und Aufgaben sie gilt. „Der RAG-Assistent wurde getestet“ ist zu unbestimmt. Ein konkreter Prüfbereich mit dokumentierten Grenzen erlaubt einen verantworteten Einsatz und zeigt zugleich, welche Erweiterung eine neue Abnahme benötigt.

Test und Verlässlichkeit. Unterscheiden Sie schließlich weiterhin zwischen einem bestandenen Test und allgemeiner Verlässlichkeit. Zwölf bestandene Fälle zeigen das Verhalten in diesen Fällen unter der festgehaltenen Konfiguration. Sie belegen nicht, dass jede noch nicht gesehene Frage richtig beantwortet wird. Halten Sie einen sichtbaren Meldeweg offen, prüfen Sie neue Fehler und nutzen Sie diese Erkenntnisse, um sowohl den Assistenten als auch sein Quellenmaterial zu verbessern.

Diese Leitfäden von modernagents behandeln angrenzende Entscheidungen rund um KI-Wissensassistenten:

• KI-Wissensassistent: internes Wissen auffindbar machen
• Wenn RAG falsche Antworten gibt: Quellen und Enthaltung prüfen
• RAG mit SharePoint: Berechtigungen bis zur Antwort erhalten