RAG einfach erklärt: wie KI mit Unternehmenswissen antwortet

Ein allgemeines Sprachmodell verfügt über Fähigkeiten und Wissen aus seinem Training. Es kennt dadurch nicht automatisch die aktuelle Wartungsanleitung, die individuelle Vertragsfassung oder die internen Zugriffsrechte Ihres Unternehmens. Eine flüssige Antwort kann diesen fehlenden Zugriff leicht verdecken.

RAG ergänzt zur Laufzeit Informationen aus einem vorgesehenen Bestand. Der grundlegende Forschungsansatz kombinierte ein trainiertes Modell mit einem externen Informationsspeicher. Die ursprüngliche Veröffentlichung ist eine wichtige technische Grundlage, aber ihre Versuchsergebnisse sind kein Leistungsversprechen für einen heutigen Unternehmensassistenten. Lewis et al.: Retrieval-Augmented Generation.

Entscheidend ist die konkrete Anwendung. Welche Quellen darf sie durchsuchen? Welche Dokumentfassung ist gültig? Welche Person stellt die Frage? Das sind organisatorische und technische Entscheidungen, die durch den Begriff RAG noch nicht beantwortet werden.

Das folgende Szenario ist erfunden. Ein Serviceteam betreut zwei ähnliche Maschinenmodelle. Für Modell A gilt eine andere Wartungsreihenfolge als für Modell B. Eine Mitarbeiterin fragt: „Welche Schritte brauche ich vor dem Filterwechsel bei Modell A?“

Die Anwendung erkennt die Modellbezeichnung, sucht in den freigegebenen Unterlagen und findet den passenden Abschnitt. Sie gibt dem Sprachmodell diesen Abschnitt einschließlich Titel, Version und wichtigen Sicherheitshinweisen. Das Modell formuliert daraus eine verständliche Antwort mit Quellenverweis.

Findet die Suche nur das Handbuch für Modell B, darf der Assistent die Schritte nicht einfach übertragen. Fehlt eine sicherheitsrelevante Voraussetzung, soll er die Lücke benennen oder auf die vollständige Anleitung verweisen. Die richtige Reaktion kann daher eine Rückfrage sein, obwohl technisch eine Antwort generiert werden könnte.

Die folgende Tabelle nennt die fünf RAG-Schritte mit dem, was geschieht und was geprüft werden muss.

Die ersten beiden Schritte laufen häufig unabhängig von einer konkreten Frage. Änderungen an den Quellen müssen anschließend in den Suchbestand gelangen. Die letzten drei Schritte geschehen während der Nutzung. Eine Störung beim Import kann deshalb heute Antworten beeinflussen, obwohl die Chatoberfläche scheinbar normal funktioniert.

Chunk. Ein Chunk ist ein abgegrenzter Textabschnitt, den die Suche einzeln finden kann. Er sollte genügend Zusammenhang enthalten, damit sein Inhalt verständlich bleibt. Wird ein Absatz von seiner Überschrift oder Ausnahme getrennt, kann seine Bedeutung verloren gehen.

Embedding. Ein Embedding ist eine numerische Darstellung von Inhalt. Damit können Suchsysteme ähnliche Bedeutungen vergleichen, auch wenn unterschiedliche Wörter verwendet werden. Die Zahlendarstellung ist kein Wahrheitsbeweis und keine automatische Berechtigungsprüfung.

Vektordatenbank. Eine Vektordatenbank speichert solche Darstellungen und unterstützt ihre Suche. Sie ist eine mögliche technische Komponente, nicht das gesamte RAG-System. Häufig werden zusätzlich klassische Textsuche und Metadatenfilter benötigt, etwa für genaue Produktnummern oder Gültigkeitsbereiche.

Reranking. Reranking ordnet bereits gefundene Kandidaten neu. Es kann eine passende Passage nach vorne bringen, aber keine Quelle verwenden, die zuvor gar nicht gefunden wurde. Die Anleitung zu hybrider Suche erklärt diese Auswahl genauer.

Eine Chatoberfläche kann ein allgemeines Modell, eine einfache Suchfunktion, RAG oder eine Kombination verschiedener Werkzeuge verwenden. Aus der Oberfläche allein lässt sich der Aufbau nicht erkennen. Auch ein Datei-Upload sagt noch nicht, wie dauerhaft Inhalte gespeichert, berechtigt und aktualisiert werden.

Umgekehrt ist RAG nicht auf selbst entwickelte Software beschränkt. Microsoft beschreibt entsprechende Such- und Antwortabläufe in Copilot Studio. Entscheidend sind dort wie bei eigener Software die konkret eingebundenen Quellen und ihre Eigenschaften. Microsoft: RAG in Copilot Studio.

Fragen Sie bei einer Produktauswahl deshalb nach dem tatsächlichen Datenfluss. Woher kommt eine Antwort, welche Identität wird für die Suche verwendet und wie verschwindet eine gelöschte Quelle? Eine Architekturbezeichnung ersetzt diese Antworten nicht.

Suche und RAG. Eine gewöhnliche Suche liefert Fundstellen. RAG ergänzt daraus eine formulierte Antwort. Das ist hilfreich, wenn mehrere Abschnitte zusammengeführt oder Fachtexte verständlich erklärt werden sollen. Wenn Nutzer ohnehin nur eine bekannte Datei öffnen möchten, kann eine gute Suche bereits ausreichen.

Fine-Tuning. Fine-Tuning verändert ein Modell durch zusätzliches Training. Es kann für wiederkehrendes Aufgaben- oder Antwortverhalten relevant sein. Es ersetzt jedoch nicht automatisch den Zugriff auf aktuelle, nutzerspezifisch erlaubte Dokumente. Beide Ansätze können kombiniert werden; zunächst sollte klar sein, welches Problem behoben werden soll.

Direkte Datenbankabfrage. Eine Datenbankabfrage ist wiederum oft geeigneter für exakte Bestände, Summen oder Transaktionsstände. Wer den heutigen Lagerbestand wissen möchte, benötigt gegebenenfalls eine aktuelle Systemabfrage. Ein aus einem älteren PDF gewonnener Textausschnitt ist dafür keine gleichwertige Quelle.

Eine Antwort kann falsch sein, obwohl ein Quellenlink vorhanden ist. Die Quelle könnte veraltet sein, der relevante Satz eine andere Produktvariante betreffen oder das Modell eine nicht belegte Schlussfolgerung ziehen. Prüfen Sie daher einzelne Aussagen gegen die tatsächlich verwendete Passage.

Auch Datenschutz und Zugriffsrechte entstehen nicht allein durch RAG. Dokumente müssen bereits vor der Antwortbildung auf erlaubte Inhalte begrenzt werden. Quellen können außerdem manipulierte Anweisungen enthalten, die nicht als Befehle behandelt werden dürfen.

Schließlich benötigt Wissen Pflege. Wenn Zuständigkeiten oder Richtlinien wechseln, muss die Anwendung neue Versionen übernehmen und alte Inhalte entsprechend ihrer Gültigkeit behandeln. Ein Assistent ohne Quellenverantwortung wird mit der Zeit schlechter, auch wenn sein Modell unverändert leistungsfähig bleibt.

Ein sinnvoller Ausgangspunkt sind wiederkehrende Fragen, vorhandene verlässliche Dokumente und ein spürbarer Such- oder Erklärungsaufwand. Weniger günstig ist ein Bereich, in dem Wissen ausschließlich in Köpfen steckt oder jede Entscheidung umfangreiche persönliche Abwägung verlangt.

Sammeln Sie zunächst tatsächliche Fragen und die jeweils verbindlichen Quellen. Prüfen Sie anschließend, ob die vorhandene Suche oder ein bereits eingesetztes Produkt den Bedarf abdeckt. Für verbleibende Lücken kann ein begrenzter RAG-Versuch sinnvoll sein.

Der Versuch sollte richtige Antworten, fehlendes Wissen, falsche Versionen und unterschiedliche Leserechte enthalten. Messen Sie die Zeit bis zur überprüften Lösung einschließlich Nacharbeit. Der RAG-Abnahmeplan hilft dabei; die Architektur-Anleitung beschreibt die technischen Entscheidungen, wenn sich der Bedarf bestätigt.

Ein nützliches erstes Ergebnis kann ein besserer Quellenbestand sein und kein neuer Assistent. Die Erkenntnis, dass sich mehrere vermeintlich verbindliche Dokumente widersprechen, ist ein wertvoller Befund. Klären Sie diesen Widerspruch, bevor Sie von einem Sprachmodell erwarten, daraus verlässliche Arbeitsanweisungen zu machen.

Diese Leitfäden von modernagents behandeln angrenzende Entscheidungen rund um KI-Wissensassistenten:

• KI-Wissensassistent: internes Wissen auffindbar machen
• RAG-Architektur: vom Dokument zur belegbaren Antwort
• RAG oder Fine-Tuning: welche Aufgabe löst welcher Ansatz?
• KI-Wissensdatenbank aufbauen: Quellen zuerst ordnen

Für eine konkrete Ablaufprüfung reichen zunächst eine Prozessbeschreibung, die beteiligten Systeme und typische Ausnahmen. Mit modernagents besprechen.