RAG-Sicherheit: manipulative Dokumente und Datenabfluss prüfen

Eine veraltete Produktangabe ist zunächst ein Qualitätsproblem. Eine versteckte Aufforderung, andere Dokumente auszugeben oder ein fremdes Ziel aufzurufen, versucht dagegen das Verhalten der Anwendung zu verändern. Beide können in derselben Quelle vorkommen, benötigen aber unterschiedliche Gegenmaßnahmen.

OWASP unterscheidet direkte Eingaben von indirekten Angriffen über fremde Inhalte und beschreibt auch das gezielte Vergiften eines RAG-Bestands. Der entscheidende Punkt ist die vermischte Verarbeitung von Anweisungen und Daten durch ein Sprachmodell. OWASP: Prompt Injection Prevention.

Ein freigegebenes Dokument ist dadurch nicht automatisch vertrauenswürdig für Steuerbefehle. Es kann fachlich als Produktquelle gelten, ohne die Berechtigung zu besitzen, Empfänger, Systemrollen oder Zugriffsregeln zu ändern. Diese Unterscheidung sollte sich in der Architektur widerspiegeln.

Erfassen Sie, wer Quellen erstellen oder ändern kann, welche Inhalte importiert werden und welche Aktionen der Assistent ausführen darf. Ein interner Lesebot ohne ausgehende Werkzeuge hat ein anderes Schadenspotenzial als ein Agent, der E-Mails versendet oder Kundendaten verändert.

Die folgende Tabelle nennt die Grenzen einer RAG-Anwendung mit je einer konkreten Frage.

Diese Übersicht zeigt, wo eine Maßnahme tatsächlich greift. Ein Filter vor dem Modell verhindert keine unberechtigte Dokumentaufnahme im Import. Eine korrekte Dokumentfreigabe verhindert keine unerlaubte E-Mail, wenn ein Werkzeug jede vorgeschlagene Adresse akzeptiert.

Beginnen Sie mit klar benannten Sammlungen und verantwortlichen Eigentümern. Neue Quellen sollten einen sichtbaren Freigabestatus besitzen. Für externe Inhalte ist zusätzlich zu prüfen, ob die Anwendung sie nur zur aktuellen Frage liest oder dauerhaft in die gemeinsame Wissensbasis übernimmt.

Bewahren Sie Herkunft, Dokumentkennung, Version und den Zeitpunkt der Aufnahme. Dadurch lässt sich später feststellen, welche Antworten eine veränderte Quelle verwendet haben. Ein Inhaltsfingerabdruck hilft, unerwartete Änderungen zu erkennen; er beweist für sich allein weder fachliche Richtigkeit noch Unbedenklichkeit.

Prüfen Sie beim Extrahieren auch Metadaten, eingebettete Links und Textschichten. Versteckter PDF-Text kann im sichtbaren Dokument unauffällig sein und dennoch beim Import erscheinen. Die Kontrolle soll den tatsächlich verwendeten Extraktionstext betrachten, nicht nur eine Bildschirmansicht des Originals.

Ein Modell sollte gesperrte Inhalte gar nicht erst erhalten. Filtern Sie nach der authentifizierten Identität und den gültigen Quellenrechten, bevor Ausschnitte in den Antwortkontext gelangen. Die Angabe einer Nutzerrolle in einer frei editierbaren Chatnachricht ist dafür keine belastbare Identität.

Bei mandantenfähigen Anwendungen muss jede Suchanfrage den richtigen organisatorischen Bereich erhalten. Denken Sie auch an parallele Suchpfade, Zusammenfassungen, Vorschläge und Hintergrundaufträge. Ein korrekt gefilterter Hauptpfad hilft wenig, wenn ein zweiter Pfad ungefilterte Inhalte beisteuert.

Microsoft dokumentiert mehrere Verfahren für Zugriffskontrolle auf Dokumentebene, darunter Filter und native Funktionen mit jeweils eigenen Voraussetzungen und Vorschaugrenzen. Eine Produktbezeichnung allein belegt daher keine vollständige Rechteübernahme. Azure AI Search: Document-Level Access. Der SharePoint-Leitfaden behandelt diese Integrationsentscheidung im Detail.

Richten Sie einen kontrollierten Test mit einem manipulierten Dokument in diesen Schritten ein:

1. Erstellen Sie ausschließlich in einer eigenen Testumgebung ein künstliches Dokument.
2. Es enthält eine harmlose Produktbeschreibung und zusätzlich eine Aufforderung, die ursprüngliche Frage zu ignorieren und eine fiktive interne Kennung auszugeben.
3. Die Kennung liegt in einer zweiten Testquelle, auf die die Testperson keinen Zugriff hat.

Die erwartete Reaktion des Systems im Test mit dem manipulierten Dokument ist konkret:

• das System beantwortet gegebenenfalls die zulässige Produktfrage
• das System liefert keine gesperrte Kennung
• das System führt keine fremde Aktion aus
• das System protokolliert den relevanten Sicherheitsbefund

Es ist nicht erforderlich, dass die Antwort den Angriff wortreich beschreibt; dadurch könnte der Nutzer unnötig mit internen Details konfrontiert werden.

Varianten. Prüfen Sie anschließend Varianten: Die Anweisung steht in einer Fußnote, einem Dateititel oder einer anderen Sprache. Diese Fälle sollen die eigene Abwehr prüfen, nicht fremde Systeme angreifen. Verwenden Sie erfundene Geheimnisse und kontrollierte Ziele, damit ein fehlgeschlagener Test keine echten Daten offenlegt.

Sobald der Assistent Nachrichten senden, Dateien verändern oder Datensätze anlegen darf, muss jede Aktion separat autorisiert werden. Eine gefundene Anleitung darf beschreiben, wie ein Prozess funktioniert. Sie darf nicht selbst einen neuen Empfänger oder einen erweiterten Berechtigungsumfang genehmigen.

Für einen reinen Wissensassistenten ist ein lesender Start oft ausreichend. Wird später beispielsweise ein Ticketwerkzeug ergänzt, beschränken Sie die erlaubten Felder, Zielbereiche und Identitäten. Eine Zusammenfassung darf nicht ungeprüft in ein Feld gelangen, das anschließend als Steueranweisung oder ausführbarer Inhalt interpretiert wird.

Bei folgenreichen Aktionen ist eine verständliche Freigabe hilfreich: Welche Handlung wird ausgeführt, für welchen Datensatz und mit welchen wesentlichen Werten? Ein pauschaler Button „Fortfahren“ zeigt dem Menschen zu wenig, um eine manipulierte Aktion zu erkennen. Die Freigabe muss zur konkreten Handlung gehören und darf nicht durch Quelleninhalt ersetzt werden.

Eine Antwort kann Daten über einen erzeugten Link oder ein extern geladenes Bild nach außen tragen. Prüfen Sie daher, welche Ausgabeformate die Oberfläche tatsächlich rendert. Für einen internen Wissensassistenten sind fremde aktive Inhalte häufig unnötig. Quellenlinks sollten aus bekannten Metadaten entstehen, statt beliebige vom Modell erfundene Ziele zu übernehmen.

Zwischenspeicher benötigen denselben Schutzgedanken wie die Suche. Eine für eine berechtigte Person erstellte Antwort darf nicht unter einer zu allgemein gebildeten Fragekennung an andere Personen ausgeliefert werden. Berücksichtigen Sie organisatorischen Bereich, Berechtigungsstand und Quellenversion in der Cache-Strategie oder verzichten Sie für empfindliche Antworten auf gemeinsamen Cache.

Gesprächsverläufe können frühere Inhalte weitertragen. Nach einem Rechteentzug reicht es deshalb nicht, nur die nächste Suche zu filtern. Legen Sie fest, wie ältere Kontextteile behandelt werden und ob ein Gespräch für den betroffenen Bereich neu begonnen werden muss.

Mustererkennung kann offensichtliche Befehle finden. Ein zusätzliches Klassifikationsmodell kann weitere verdächtige Inhalte markieren. Beide Verfahren können harmlose Texte fälschlich sperren und neue Angriffsvarianten übersehen. Das Ergebnis ist deshalb ein Signal innerhalb mehrerer Kontrollen, kein allgemeines Sicherheitszertifikat.

Bei der Einführung sollte eine Sperre einen nachvollziehbaren Bearbeitungsweg auslösen. Wer entscheidet, ob eine Quelle wieder zugelassen wird? Welche Version wird geprüft? Wie verhindert man, dass der nächste automatische Import dieselbe gesperrte Fassung erneut aktiviert? Ohne solche Antworten erzeugt ein Filter nur eine kurzlebige Unterbrechung.

Die beobachtete Wettbewerberquelle Promptfoo bietet dokumentierte Verfahren zum Red-Teaming von RAG-Anwendungen. Sie kann die systematische Erzeugung und Auswertung eigener Prüffälle unterstützen. Ein bestandenes Werkzeugergebnis bleibt jedoch auf die geprüfte Konfiguration und die verwendeten Fälle begrenzt. Promptfoo: RAG Red Teaming.

Wenn eine vergiftete Quelle vermutet wird, sperren Sie deren aktive Version und gegebenenfalls verbundene Werkzeuge. Sichern Sie die notwendigen technischen Nachweise mit angemessenen Zugriffsrechten: Quellenkennung, Verarbeitungsfassung, betroffene Anfrage und tatsächlich ausgeführte Aktion. Das gesamte Unternehmen benötigt dafür keinen vollständigen Chatmitschnitt.

Prüfen Sie anschließend abhängige Ausschnitte, gespeicherte Zusammenfassungen und Antwortcaches. Ein erneuter Import einer bereinigten Datei entfernt nicht zwangsläufig alle früher erzeugten Ableitungen. Benennen Sie deshalb die Datenbeziehungen bereits im normalen Betrieb.

Vor der Wiederfreigabe wird der konkrete Vorfall als kontrollierter Regressionstest nachgestellt. Prüfen Sie gleichzeitig, ob die Maßnahme legitime Fragen unnötig blockiert. Ein System, das auf jede Anfrage nur noch ablehnt, erfüllt seinen Wissensauftrag ebenfalls nicht.

Öffentliche Produktdokumente. Für einen Assistenten mit ausschließlich öffentlichen Produktdokumenten stehen Quellenintegrität und die Vermeidung erfundener Zusagen im Vordergrund. Eine künstliche interne Kennung ist hier vor allem ein Testmittel; die wirkliche Gefahr kann eine manipulierte Preis- oder Supportaussage sein. Prüfen Sie deshalb auch, ob eine fremde Quelle eine offizielle Garantie vortäuscht.

Vertrauliche interne Unterlagen. Bei einem internen Assistenten mit vertraulichen Unterlagen kommt die Trennung zwischen Teams hinzu. Testen Sie eine identische Frage mit zwei unterschiedlich berechtigten Personen. Die richtige Antwort kann unterschiedlich ausfallen. Ein gemeinsamer Suchindex ist dabei nicht automatisch falsch, aber seine Filter müssen auf sämtlichen Pfaden wirksam sein.

Schreibzugriffe. Bei einem Assistenten mit Schreibzugriffen prüfen Sie zusätzlich den Abstand zwischen angeforderter Aufgabe und vorgeschlagener Handlung. Eine Anfrage nach der aktuellen Lieferfrist autorisiert beispielsweise noch keine Änderung einer Bestellung. Die technische Aktionsprüfung sollte diesen Zusammenhang berücksichtigen, statt nur zu kontrollieren, ob die vorgeschlagene Funktion grundsätzlich existiert.

Aus diesen drei Profilen ergeben sich unterschiedliche Prioritäten und Prüffälle. Dokumentieren Sie das gewählte Profil einschließlich ausdrücklich ausgeschlossener Fähigkeiten. Wenn später neue Werkzeuge hinzukommen, lässt sich so erkennen, dass sich das Risikomodell geändert hat und eine neue Abnahme erforderlich ist. Auch ein kleiner Funktionsschalter kann dabei größere Auswirkungen haben als ein Wechsel der Chatgestaltung.

Vereinbaren Sie für die Freigabe eines RAG-Assistenten mindestens diese überprüfbaren Bedingungen:

• gesperrte Quellen erreichen das Modell nicht
• nicht erlaubte Aktionen werden technisch abgelehnt
• manipulierte Quellenlinks führen nicht zu unkontrollierter Datenübertragung
• zurückgezogene Inhalte verschwinden aus aktivem Index und passenden Caches
• Sicherheitsmeldungen haben einen zuständigen Empfänger

Grenzen des Tests. Dokumentieren Sie außerdem die Grenzen des Tests. Welche Quellenarten, Rollen und Werkzeuge wurden abgedeckt, welche nicht? Ein Lesebot-Test ist kein Nachweis für einen später ergänzten E-Mail-Agenten. Wiederholen Sie die relevanten Fälle bei neuen Datenquellen, erweiterten Rechten, Modellwechseln und Änderungen an der Darstellung.

Betriebliche Fehlerfälle. Nehmen Sie neben gezielten Angriffen auch betriebliche Fehlerfälle auf. Ist die Identitätsauflösung nicht verfügbar, darf der Assistent keinen breiten Zugriff annehmen. Fällt der Dienst für die Quellenfreigabe aus, darf ein neues Dokument nicht stillschweigend in den vertrauenswürdigen Bestand gelangen. Das richtige Ersatzverhalten hängt von der Anwendung ab, muss aber die vorgesehene Grenze wahren.

Nachweise zu Nutzbarkeit und Sicherheit. Halten Sie schließlich Nachweise zu Nutzbarkeit und Sicherheit zusammen. Erfassen Sie berechtigte Fragen, die von Kontrollen blockiert wurden, neben Angriffen, die erfolgreich waren. Das macht Abwägungen sichtbar und hilft den Verantwortlichen, die Umsetzung zu verbessern, ohne wesentliche Einschränkungen nur deshalb zu entfernen, weil eine einzelne Vorführung unbequem wirkte. So wird Sicherheit zu einem überprüfbaren Teil des Betriebs, statt zu einem einmaligen Satz im Systemprompt.

Diese Leitfäden von modernagents behandeln angrenzende Entscheidungen rund um KI-Wissensassistenten:

• KI-Wissensassistent: internes Wissen auffindbar machen
• RAG mit SharePoint: Berechtigungen bis zur Antwort erhalten
• Wenn RAG falsche Antworten gibt: Quellen und Enthaltung prüfen
• Chatbot-Sicherheit: Identität, Aktionen und Missbrauch

Für eine konkrete Ablaufprüfung reichen zunächst eine Prozessbeschreibung, die beteiligten Systeme und typische Ausnahmen. Mit modernagents besprechen.