RAG-Kosten: Aufbau, Suche, Modelle und laufende Pflege

RAG steht für Retrieval-Augmented Generation: Das System sucht passende Inhalte und stellt sie einem Sprachmodell als Kontext zur Verfügung. Für die Kostenplanung ist entscheidend, dass die Suche auf nutzbaren, aktuellen und zugriffsberechtigten Quellen arbeitet. Ein vorhandener Dateiordner ist noch keine fertig gepflegte Wissensbasis.

Die folgende Tabelle nennt die Kostenblöcke eines RAG-Projekts mit ihrer Abrechnungsgrundlage und einer Frage, die im Angebot zu klären ist.

Trennen Sie jede Position in einmalige Arbeit, monatlichen Grundaufwand und mengenabhängigen Verbrauch. Sonst wirkt ein Angebot mit niedriger Grundgebühr günstiger, obwohl Quellenpflege und fachliche Tests vollständig beim Kunden liegen. Interne Stunden gehören ebenfalls in die Rechnung, auch wenn dafür keine zusätzliche Rechnung eingeht.

Diese Trennung macht auch Verantwortung sichtbar. Ein Hosting-Anbieter kann die Anwendung verfügbar halten, ohne zu prüfen, ob eine alte Richtlinie ersetzt wurde. Eine Fachexpertin kann die Richtlinie pflegen, ohne den Zugang zu haben, um einen ausgefallenen Konnektor zu untersuchen. Beide Tätigkeiten brauchen eine verantwortliche Person und einen Ansatz im Betriebsbudget.

Quelleninventar. Beginnen Sie mit einem Quelleninventar. Erfassen Sie nicht nur die Anzahl der Dateien, sondern Seitenzahl, Dateitypen, durchschnittliche Länge, Änderungsrate, Zugriffsgruppen und verantwortliche Personen. Tausend kurze, aktuelle Anleitungen können weniger Aufbereitung verlangen als hundert schlecht gescannte Handbücher mit widersprüchlichen Versionsständen.

Für eine erste RAG-Kostenkalkulation genügt eine Tabelle mit fünf Mengen:

• einmalig einzulesende Seiten
• monatlich veränderte Seiten
• gespeicherte Textabschnitte
• monatliche Nutzerfragen
• durchschnittliche Modellaufrufe je Frage

Ergänzen Sie Spitzenlast und Zahl der Nutzer, die gleichzeitig arbeiten. Eine hohe Gesamtzahl von Accounts verursacht eine andere Belastung als tatsächlich gleichzeitige Anfragen.

Repräsentative Stichprobe. Prüfen Sie die Annahmen an einer repräsentativen Stichprobe. Enthält diese nur saubere PDFs, fehlen womöglich die schwierigen Tabellen, eingescannten Anhänge und doppelt abgelegten Vertragsversionen. Halten Sie auch fest, welche Inhalte bewusst außerhalb des Systems bleiben. Das schafft einen überprüfbaren Projektumfang und verhindert, dass jeder neu gefundene Ordner stillschweigend zur ursprünglichen Leistung zählt.

Erstimport und laufende Änderung. Ein wichtiger Unterschied ist Erstimport versus laufende Änderung. Wenn nur geänderte Dokumente erneut verarbeitet werden, kann der Betrieb deutlich weniger Material bewegen als eine monatliche Vollverarbeitung. Ob diese inkrementelle Verarbeitung tatsächlich umgesetzt ist, sollte im technischen Konzept stehen. Eine angenommene Einsparung ohne funktionierende Änderungserkennung gehört noch nicht in das verbindliche Budget.

Dokumentenaufbereitung

Bei der Aufbereitung unterscheiden sich reine Textextraktion, OCR und spezialisierte Dokumentenverarbeitung. Die Abrechnungseinheit hängt vom verwendeten Dienst ab. Googles offizielle Document-AI-Preise unterscheiden beispielsweise Prozessoren und mengenbezogene Einheiten; ein Preis für ein bestimmtes Extraktionsverfahren ist deshalb kein allgemeiner Preis für jede PDF-Verarbeitung. Quelle: Document AI Pricing.

Notieren Sie im Kostenblatt den genauen Dienst, die Abrechnungseinheit und die geplante Menge. Ergänzen Sie Nacharbeit für fehlerhafte Tabellen oder fehlende Metadaten als eigene Position. Wenn jemand eine Quelle manuell bereinigen muss, verschwinden diese Stunden nicht dadurch, dass die technische Extraktion wenige Cent kostet.

Suche

Auch Suchdienste haben unterschiedliche Kostenmodelle. Microsoft führt bei Foundry IQ beziehungsweise Azure AI Search dedizierte, stündlich berechnete Kapazität und einen Serverless-Tarif in Vorschau mit verbrauchsabhängiger Rechenleistung und Speicher auf. Serverless kann im Leerlauf auf null skalieren; einzelne Zusatzfunktionen verursachen weitere Gebühren. Region und Tarif müssen deshalb konkret feststehen. Quelle: Microsoft-Preise für Suche.

Für die Auswahl bedeutet das: Vergleichen Sie einen normalen Monat, einen Monat mit starkem Erstimport und einen Monat mit wenig Nutzung. Ein pauschaler Preis pro Nutzer bildet diese drei Situationen möglicherweise schlecht ab. Reservierte Kapazität und nutzungsabhängiger Betrieb sollten jeweils mit denselben Anforderungen an Antwortzeit, Datenhaltung und Betriebsunterstützung gerechnet werden.

Gehen Sie nicht davon aus, dass eine Vorschau-Bereitstellung mit jeder etablierten Produktionskonfiguration austauschbar ist. Maßgeblich für den Vergleich ist die Konfiguration, die Ihre Anforderungen erfüllt und Ihrer Organisation zur Verfügung steht, einschließlich ihrer Grenzen und Supportbedingungen. Die günstigste sichtbare Preiszeile nützt nur, wenn sie etwas beschreibt, das Sie tatsächlich nutzen können.

Am 26. September 2026 nennt Googles offizielle Preisseite für Gemini 3.1 Flash-Lite im Standardtarif, Region Global, 0,25 US-Dollar je Million Eingabetokens und 1,50 US-Dollar je Million Textausgabetokens einschließlich berechneter Reasoning-Tokens. Bei Abrechnung in anderer Währung gelten die jeweiligen lokalen SKU-Preise. Quelle: Google-Modellpreise.

Für ein eigenes Rechenbeispiel nehmen wir 10.000 Fragen pro Monat an. Jede Frage benötigt genau einen Modellaufruf mit insgesamt 6.000 Eingabetokens und 500 berechneten Ausgabetokens. Daraus ergibt sich:

Diese 22,50 US-Dollar sind ausschließlich der errechnete Modellverbrauch dieses Beispiels. Sie enthalten weder Suche noch Embeddings, Dokumentenaufbereitung, Hosting, Support oder fachliche Kontrolle. Die Auswahl der Preiszeile ist keine Empfehlung für dieses Modell und kein Nachweis, dass eine Global-Konfiguration Ihre Anforderungen an den Verarbeitungsort erfüllt.

Zu den Eingabetokens gehören der übergebene Kontext und gegebenenfalls Gesprächsverlauf. Wenn das System eine Frage zunächst umformuliert, mehrere Suchschritte plant oder eine Antwort zusätzlich prüfen lässt, müssen diese weiteren Aufrufe in die Rechnung. Verwenden Sie später die tatsächlich gemessenen Verbrauchswerte statt einer pauschalen Annahme pro sichtbarer Antwort.

Deshalb ist eine kurze Antwort auch nicht unbedingt eine günstige Anfrage. Ein knapper Absatz kann einen großen Kontext und mehrere Zwischenschritte erfordert haben. Halten Sie den vollständigen Weg der Anfrage fest, bevor Sie entscheiden, wo eine Optimierung einen spürbaren Unterschied machen würde.

Das folgende Beispiel ist bewusst unabhängig vom Dollar-Beispiel oben. Alle Eurobeträge sind frei gewählte Planungswerte für ein begrenztes internes Wissensprojekt. Sie zeigen die Struktur einer Rechnung; Steuern, konkrete Anbieterangebote und individuelle Vertragsbedingungen müssen separat berücksichtigt werden.

Das erste Jahr ergibt in diesem Beispiel 7.200 + 12 × 900 = 18.000 Euro. Im zweiten Jahr wären es bei unverändertem Umfang 10.800 Euro. Erweiterungen, neue Schnittstellen, Migrationen und größere Überarbeitungen sind darin nicht automatisch enthalten.

Modellreserve. Die monatliche Modellreserve von 100 Euro ist eine Budgetannahme für mehrere technische Leistungen. Sie lässt sich nicht unmittelbar mit den 22,50 US-Dollar aus der einzelnen Modellrechnung vergleichen. Dafür müssten Währung, Last, Dienstumfang und tatsächliche Nutzung zuerst übereinstimmen.

Empfindlichkeit. Prüfen Sie anschließend die Empfindlichkeit der Rechnung: Steigt die fachliche Pflege von 300 auf 600 Euro monatlich, erhöht sich der Jahresbetrag um 3.600 Euro. Verdoppelt sich nur die Infrastruktur von 200 auf 400 Euro, kommen 2.400 Euro hinzu. So wird sichtbar, welche Annahmen Sie vor einer Entscheidung genauer prüfen sollten.

Interner Aufwand. Halten Sie diese Ansätze im Beschaffungsantrag sichtbar. Wird das Projekt nur anhand externer Rechnungen freigegeben, stellt das Team womöglich später fest, dass niemand Zeit für die Quellenprüfung hat. Ein Budget, das internen Aufwand enthält, macht diese Ressourcenentscheidung ausdrücklich, auch wenn der Mittelabfluss niedriger ist als die gesamten wirtschaftlichen Kosten.

Die passende Bezugsgröße ist eine korrekt erledigte Aufgabe. Eine Antwort kann schnell erscheinen und trotzdem zusätzliche Arbeit verursachen, wenn Quelle, Gültigkeit oder Berechtigung unklar bleiben. Erfassen Sie deshalb Suchzeit, Prüfung, Nacharbeit und Fälle, die weiterhin vollständig manuell bearbeitet werden.

Ein bewusst konservatives, erfundenes Beispiel: Ohne Assistent benötigen 600 Fragen je sechs Minuten, insgesamt 3.600 Minuten. Mit Assistent verteilen sie sich wie folgt:

Die Zeitdifferenz beträgt 1.080 Minuten oder 18 Stunden. Bei einem angenommenen internen Stundenwert von 40 Euro ergibt das 720 Euro rechnerisch frei werdende Kapazität. Das liegt unter den angenommenen monatlichen Gesamtkosten von 900 Euro; der Aufbau ist dabei noch gar nicht zurückverdient. Eine pauschale Aussage zur schnellen Amortisation wäre hier falsch.

Freie Kapazität ist außerdem nicht automatisch eine geringere Personalausgabe. Sie wird wirtschaftlich wirksam, wenn damit beispielsweise zusätzliche Aufgaben erledigt, Überstunden vermieden oder Engpässe reduziert werden. Legen Sie vor dem Test fest, wie diese Verwendung dokumentiert wird und welche Qualitätsgrenze nicht unterschritten werden darf.

Behalten Sie erfolglose Fragen in der Messung. Wer sie aus dem Nenner nimmt, lässt den Assistenten besser aussehen, während dem Betrieb dieselbe ungelöste Arbeit bleibt. Es ist vertretbar, dass ein System Fragen außerhalb seines Geltungsbereichs ablehnt; der verbleibende manuelle Aufwand gehört aber weiterhin in die gesamte Wirtschaftlichkeitsrechnung.

Quellenwechsel. Ein Quellenwechsel kann neue Arbeit auslösen, obwohl sich die Zahl der Nutzer nicht ändert. Dazu gehören geänderte Berechtigungen, neue Dateiformate, eine veränderte Ordnerstruktur und die Ablösung eines angebundenen Systems. Vereinbaren Sie, welche Änderungen zum laufenden Betrieb gehören und welche eine neue Beauftragung auslösen.

Wiederholungsprüfungen. Planen Sie außerdem Wiederholungsprüfungen nach wesentlichen Änderungen ein. Ein neues Modell oder eine andere Aufteilung der Dokumente kann zwar Kosten senken, aber die Qualität einzelner Antworten verschlechtern. Verwenden Sie dafür einen festen Satz typischer und schwieriger Fragen, einschließlich bewusst unbeantwortbarer Fälle und Zugriffsgrenzen.

Zwei Reserven. Für das Budget helfen zwei getrennte Reserven: eine für schwankenden technischen Verbrauch und eine für zusätzliche Arbeit. Ein technischer Ausgabenalarm begrenzt keine ungeplanten internen Pflegeaufgaben. Umgekehrt verhindert eine verfügbare Fachperson nicht, dass ein fehlerhafter Import unnötig oft dieselben Dokumente verarbeitet.

Ausstiegsszenario. Beziehen Sie auch ein Ausstiegsszenario ein. Wird der Assistent eingestellt, braucht die Organisation weiterhin ihr Quellenmaterial, die Aufzeichnungen zu Zuständigkeiten und einen wiederverwendbaren Prüfbestand, soweit vorhanden. Klären Sie den Übergabeaufwand im Voraus, besonders wenn ein Anbieter eigene Zuordnungen gebaut oder Dokumente in ein proprietäres Format umgewandelt hat.

Fordern Sie einen klaren Umfang statt einer einzigen Monatszahl. Ein Angebot für ein RAG-Projekt sollte:

• Quellen und Nutzergruppen benennen
• den Umgang mit Änderungen erklären
• Verbrauchseinheiten ausweisen
• die Abnahme beschreiben

Fragen Sie auch nach Export, Übergabe und Zuständigkeit bei einer fehlerhaften Antwort.

Ein sinnvoller Vergleich enthält mindestens einen normalen Betriebsmonat und ein Belastungsszenario. Lassen Sie Anbieter dieselben Mengen und dieselben Testfragen zugrunde legen. Ein günstigeres Angebot kann gut passen, wenn bewusst weniger enthalten ist; entscheidend ist, dass diese Grenze sichtbar bleibt und zu Ihrer internen Kapazität passt.

Wenn bereits Microsoft-365-Lizenzen oder eine vorhandene Suchplattform genutzt werden, prüfen Sie zunächst den zusätzlichen Aufwand dieser Lösung. Ein eigener RAG-Assistent lohnt sich nicht allein deshalb, weil seine Modellkosten niedrig sind. Entscheidend ist, ob die benötigten Quellen, Zugriffsregeln und Arbeitsabläufe mit vertretbarem Gesamtaufwand abgedeckt werden.

Diese Leitfäden von modernagents behandeln angrenzende Entscheidungen rund um KI-Wissensassistenten:

• KI-Wissensassistent: internes Wissen auffindbar machen
• Microsoft 365 Copilot oder zusätzlicher RAG-Assistent?
• RAG-Architektur: vom Dokument zur belegbaren Antwort
• KI-Automatisierung: Kosten und Rechnung fürs erste Jahr

Bringen Sie für eine belastbare Kostenschätzung ein Quelleninventar, typische Fragen und die beteiligten Nutzergruppen mit. RAG-Projekt mit modernagents besprechen.