RAG-Chunking: Inhalte teilen, ohne den Zusammenhang zu verlieren

Drei Einstellungen beschreiben, wie viel Inhalt ein RAG-System abruft; sie wirken zusammen, sind aber nicht austauschbar.

Wer Chunks verkleinert und die Trefferzahl unverändert lässt, kann insgesamt weniger Kontext erhalten. Wer die Trefferzahl erhöht, kann viele ähnliche Abschnitte aus derselben Datei bekommen. Eine größere Modellkontextgrenze behebt wiederum keine falsche Auswahl.

Halten Sie diese Größen bei einem Versuch getrennt fest. Nur dann lässt sich beurteilen, ob eine Verbesserung durch bessere Grenzen, mehr Kandidaten oder mehr gelesenen Text entstanden ist. Die Zahl der Tokens allein erklärt das Ergebnis nicht.

Chunking arbeitet mit der Darstellung, die der Import liefert. Wenn ein PDF bereits seine Tabellenüberschriften verloren hat, kann ein Splitter diese nicht zuverlässig rekonstruieren. Wenn ein Wiki-Makro fehlt, bleibt seine Ausnahme auch in großen Chunks unsichtbar.

Nehmen Sie vor der Auswahl verschiedene Dokumenttypen zur Hand: kurze Richtlinie, langes Handbuch, Tabelle, FAQ und gescannter Anhang. Vergleichen Sie den extrahierten Text mit dem Original. Markieren Sie Stellen, an denen Überschriften, Listen oder Seitenwechsel Bedeutung tragen.

Microsoft beschreibt Chunking als eigene Entwurfsphase nach Dokumentanalyse und unterscheidet Verfahren anhand der Struktur. Die Dokumentation empfiehlt eine empirische Auswahl für den konkreten Bestand. Microsoft: RAG Chunking Phase. Produktbeispiele daraus sind keine allgemeingültigen Optimalwerte.

Die folgende Tabelle vergleicht vier Chunking-Verfahren nach sinnvollem Ausgangspunkt und typischem Risiko.

Eine rekursive Methode versucht typischerweise, zunächst größere natürliche Grenzen und bei Bedarf kleinere Einheiten zu verwenden. Entscheidend ist die konkrete Implementierung. Der Methodenname sagt nicht, wie Tabellen, Überschriften oder überlange Absätze behandelt werden.

Semantische Verfahren sind ebenfalls keine automatische Verbesserung. Sie können thematische Wechsel erkennen, müssen aber an Ihrer Sprache, Ihrem Fachvokabular und Ihren Fragen geprüft werden. Mehr Rechenaufwand ist erst dann gerechtfertigt, wenn die relevante Fehlerklasse besser wird.

Eine erfundene Servicerichtlinie enthält den Satz: „Standardteile können innerhalb von 30 Tagen zurückgegeben werden.“ Im nächsten Absatz steht: „Für kundenspezifisch gefertigte Teile ist eine gesonderte Freigabe erforderlich.“ Die Frage betrifft ausdrücklich eine kundenspezifische Fertigung.

Wird nur der erste Absatz gefunden, kann das Modell eine falsche allgemeine Erlaubnis formulieren. Ein größerer Chunk könnte helfen, sofern beide Absätze gemeinsam enthalten sind. Er könnte aber auch viele weitere Regeln aufnehmen und die eigentliche Aussage weniger gut auffindbar machen.

Eine mögliche Gestaltung ist ein kompakter Suchabschnitt mit beiden Aussagen und der Überschrift „Rückgabe nach Teileart“. Eine andere ist die Suche nach einem kleinen Abschnitt mit anschließendem Nachladen des zugehörigen vollständigen Regelblocks. Beide Varianten müssen an den gleichen Fragen geprüft werden; das Beispiel liefert keine gemessene Überlegenheit.

Ein Absatz wie „Dies gilt nur für Vertragskunden“ ist ohne übergeordnete Aussage unbrauchbar. Ergänzen Sie den notwendigen Abschnittspfad oder Titel, damit der Text eigenständig verständlich bleibt. Wiederholen Sie jedoch nicht das gesamte Inhaltsverzeichnis in jedem Chunk.

Bewahren Sie Dokumentkennung, Version, Abschnitt, Seitenbezug und gültige Zielgruppe. Diese Metadaten unterstützen Filter, Quellenlinks und spätere Löschung. Sie müssen bei einer erneuten Aufteilung weiterhin konsistent sein.

Generierte Zusammenfassungen können Suchobjekte anreichern, sind aber zusätzliche Modellbehauptungen. Kennzeichnen Sie sie als Ableitung und behalten Sie den Originaltext. Wenn eine Zusammenfassung eine Ausnahme entfernt, darf sie nicht unbemerkt an die Stelle des verbindlichen Belegs treten.

Überlappung wiederholt Inhalt an den Grenzen benachbarter Chunks. Das kann verhindern, dass eine Aussage durch einen Schnitt unverständlich wird. Es vergrößert zugleich den Index und kann nahezu identische Treffer erzeugen.

Verwenden Sie Overlap nicht als pauschale Versicherung gegen jede Strukturfrage. Wenn eine Ausnahme mehrere Seiten später steht, hilft eine kleine Überlappung wenig. Wenn ganze Absätze mehrfach zurückgegeben werden, verbrauchen sie Kontext, ohne zusätzliche Information zu liefern.

Prüfen Sie im Versuch, ob Überlappung tatsächlich relevante Grenzfälle verbessert. Erfassen Sie dabei auch die Anzahl doppelter oder stark ähnlicher Treffer. Eine Variante kann besser suchen und dennoch unnötig teure oder repetitive Antworten erzeugen, wenn die Kontextzusammenstellung nicht mitangepasst wird.

Eine Tabellenzeile braucht häufig Spaltenüberschriften, Einheit und Geltungsbereich. Wird sie allein als Zahlenfolge gespeichert, fehlt der Zusammenhang. Bei sehr großen Tabellen kann es sinnvoll sein, Zeilengruppen mit wiederholten relevanten Überschriften zu bilden.

Eine Gesamtfrage wie „Welche drei Produkte haben den höchsten Wert?“ ist etwas anderes als eine Suche nach einem bestimmten Eintrag. Für verlässliche Aggregation kann eine strukturierte Abfrage geeigneter sein als das Abrufen einiger Textchunks. Die Auswahl des Werkzeugs gehört deshalb vor die Optimierung der Textlänge.

Prüfen Sie zudem Fußnoten und über mehrere Seiten fortgesetzte Tabellen. Eine Fußnote kann die Bedeutung einer gesamten Spalte ändern. Der PDF-Leitfaden beschreibt die notwendige Aufbereitung, bevor Chunking darüber entscheidet, welche Einheiten gemeinsam gesucht werden.

Eine Anwendung kann auf kleinen Chunks suchen und anschließend den übergeordneten Abschnitt nachladen. Das trennt präzise Auffindbarkeit von ausreichendem Antwortkontext. Voraussetzung ist eine stabile Zuordnung zwischen Kindabschnitt und Elternquelle.

Das Nachladen darf keine Berechtigungsgrenze umgehen. Wenn ein größerer Abschnitt Inhalte mit unterschiedlichen Freigaben enthält, muss auch der nachgeladene Kontext korrekt begrenzt werden. Ebenso müssen Version und Gültigkeit übereinstimmen.

Begrenzen Sie die Expansion. Aus einem guten Treffer sollte nicht automatisch ein komplettes hundertseitiges Handbuch werden. Legen Sie fest, welche Nachbarabschnitte zur Beantwortung benötigt werden, und prüfen Sie deren Nutzen anhand konkreter Fälle mit übergreifenden Regeln.

Bestand und Fragen. Erstellen Sie einen kleinen, repräsentativen Quellenbestand und Fragen mit bekannten erforderlichen Fundstellen. Enthalten sein sollten exakte Produktnummern, paraphrasierte Fragen, Regeln mit Ausnahmen, Tabellen und Fragen über Abschnittsgrenzen hinweg.

Drei Varianten. Vergleichen Sie beispielsweise eine feste Baseline, eine strukturorientierte Variante und eine Variante mit gezieltem Nachladen. Halten Sie Modell, Suchverfahren, Berechtigungen und Bewertungsregeln zunächst konstant. Die konkreten Größen sind Versuchswerte, die zu den Dokumenten passen sollten, und keine branchenweiten Garantien.

Erfassen Sie in einem Chunking-Versuch für jede Frage:

• ob die erforderliche Information gefunden wurde
• ob alle wichtigen Bedingungen im Kontext standen
• ob die Antwort korrekt war

Ergänzen Sie Indexgröße, Verarbeitungsaufwand, gelesene Tokens und Antwortzeit. Dadurch wird sichtbar, ob eine Qualitätsverbesserung mit vertretbarem Aufwand erkauft wird.

Nicht beantwortbare Fragen. Nehmen Sie auch Fragen auf, auf die es keine Antwort geben darf, weil die Quelle die Information nicht enthält. Eine Chunking-Änderung, die unbelegte Antworten selbstsicherer klingen lässt, ist keine Verbesserung der Suche. Erfassen Sie Enthaltung und Rückfrageverhalten getrennt vom erfolgreichen Auffinden von Belegen.

Halten Sie für jede Variante die genauen Dokumentrevisionen fest. Korrigiert eine verantwortliche Person während des Versuchs eine Richtlinie, kann eine scheinbare Chunking-Verbesserung in Wahrheit auf besseren Quelleninhalt zurückgehen. Führen Sie die betroffenen Fälle entweder für alle Varianten erneut aus oder werten Sie den geänderten Quellenstand ausdrücklich getrennt aus.

Dasselbe gilt für Berechtigungen. Unterschiedliche Rollenfilter können verändern, welche Textstellen überhaupt infrage kommen, bevor die Chunking-Qualität bewertet wird. Halten Sie Identitäten und Zugriffsstand beim Methodenvergleich konstant und führen Sie nach der Wahl der bevorzugten Konfiguration einen eigenen Regressionstest für Berechtigungen durch. So bleibt klar erklärbar, woher der Qualitätsgewinn kommt und wo die Zugriffsgrenze verläuft.

Ein Durchschnitt über alle Fragen kann eine problematische Gruppe verdecken. Trennen Sie kurze FAQs, lange Anleitungen, Tabellen und mehrsprachige Quellen. Eine Methode kann bei Fließtext gut funktionieren und bei kurzen Listen wichtige Überschriften verlieren.

Prüfen Sie deutsche Komposita, englische Fachbegriffe und unterschiedliche Schreibweisen von Produktnummern, wenn diese tatsächlich vorkommen. Übersetzung oder Textnormalisierung darf eine exakte Kennung nicht verändern. Ein semantisch ähnlicher Produktname ist bei einer technischen Anleitung möglicherweise das falsche Produkt.

Lassen Sie Fachpersonen besonders die Fälle prüfen, bei denen die Suche scheinbar korrekt war, die Antwort aber eine falsche Handlung nahelegt. Häufig fehlt dort eine Bedingung, die beim reinen Vergleich des Hauptsatzes übersehen wird.

Eine neue Aufteilung verändert Kennungen, Treffer und eventuell Quellenverweise. Planen Sie deshalb, wie alte Chunks entfernt und gespeicherte Antworten ungültig werden. Ein zusätzlicher Import ohne Bereinigung kann zwei konkurrierende Aufteilungen desselben Dokuments zurücklassen.

Halten Sie die Verarbeitungsfassung fest. Bei einem Fehler muss nachvollziehbar sein, ob die Quelle geändert oder nur anders aufgeteilt wurde. Für größere Änderungen ist ein getrennter Prüfindex hilfreich, sofern Aufwand und Bestand dies rechtfertigen.

Wiederholen Sie nach dem Wechsel auch Lösch- und Rechtestests. Die neue Aufteilung darf keinen Textabschnitt ohne die erforderlichen Metadaten erzeugen. Technisch bessere Suchwerte sind kein Fortschritt, wenn die Zugriffskontrolle verloren geht.

Dokumentieren Sie, welche Fragen durch die gewählte Methode besser beantwortet werden und welche Grenzen bleiben. Ein sinnvoller Entscheid lautet beispielsweise: „Strukturgrenzen erhalten Ausnahmen in unseren Servicehandbüchern; große Tabellen werden separat verarbeitet.“ Eine isolierte Tokenzahl erklärt diesen Nutzen nicht.

Behalten Sie eine einfache Vergleichsvariante und den Prüfbestand. Wenn neue Dokumenttypen hinzukommen, lässt sich die Entscheidung gezielt erneut prüfen. Der RAG-Abnahmeplan verbindet Trefferqualität mit fachlicher Richtigkeit; der Leitfaden zur hybriden Suche behandelt die nächste Auswahlstufe.

Wählen Sie zusätzlich bewusst die kleinsten und größten erzeugten Abschnitte. Ein durchschnittlicher Chunk kann gut aussehen, während ein einzeiliger Hinweis seinen Bezug verliert, eine lange Tabelle sämtliche Grenzen überschreitet oder ein Anhang ohne seine übergeordnete Überschrift dasteht. Lassen Sie diese Ausreißer nicht still durch eine Standardregel fallen.

Eine praktische Sichtprüfung zeigt einen Chunk ohne das Originaldokument. Kann eine fachkundige Person erkennen, worauf sich die Aussage bezieht, welche Einschränkung gilt und wo der Beleg liegt? Wenn nicht, fehlt wahrscheinlich Kontext. Diese Prüfung ergänzt Suchmetriken, weil ein gut auffindbarer Abschnitt trotzdem als Antwortgrundlage unvollständig sein kann. Dokumentieren Sie die besondere Behandlung solcher Ausreißer, damit eine spätere Änderung des Splitters sie nicht erneut erzeugt.

Diese Leitfäden von modernagents behandeln angrenzende Entscheidungen rund um KI-Wissensassistenten:

• KI-Wissensassistent: internes Wissen auffindbar machen
• PDFs, Scans und Tabellen für RAG vorbereiten
• Hybride Suche und Reranking: bessere Quellen für RAG finden
• RAG-Wissensassistent testen: Quellen, Rechte und Antworten

Für eine konkrete Ablaufprüfung reichen zunächst eine Prozessbeschreibung, die beteiligten Systeme und typische Ausnahmen. Mit modernagents besprechen.