KI-Dokumentenverarbeitung testen: Vorlage für die Abnahme

Definieren Sie die Dokumenttypen, Pflichtfelder, zulässigen Aktionen und das führende Zielsystem. Strukturierte Rechnungsdaten sollten über den vorgesehenen Datenweg geprüft werden; ein zusätzliches OCR über das sichtbare PDF ist nicht automatisch sinnvoll. Bei Scans benötigen Sie dagegen einen Test der Erkennung und ihrer Fehler.

Erstellen Sie einen freigegebenen Testbestand aus typischen und schwierigen Fällen. Autorisierte echte Daten können später nötig sein; beginnen können Sie mit anonymisierten oder synthetischen Beispielen. Halten Sie Herkunft und Bearbeitung fest. Lassen Sie die fachlich korrekten Sollwerte unabhängig vom getesteten System bestimmen.

Ein kleiner Testsatz ist ein Startpunkt, keine statistische Garantie für den späteren Betrieb. Erweitern Sie ihn, sobald neue Lieferanten, Formate oder Fehler auftreten.

Drei Messwerte statt einer Erfolgszahl

Drei Messwerte beschreiben einen Probelauf der KI-Dokumentenverarbeitung besser als eine einzelne Erfolgszahl:

Feldfehler: Vergleichen Sie Werte feldweise mit den Sollwerten. Dokumentieren Sie fehlende, falsche und zusätzlich erfundene Angaben getrennt. Ein korrekter Gesamtbetrag gleicht eine falsche IBAN nicht aus.

Unbemerkte Fehler: Prüfen Sie besonders, ob ein falscher kritischer Wert die vereinbarte Kontrolle passiert. Ein System, das einen schwierigen Fall korrekt zur Prüfung gibt, ist anders zu bewerten als eines, das denselben Fall falsch freigibt.

Verbleibende Arbeitszeit: Messen Sie Kontrolle, Korrektur, Rückfragen, Wiederholungen und regelmäßige Pflege. Vergleichen Sie dieselben Dokumenttypen mit dem bisherigen Ablauf. Reine Verarbeitungsgeschwindigkeit ist nicht der Zeitgewinn Ihres Teams.

Ein Rechenbeispiel: In 20 synthetischen Dokumenten mit jeweils fünf geprüften Feldern wären 100 Feldwerte zu beurteilen. Drei falsche Werte entsprechen 3 % in genau diesem Testsatz. Das sagt weder „97 % aller Rechnungen funktionieren“ noch etwas Verlässliches über bislang ungesehene Dokumenttypen aus.

Präzision und Vollständigkeit getrennt auswerten

Präzision und Recall. Google Document AI beschreibt die Bewertung über markierte Testdokumente, Präzision und Recall. Präzision fragt, welcher Anteil der ausgegebenen Werte richtig ist. Recall fragt, welcher Anteil der vorhandenen Sollwerte richtig gefunden wurde. Ein System kann wenig falsch ausgeben und gleichzeitig viele benötigte Werte übersehen. Google: Evaluate performance, geprüft am 26. September 2026.

Je kritischem Feld. Erstellen Sie deshalb je kritischem Feld eine eigene Auswertung. Rechnungsnummer, Betrag, Währung und Lieferant haben unterschiedliche Fehlerfolgen. Bei Positionsdaten zählen zusätzlich fehlende und doppelte Zeilen. Definieren Sie vorher, ob etwa abweichende Leerzeichen zulässig sind; ändern Sie die Vergleichsregel nicht nachträglich, um ein Ergebnis besser aussehen zu lassen.

Synthetisches Beispiel. Ein synthetisches Beispiel: 100 Dokumente enthalten eine Bestellreferenz. Das System gibt 90 Referenzen aus, davon sind 85 richtig. Die Präzision beträgt 85/90, also rund 94,4 Prozent; der Recall 85/100, also 85 Prozent. Beide Zahlen betreffen nur dieses Feld und diesen Testsatz. Die fünf falschen Angaben und 15 nicht richtig gefundenen Referenzen benötigen unterschiedliche Verbesserungen.

Was ein Konfidenzwert bedeutet. Ein Modellwert von 0,95 ist keine Garantie, dass 95 Prozent Ihrer Geschäftsvorfälle richtig sind. Microsoft beschreibt Konfidenzwerte als geschätzte Sicherheit bestimmter Vorhersagen und erläutert deren Auswertung. Microsoft: Accuracy and confidence.

Fehler je Bereich zählen. Teilen Sie Ergebnisse in mehrere Konfidenzbereiche und zählen Sie die tatsächlich beobachteten Fehler. Prüfen Sie außerdem kritische Felder separat. Ein gut lesbarer, aber dem falschen Mandanten zugeordneter Beleg kann hohe Erkennungswerte haben und trotzdem fachlich falsch sein. Das Routing zur menschlichen Prüfung sollte daher Konfidenz, feste Regeln und Geschäftskontext gemeinsam berücksichtigen.

Schwellen je Feld. Ein Schwellenwert, der auf einen möglichst hohen Gesamtwert ausgelegt ist, passt nicht unbedingt zu Ihren Prioritäten. Wenn eine übersehene Zahlungsreferenz lediglich eine Prüfung auslöst, eine falsche Bankverbindung aber schwerere Folgen hat, ist dieselbe Regel für die automatische Übernahme für beide ungeeignet. Legen Sie die zulässige Aktion auf Feld- und Vorgangsebene fest.

Versionen festhalten. Notieren Sie Modellversion, Prompt, Regeln, Mapping und Zielsystemstand. Wird eine dieser Komponenten verändert, vergleichen Sie die neue Variante auf demselben eingefrorenen Testsatz. Neue Fehlerfälle kommen zusätzlich hinzu; sie ersetzen den ursprünglichen Vergleich nicht. So erkennen Sie Verbesserungen und Rückschritte.

Erstellung und Freigabe trennen. Trennen Sie Testerstellung und Freigabe soweit praktikabel. Wer das Mapping verändert hat, sollte nicht allein entscheiden, ob ein mehrdeutiger Sollwert nachträglich angepasst wird. Halten Sie strittige Fälle ausdrücklich offen und lassen Sie die fachlich verantwortliche Person entscheiden.

Abnahmevermerk. Zum Abschluss gehört ein kurzer Abnahmevermerk: getesteter Umfang, tatsächlich ausgeführte Fälle, bekannte Grenzen, erlaubte Automatisierung und nächste Kontrolle. Das ist nützlicher als ein pauschales „KI funktioniert“, weil der Betrieb daraus seine konkreten Handlungsmöglichkeiten ableiten kann.

Legen Sie Grenzen vor der Auswertung fest. Ein Vorschlag: kein unbemerkter kritischer Fehler im vereinbarten Testsatz, alle definierten Fehlerwege nachvollziehbar und ein dokumentierter manueller Ersatzprozess. Welche weiteren Fehlerraten tolerierbar sind, entscheidet die fachlich verantwortliche Person nach Risiko und Arbeitsaufwand.

Auch null beobachtete Fehler beweisen keine Fehlerfreiheit. Starten Sie kontrolliert, prüfen Sie Stichproben und wiederholen Sie kritische Tests nach Änderungen an Erkennung, Regeln oder Schnittstellen. Erfassen Sie offene Fehler mit Verantwortlichen und Termin, statt eine Abnahme pauschal als „bestanden“ zu erklären.

Die Übergabe eines Anbieters für KI-Dokumentenverarbeitung sollte enthalten:

• Testbestand
• Sollwerte
• Ergebnisse
• offene Abweichungen
• Regeln für Freigaben
• eine Beschreibung der Wiederaufnahme
• wo Originale, Protokolle und Konfiguration liegen
• wer im Betrieb zuständig ist

Die technische Leistung beschreiben wir unter KI-Dokumentenverarbeitung. Für BMD-Nutzer beginnt die Prüfung mit vorhandenen Produktfunktionen. Wie eine Freigabe wirksam wird, zeigt der Leitfaden Entwurf und Freigabe.