Chatbot-Qualität messen: gelöste Anliegen statt vermiedener Kontakte

Microsoft unterscheidet in Copilot Studio unter anderem bestätigte und implizite Lösungen, Eskalationen und abgebrochene Sitzungen. Eine Unterhaltung kann mehrere Analysesitzungen erzeugen. Je nach Ablauf kann ein Timeout als impliziter Erfolg gelten; eine ausgelöste Übergabe beweist außerdem noch keine Übernahme durch einen Mitarbeiter. Diese Unterschiede stehen in der Dokumentation zur Ergebnismessung und den Monitoring-Definitionen, geprüft am 26. September 2026.

Übernehmen Sie deshalb eine Anbieterkennzahl nicht ungeprüft als Ihre Lösungsquote. Schreiben Sie zu jeder Kennzahl Zähler, Nenner, Zeitraum, Ausschlüsse und Datenquelle. Trennen Sie auch abrechenbare Anbieterereignisse von fachlich geprüften Ergebnissen: Eine Rechnungseinheit dient zunächst der Abrechnung.

Die Tabelle definiert sechs Kennzahlen der Chatbot-Qualität (geprüfte Abschlussquote, kritische Fehlerquote, Übergabeerfolg, Wiederkontaktquote, Bearbeitungsaufwand und Kundenzufriedenheit) und die Entscheidung, die jede unterstützt.

Eine einzelne Zahl kann die anderen nicht ersetzen. Niedrige Übergabequoten sind schlecht, wenn der Bot stattdessen falsche Auskünfte gibt. Hohe Zufriedenheit unter wenigen freiwilligen Antworten beweist keine gute Leistung für alle Nutzer. Berichten Sie daher Mengen und Auswahlverfahren neben Prozentwerten.

Daten. In einem fiktiven Monat entstehen 1.000 geeignete Kundenanliegen. Der Bot markiert 700 als abgeschlossen. Eine fachliche Nachprüfung des gesamten Beispieldatensatzes bestätigt 630 davon; 70 sind unklar oder falsch abgeschlossen. 250 Anliegen werden an das Team übergeben, 50 bleiben ohne Ergebnis.

Markiert und geprüft. Die automatisch markierte Abschlussquote beträgt 70 Prozent. Die in diesem Beispiel tatsächlich geprüfte Abschlussquote beträgt 63 Prozent. Beide Zahlen sind rechnerisch richtig, beschreiben aber etwas anderes. Würden nur 100 Fälle stichprobenartig geprüft, dürfte man die übrigen 900 nicht als einzeln bestätigt darstellen.

Übergabezustände. Von 250 angeforderten Übergaben erreichen 240 die richtige Warteschlange, davon werden 220 innerhalb der intern vereinbarten Zeit angenommen. Damit entstehen drei Zustände: angefordert, angekommen und rechtzeitig übernommen. Eine reine Ticketanzahl würde die letzten beiden Unterschiede verdecken.

Rubrik. Legen Sie vorab fest, was eine gute Antwort ausmacht: richtige Aussage, passende Quelle, richtige Länder- oder Produktvariante, berechtigter Datenzugriff und korrekter nächster Schritt. Bewerten Sie diese Punkte einzeln. Eine freundlich formulierte Antwort kann sachlich falsch sein; eine vorsichtige Rückfrage kann fachlich richtig sein.

Kritische Fehler. Kritische Fehler brauchen eine eigene Kategorie. Beispiele sind fremde Bestelldaten, erfundene Erstattungsbestätigungen oder verbindliche Zusagen ohne Freigabe. Solche Fehler dürfen nicht durch viele richtige Öffnungszeiten-Antworten rechnerisch verschwinden. Definieren Sie eine verantwortliche Person und einen Stoppprozess für betroffene Funktionen.

Automatische Bewerter. Automatische Bewerter können Gespräche vorsortieren oder auf mögliche Quellenkonflikte hinweisen. Kalibrieren Sie deren Urteile jedoch an menschlich geprüften Beispielen. Wenn Bot und Bewerter denselben irreführenden Wissenseintrag verwenden, können beide denselben Fehler plausibel finden.

Auswahl. Ziehen Sie nicht nur erfolgreiche Gespräche oder die längsten Chats. Berücksichtigen Sie häufige Anliegen, seltene riskante Fälle, Sprachen, Geräte, Abbrüche und Übergaben. Dokumentieren Sie, ob die Auswahl zufällig oder bewusst nach Risiken geschichtet ist. Eine risikobasierte Stichprobe eignet sich gut zum Fehlerfinden, ist aber ohne passende Gewichtung keine repräsentative Gesamtquote.

Zwei Prüfer. Lassen Sie strittige Fälle von zwei Personen bewerten und klären Sie abweichende Urteile. Daraus entsteht eine präzisere Rubrik. Bewahren Sie nur die für die Auswertung notwendigen Daten auf; pseudonymisierte Fallkennungen sind häufig hilfreicher als vollständige Kundenprofile.

Regressionssatz. Pflegen Sie einen stabilen Regressionssatz für bekannte Fehler und einen getrennten Satz bisher ungesehener Fälle. Wer nur die Beispiele testet, mit denen der Bot abgestimmt wurde, kann überschätzen, wie gut sich die Korrektur verallgemeinern lässt.

Erfassen Sie diese Positionen bei Zeit und Kosten eines vollständigen Anliegens:

• Botbetrieb
• Wissenspflege
• Qualitätsprüfung
• Restbearbeitung
• Wiederkontakte

Wenn eine automatische Antwort einen zusätzlichen Anruf auslöst, gehört dieser Aufwand zum Ergebnis. Ebenso zählt die Zeit, die Mitarbeiter für das Korrigieren unbrauchbarer Zusammenfassungen benötigen.

Vergleichbare Zeiträume. Vergleichen Sie ähnliche Anliegen und Zeiträume. Eine Saison mit einfachen Versandfragen ist kein fairer Maßstab für eine spätere Reklamationswelle. Halten Sie Änderungen an Botversion, Quellen, Öffnungszeiten und Kanalzugang fest. Sonst kann eine Verbesserung durch einen anderen Fallmix entstehen.

Median und langsame Fälle. Der Median zeigt den typischen Zeitbedarf; zusätzlich sollten Sie langsame Fälle und offene Warteschlangen betrachten. Ein schneller Ersttext kann eine lange tatsächliche Lösungszeit verdecken. Unterscheiden Sie das Warten auf Angaben des Kunden vom Warten auf eine interne Aktion, damit das zuständige Team die passende Verbesserung vornehmen kann.

Besprechen Sie wöchentlich einige fehlgeschlagene Fälle mit dem Serviceverantwortlichen. Ordnen Sie die Ursache zu:

• fehlendes Wissen
• falscher Abruf
• unverständliche Rückfrage
• Berechtigung
• Systemfehler
• unbesetzte Übergabe

Jede Ursache benötigt eine andere Korrektur; ein längerer Prompt löst nicht alle davon.

Die nächste Freigabe erfolgt anhand derselben bekannten Fälle plus neuer, bisher ungesehener Beispiele. Dokumentieren Sie, welche Änderung welchen Fehler beheben soll. Ein brauchbares Chatbot-Dashboard führt damit zu überprüfbaren Entscheidungen und zeigt offen, wo die Daten für eine belastbare Aussage noch fehlen.

Diese Seiten behandeln die Leistungsübersicht und die angrenzenden Entscheidungen für die Messung der Chatbot-Qualität:

• KI-Chatbot für Unternehmen: Aufgaben und Systemgrenzen
• Chatbot-Übergabe: wenn ein Mensch übernehmen muss
• Chatbot einführen und betreiben: Verantwortliche und Freigabe
• Chatbot-Kosten: Nutzung, Einrichtung und Support vergleichen

Für eine konkrete Ablaufprüfung reichen zunächst eine Prozessbeschreibung, die beteiligten Systeme und typische Ausnahmen. Mit modernagents besprechen.