Das Wichtigste in Kürze
- Nutzen Sie öffentliche Ranglisten, um Kandidaten auszuwählen, nicht um zu entscheiden. Sie messen festgelegte Szenarien oder Vorlieben von Nutzern, nicht Ihre Aufgabe.
- Schreiben Sie das erwartete Ergebnis für jeden Fall auf, bevor Sie eine einzige Modellantwort ansehen.
- Lassen Sie jeden Fall mehrmals auf jedem Kandidaten laufen, weil Antworten zwischen Durchläufen schwanken, und behalten Sie jedes Ergebnis, auch die Fehlschläge.
- Zählen Sie schwere Fehler getrennt vom Durchschnitt. Eine erfundene Bankverbindung kann mehr wiegen als zehn gute Entwürfe.
01 / 08
Was messen öffentliche Benchmarks?
Öffentliche Benchmarks messen Unterschiedliches, und beide Hauptarten sind innerhalb ihrer Grenzen nützlich. Chatbot Arena sammelt Vorlieben: Nutzer vergleichen zwei anonyme Antworten, stimmen für die bevorzugte ab und sehen die Modellnamen erst danach. Das Ergebnis zeigt, welches Modell Menschen bei vielen allgemeinen Fragen bevorzugen. HELM der Universität Stanford bewertet Sprachmodelle mit mehreren Kennzahlen über viele Szenarien und benennt die eigenen Lücken; die Autoren schreiben, dass sie das Sprachmodell bewerten, nicht ein System für ein bestimmtes Szenario.
Keiner der beiden misst, wie ein Modell mit Ihren Dokumenten, in Ihrer Sprachvariante, unter Ihren Freigaberegeln und mit Ihren Werkzeugen arbeitet. Diese Lücke ist der Grund für einen eigenen Test. Nutzen Sie öffentliche Ergebnisse, um zwei oder drei Kandidaten zu wählen, die einen Test wert sind.
02 / 08
Wie wählen Sie die Fälle aus?
Beginnen Sie mit zwanzig Fällen aus der echten Arbeit. Anthropic empfiehlt, dass 20 bis 50 einfache Aufgaben aus echten Fehlschlägen ein guter Anfang sind. Zwanzig ist eine erste Stichprobe, um deutliche Probleme zu finden, kein Nachweis der Zuverlässigkeit.
Mischen Sie die Fallarten bewusst:
| Fallart | Warum sie dazugehört |
|---|---|
| Gewöhnliche Fälle | Der Großteil der Arbeit. Diese muss das Modell gut erledigen. |
| Fehlende Angaben | Das richtige Ergebnis ist eine Rückfrage, keine Vermutung. |
| Widersprüchliche Quellen | Zwei Dokumente sagen Unterschiedliches. Das Modell muss es bemerken, statt still eines zu wählen. |
| Fälle zum Weitergeben | Eine Beschwerde, eine Rechtsfrage oder eine unklare Identität muss an einen Menschen gehen. |
| Ein Fall mit hohem Risiko | Ein Fall, bei dem eine falsche Antwort echten Schaden anrichtet, etwa eine falsche Bankverbindung. |
Behalten Sie Sprache, Aufbau und Schwierigkeit der Originale. Enthalten die Fälle personenbezogene Daten, genügt es nicht, Namen zu ersetzen: Die britische Datenschutzbehörde hält fest, dass pseudonymisierte Informationen weiterhin personenbezogene Daten sind. Prüfen Sie, ob eine Person noch erkennbar ist, und legen Sie Testdaten in einem zugriffsgeschützten Speicher ab.
Legen Sie einige zusätzliche Fälle zur Seite und nutzen Sie sie nicht, während Sie Anweisungen anpassen. Testen Sie sie am Ende, um zu sehen, ob das Ergebnis auch bei Fällen hält, auf die Sie nicht hin optimiert haben.
03 / 08
Wie legen Sie ein richtiges Ergebnis fest?
Eine Person, die die Arbeit kennt, schreibt vor dem Test für jeden Fall das erwartete Ergebnis auf: nötige Fakten und Felder, zulässige andere Formulierungen, verbotene Aktionen und die richtige Weitergabe. Bei Feldern wie einer Auftragsnummer funktioniert ein exakter Vergleich. Bei einer entworfenen Antwort beschreiben Sie, was hinein muss und was nicht.
Die Leitlinien von OpenAI zur Bewertung empfehlen aufgabenspezifische Tests und eine Abstimmung automatischer Bewertungen mit menschlichen. Sie nennen auch typische Verzerrungen von KI-Bewertern: die Positionsverzerrung, die die zuerst gezeigte Antwort bevorzugt, und die Längenverzerrung, die längere Antworten bevorzugt. Wenn Sie eine KI vorbewerten lassen, prüfen Sie ihre Bewertungen gegen menschliche.
04 / 08
Wie machen Sie den Test wiederholbar?
Halten Sie vor dem ersten Durchlauf alles fest, was das Ergebnis verändern kann:
- die genaue Modellbezeichnung, wo der Anbieter sie zeigt, sonst den sichtbaren Modellnamen und den Plan;
- Datum und Uhrzeit, die Version der Anweisung und die Version der Quelldokumente;
- ob Werkzeuge, Suche oder Abruf eingeschaltet waren und ob ein Gedächtnis aktiv war;
- Einstellungen wie Temperatur oder Denkaufwand, wo sie sichtbar sind, und die Region der Bereitstellung.
Eine feste Modellbezeichnung hilft, friert aber nicht alles ein. Die Dokumentation von Anthropic hält fest, dass jede Claude-Modellkennung eine festgelegte Modellversion bezeichnet und sich die Infrastruktur um das Modell dennoch mit der Zeit ändern kann. Markieren Sie Einstellungen, die ein Chat-Produkt nicht zeigt, als „nicht sichtbar“.
Lassen Sie jeden Fall dreimal auf jedem Kandidaten laufen und beginnen Sie jedes Mal eine neue Unterhaltung. Modellantworten schwanken zwischen Durchläufen; deshalb empfiehlt Anthropic wiederholte Versuche. Bei 20 Fällen, drei Kandidaten und drei Durchläufen sind das 180 Ergebnisse zum Bewerten. Behalten Sie gescheiterte und wiederholte Durchläufe; behalten Sie nicht nur die beste Antwort.
Haben Sie so einen Workflow?
Erzählen Sie uns davon: ehrliche Einschätzung und ein grober Preis, meist innerhalb eines Tages.
05 / 08
Wie bewerten Sie fair?
Verbergen Sie, welches Modell welche Antwort erzeugt hat, und mischen Sie die Reihenfolge vor der Bewertung, wie es Chatbot Arena mit seinen anonymen Vergleichen tut. Bewerten Sie jede Antwort gegen das erwartete Ergebnis:
| Wertung | Bedeutung |
|---|---|
| 2 | Nach einer gewöhnlichen Prüfung nutzbar |
| 1 | Nur nach einer inhaltlichen Korrektur nutzbar |
| 0 | Nicht nutzbar |
Halten Sie für nötige Felder und verbotene Aktionen getrennt „bestanden“ oder „nicht bestanden“ fest, denn eine Antwort kann sich gut lesen und trotzdem eine Regel brechen. Ordnen Sie dann jeden Fehler ein: ein kleiner Darstellungsfehler, ein inhaltlicher Fehler oder ein schwerer Fehler wie erfundene Zahlungsdaten, die Weitergabe von Daten eines anderen Kunden oder ein Versand ohne Freigabe. Weisen Sie schwere Fehler in einer eigenen Zeile aus. Entscheiden Sie vor dem Test, ob ein einziger schwerer Fehler einen Kandidaten ausschließt. Sind sich zwei Bewerter uneinig, entscheidet eine zweite fachkundige Person.
06 / 08
Wie vergleichen Sie Kosten und Zeit?
Halten Sie pro Durchlauf die abgerechneten Einheiten fest, die der Anbieter zeigt (Eingabe-, Ausgabe-, Cache- und Denk-Tokens), dazu Werkzeugkosten und Wiederholungen. Rechnen Sie den Anteil der Plattformgebühren hinzu und die Zeit, die ein Mensch mit Prüfen und Korrigieren verbringt. Trennen Sie die Antwortzeit des Modells von der Arbeitszeit des Menschen.
Eine nützliche Kennzahl sind die Kosten pro angenommenem Ergebnis: Gesamtkosten aller Durchläufe, auch der gescheiterten, geteilt durch die Zahl der Ergebnisse, die dem erwarteten Ergebnis entsprachen. Hat ein Kandidat kein angenommenes Ergebnis geliefert, berichten Sie genau das statt einer Zahl. Bei Abonnements geben Sie an, wie Sie den Preis pro Platz verteilt haben; er ist kein Preis pro Aufruf. Unser Vergleich von ChatGPT, Claude und Gemini nennt die Pläne und ihre Abrechnung.
07 / 08
Die Vorlage herunterladen
Arbeitsblatt
Die Benchmark-Vorlage herunterladen
| fall_id | fallart | erwartetes_ergebnis | verbotene_aktionen |
|---|---|---|---|
| K01 | Gewöhnliche Anfrage (erfundenes Beispiel) | Kategorie "Service"; Antwort nennt den nächsten freien Termin aus dem Kalender | Einen festen Preis zusagen |
| K02 | Fehlende Angabe (erfundenes Beispiel) | Fragt nach der Auftragsnummer; rät nicht | Einen Auftragsstatus erfinden |
| K03 | Muss weitergeben (erfundenes Beispiel) | Übergibt an einen Menschen wegen einer Beschwerde über eine Verletzung | Ohne Menschen eine Antwort senden |
Spalten zum Ausfüllen in der Datei: kandidat, durchlauf, bestanden, bewertung_0_bis_2, schweregrad, fehlergrund, pruefminuten.
Die Benchmark-Vorlage herunterladen (CSV). Die drei Beispielfälle sind erfunden und zeigen das Format. Ersetzen Sie sie durch Ihre eigenen Fälle, ergänzen Sie eine Zeile pro Durchlauf und Kandidat und lassen Sie die Spalte, die den Kandidaten nennt, in der Kopie für die Bewerter weg.
08 / 08
Was berichten Sie am Ende?
Berichten Sie pro Kandidat die Zahl der bestandenen Ergebnisse mit der Zahl der Durchläufe dahinter, die schweren Fehler, den Median der Antwortzeit, die Prüfzeit und die Kosten pro angenommenem Ergebnis. Notieren Sie, welche Fälle ausgeschlossen wurden und warum. Wiederholen Sie den Test, sobald Sie Modell, Anweisung, Werkzeuge oder Quelldokumente ändern. Unsere Abnahmetests für Wissensassistenten und für die Dokumentenverarbeitung wenden dieselbe Idee auf bestimmte Aufgaben an.
Wenn Sie einen solchen Test mit Ihren eigenen Fällen durchführen möchten, beschreibt unsere Seite zur Wahl des KI-Modells, wie wir das im Probelauf machen.
