Reihe Chaterimo CX-LLM Benchmark · Runde 6
Live-Ergebnisse
AI-Modell-Benchmark
ChatGPT, Claude, Gemini und Grok beantworten dieselben echten Fragen von Kunden aus Onlineshops. KI-Juroren bewerten jede Antwort blind, ohne zu wissen, welches Modell sie geschrieben hat.
Wichtigste Erkenntnisse
- Aktueller Spitzenreiter: ChatGPT 6.1 Sol mit einer Durchschnittsbewertung von 75,2 über 15 gemeinsame Fragen und 165 Blindbewertungen.
- Am schnellsten antwortet Gemini 3.5 Flash-Lite, im Schnitt in 1,5 s.
- Bestes Modell jedes Anbieters: ChatGPT 6.1 Sol (75,2), Gemini 3.8 Flash (65,0), Claude Haiku 5.5 (64,8), Grok 4.7 (62,3).
- Letzte Runde
- Runde 6
- Getestet am
- Fragen
- 15
- Modelle
- 11
- KI-Juroren
- 1
Inhalt
Ergebnisse der letzten Runde
Nur Modelle, die Sie heute in Chaterimo auswählen können. Eingestellte Modelle einbeziehen
- OpenAI
- Anthropic
- xAI
| # | Modell | Gesamtbewertung | Durchschn. Antwort |
|---|---|---|---|
| 1 | ChatGPT 6.1 Sol | 75,2 | 5,3 s |
| 2 | ChatGPT 6 Luna | 66,9 | 4,1 s |
| 3 | Gemini 3.8 Flash | 65,0 | 11,0 s |
| 4 | Claude Haiku 5.5 | 64,8 | 2,6 s |
| 5 | Claude Sonnet 5.5 | 64,4 | 4,3 s |
| 6 | Claude Opus 5.5 | 62,8 | 7,5 s |
| 7 | Grok 4.7 | 62,3 | 38,8 s |
| 8 | Gemini 3.5 Flash-Lite | 52,8 | 1,5 s |
| 9 | Grok 4.1 Fast | 51,0 | 2,4 s |
Werte 0–100, höher ist besser; bei der Antwortzeit ist niedriger besser.
Bewertungsaufschlüsselung
Benchmark-Bewertungen pro Kriterium, die zeigen, wie jedes Modell bei Genauigkeit, Relevanz, Vollständigkeit, Nützlichkeit, Tonalität und Prägnanz abschneidet.
| Modell | ||||||
|---|---|---|---|---|---|---|
| ChatGPT 6.1 Sol | 72,0 | 79,7 | 64,7 | 66,7 | 88,3 | 91,7 |
| ChatGPT 6 Luna | 50,7 | 81,3 | 63,3 | 55,7 | 84,7 | 91,3 |
| Gemini 3.8 Flash | 56,0 | 75,3 | 61,3 | 56,3 | 78,3 | 76,0 |
| Claude Haiku 5.5 | 49,3 | 81,3 | 61,3 | 53,0 | 80,0 | 85,7 |
| Claude Sonnet 5.5 | 48,0 | 77,0 | 68,0 | 52,3 | 86,0 | 79,7 |
| Claude Opus 5.5 | 39,0 | 77,7 | 73,0 | 55,7 | 87,3 | 75,0 |
| Grok 4.7 | 42,0 | 77,0 | 65,7 | 51,0 | 85,7 | 82,7 |
| Gemini 3.5 Flash-Lite | 40,3 | 58,7 | 49,3 | 41,0 | 80,7 | 73,0 |
| Grok 4.1 Fast | 32,7 | 67,7 | 46,7 | 36,7 | 71,0 | 80,3 |
Verlauf der Runden
Jede Runde hat andere Fragen und Juroren. Vergleichen Sie Modelle deshalb nur innerhalb einer Runde.
| Runde | Getestet am | Fragen | KI-Juroren | Sieger |
|---|---|---|---|---|
| Runde 6 | 15 | 1 | ChatGPT 6.1 Sol 75,2 | |
| Runde 5 | 44 | 1 | ChatGPT 6 Luna 66,4 | |
| Runde 4 | 45 | 1 | ChatGPT 5.6 Sol 71,7eingestellt | |
| Runde 3 | 30 | 2 | ChatGPT 4.1 mini 62,7eingestellt | |
| Runde 2 | 23 | 2 | ChatGPT 4.1 mini 60,8eingestellt | |
| Runde 1 | 28 | 4 | ChatGPT 5.4 69,5eingestellt |
So funktioniert es
- Echte Fragen. Ausgewählt aus realen Kundenservice-Gesprächen im E-Commerce-Produktivbetrieb.
- Gleicher Prompt. Alle Modelle erhalten denselben System-Prompt, dieselbe Wissensbasis und dieselbe Frage.
- Blindbewertung. Die Bewerter sehen nur ‚Antwort A', ‚Antwort B' — sie wissen nicht, welches Modell die Antwort verfasst hat.
- Kreuzbewertung. Spitzenmodelle jedes Anbieters bewerten die Antworten. Kein Modell bewertet seine eigene Antwort.
Runde 6 wurde von einem KI-Juror bewertet: Gemini 3.1 Pro Preview.
Bewertungskriterien
Jede Antwort wird auf einer Skala von 0–100 nach sechs Kriterien mit folgender Gewichtung bewertet:
- Genauigkeit (30 %)
- Stimmen die Fakten über Produkte, Preise und Regeln?
- Relevanz (20 %)
- Geht die Antwort auf das ein, was der Kunde gefragt hat?
- Vollständigkeit (15 %)
- Enthält sie alles, was der Kunde für seine Entscheidung braucht?
- Nützlichkeit (15 %)
- Bringt sie den Kunden einem Kauf oder einer Lösung näher?
- Tonalität (10 %)
- Ist sie freundlich und professionell?
- Prägnanz (10 %)
- Ist sie kurz, ohne etwas Wichtiges auszulassen?
Um den Vergleich fair zu halten, werden die öffentlichen Bewertungen nur aus Fragen berechnet, die von jedem Modell im ausgewählten Vergleichsset beantwortet wurden. So wird verhindert, dass neuere oder eingestellte Modelle von einem einfacheren Fragenmix profitieren.
Häufig gestellte Fragen
Was misst dieser AI-Benchmark?
Dieser Benchmark misst, wie gut führende AI-Modelle reale Kundenservice-Aufgaben für Online-Shops bewältigen. Der Fokus liegt auf praktischer Support-Qualität — Genauigkeit, Nützlichkeit, Tonalität und Prägnanz — statt auf Programmier-, Mathematik- oder allgemeinen Logiktests.
Welches AI-Modell ist am besten für den Kundenservice?
Das beste Modell hängt von Ihrem Shop, Sprachmix, Produktkomplexität und Geschwindigkeitsanforderungen ab. Diese Seite zeigt, welche Modelle derzeit in unserem Blind-Benchmark am besten abschneiden, und hilft Ihnen, Kandidaten für Ihre eigenen Live-Tests auszuwählen.
ChatGPT vs. Claude vs. Gemini — welches ist besser für E-Commerce-Support?
Jeder Anbieter hat Stärken. ChatGPT-Modelle sind tendenziell schnell und weit verbreitet. Claude-Modelle zeichnen sich oft durch nuancierte, kontextreiche Antworten aus. Gemini-Modelle bieten starke mehrsprachige Fähigkeiten. Grok-Modelle liefern wettbewerbsfähige Leistung bei niedrigerer Latenz. Prüfen Sie die Rangliste oben für den aktuellen Blindvergleich.
Wie funktioniert die Blindbewertung?
Jedes Modell erhält die identische Frage, denselben System-Prompt und dieselbe Wissensbasis. Die Antworten werden dann anonym gekennzeichnet (Antwort A, Antwort B usw.) und von Spitzen-AI-Juroren jedes Anbieters bewertet — OpenAI, Anthropic, Google und xAI. Kein Modell bewertet seine eigene Antwort, wodurch Selbstbewertungs-Verzerrungen eliminiert werden.
Kann ich diesen Benchmark nutzen, um einen AI-Chatbot für meinen Shopify- oder E-Commerce-Shop auszuwählen?
Ja. Die Fragen stammen aus realen Produktivgesprächen in Online-Shops, darunter Shopify, Shoptet, WooCommerce und andere. Nutzen Sie die Rangliste als Ausgangspunkt und testen Sie dann die besten Modelle mit Ihrem eigenen Produktkatalog und Markenton, bevor Sie live gehen.
Wie sollte ich diese Benchmark-Bewertungen nutzen?
Nutzen Sie die Rangliste als Entscheidungshilfe, nicht als einzigen Entscheidungsfaktor. Beginnen Sie mit den bestplatzierten Modellen und testen Sie diese dann mit Ihrer eigenen Wissensbasis, Ihrem Markenton und Ihren Anforderungen an die Antwortgeschwindigkeit, bevor Sie sie in der Produktion einsetzen.
Wie oft wird dieser Benchmark aktualisiert?
Wir fügen neue Modelle hinzu, sobald Anbieter sie veröffentlichen, und erweitern regelmäßig den Fragensatz mit neuen Praxisszenarien. Wenn ein neues Modell hinzugefügt wird, wird es mit denselben gemeinsamen Fragen wie alle bestehenden Modelle getestet, um den Vergleich fair zu halten.
