Série Chaterimo CX-LLM Benchmark · Kolo 6
Živé výsledky
Benchmark AI modelů
ChatGPT, Claude, Gemini a Grok odpovídají na stejné skutečné dotazy zákazníků e-shopů. AI porotci hodnotí každou odpověď naslepo, aniž vědí, který model ji napsal.
Klíčová zjištění
- Aktuální lídr: ChatGPT 6.1 Sol s průměrným skóre 75,2 napříč 15 sdílenými otázkami a 165 slepými hodnoceními.
- Nejrychleji odpovídá Gemini 3.5 Flash-Lite, v průměru za 1,5 s.
- Nejlepší model každého poskytovatele: ChatGPT 6.1 Sol (75,2), Gemini 3.8 Flash (65,0), Claude Haiku 5.5 (64,8), Grok 4.7 (62,3).
- Poslední kolo
- Kolo 6
- Datum testu
- Otázky
- 15
- Modely
- 11
- AI porotci
- 1
Obsah
Výsledky posledního kola
Všechny modely kola včetně vyřazených. Zobrazit jen aktuální modely
- OpenAI
- Anthropic
- xAI
| # | Model | Celkové skóre | Prům. odpověď |
|---|---|---|---|
| 1 | ChatGPT 6.1 Sol | 75,2 | 5,3 s |
| 2 | ChatGPT 6 Luna | 66,9 | 4,1 s |
| 3 | Gemini 3.8 Flash | 65,0 | 11,0 s |
| 4 | Claude Haiku 5.5 | 64,8 | 2,6 s |
| 5 | Claude Sonnet 5.5 | 64,4 | 4,3 s |
| 6 | ChatGPT 4.1 minivyřazený | 63,1 | 3,1 s |
| 7 | Claude Opus 5.5 | 62,8 | 7,5 s |
| 8 | Grok 4.7 | 62,3 | 38,8 s |
| 9 | ChatGPT 4.1vyřazený | 54,5 | 3,7 s |
| 10 | Gemini 3.5 Flash-Lite | 52,8 | 1,5 s |
| 11 | Grok 4.1 Fast | 51,0 | 2,4 s |
Skóre 0–100, vyšší je lepší; u doby odezvy je lepší nižší.
Rozpad skóre
Skóre benchmarku podle jednotlivých kritérií ukazující, jak si každý model vede v přesnosti, relevanci, úplnosti, užitečnosti, tónu a stručnosti.
| Model | ||||||
|---|---|---|---|---|---|---|
| ChatGPT 6.1 Sol | 72,0 | 79,7 | 64,7 | 66,7 | 88,3 | 91,7 |
| ChatGPT 6 Luna | 50,7 | 81,3 | 63,3 | 55,7 | 84,7 | 91,3 |
| Gemini 3.8 Flash | 56,0 | 75,3 | 61,3 | 56,3 | 78,3 | 76,0 |
| Claude Haiku 5.5 | 49,3 | 81,3 | 61,3 | 53,0 | 80,0 | 85,7 |
| Claude Sonnet 5.5 | 48,0 | 77,0 | 68,0 | 52,3 | 86,0 | 79,7 |
| ChatGPT 4.1 minivyřazený | 45,3 | 76,0 | 63,0 | 53,0 | 85,0 | 84,3 |
| Claude Opus 5.5 | 39,0 | 77,7 | 73,0 | 55,7 | 87,3 | 75,0 |
| Grok 4.7 | 42,0 | 77,0 | 65,7 | 51,0 | 85,7 | 82,7 |
| ChatGPT 4.1vyřazený | 31,0 | 71,7 | 51,0 | 41,7 | 87,3 | 82,0 |
| Gemini 3.5 Flash-Lite | 40,3 | 58,7 | 49,3 | 41,0 | 80,7 | 73,0 |
| Grok 4.1 Fast | 32,7 | 67,7 | 46,7 | 36,7 | 71,0 | 80,3 |
Historie kol
Každé kolo má jiné otázky i porotce, proto modely porovnávejte jen v rámci jednoho kola.
| Kolo | Datum testu | Otázky | AI porotci | Vítěz |
|---|---|---|---|---|
| Kolo 6 | 15 | 1 | ChatGPT 6.1 Sol 75,2 | |
| Kolo 5 | 44 | 1 | ChatGPT 6 Luna 66,4 | |
| Kolo 4 | 45 | 1 | ChatGPT 5.6 Sol 71,7vyřazený | |
| Kolo 3 | 30 | 2 | ChatGPT 4.1 mini 62,7vyřazený | |
| Kolo 2 | 23 | 2 | ChatGPT 4.1 mini 60,8vyřazený | |
| Kolo 1 | 28 | 4 | ChatGPT 5.4 69,5vyřazený |
Průměr přes všechna kola
Poznámka
Kola se liší otázkami i porotci, takže tento průměr není férové srovnání: model, který byl jen v lehčích kolech, vyjde lépe. Při výběru modelu se řiďte posledním kolem.
| # | Model | Celkové skóre | Kola | Celkem vyhodnocení |
|---|---|---|---|---|
| 1 | ChatGPT 6.1 Sol | 75,2 | 1/6 | 15 |
| 2 | ChatGPT 5.6 Solvyřazený | 71,7 | 1/6 | 45 |
| 3 | ChatGPT 5.6 Lunavyřazený | 69,8 | 1/6 | 45 |
| 4 | ChatGPT 5.6 Terravyřazený | 69,7 | 1/6 | 45 |
| 5 | ChatGPT 6 Luna | 66,6 | 2/6 | 59 |
| 6 | Claude Haiku 5.5 | 64,8 | 1/6 | 15 |
| 7 | Claude Sonnet 5.5 | 64,4 | 1/6 | 15 |
| 8 | Gemini 3.7 Flashvyřazený | 63,6 | 1/6 | 45 |
| 9 | ChatGPT 5.4 minivyřazený | 63,1 | 3/6 | 218 |
| 10 | Grok 4.6vyřazený | 63,0 | 1/6 | 45 |
| 11 | Claude Opus 4.6vyřazený | 63,0 | 1/6 | 84 |
| 12 | Claude Sonnet 4.6vyřazený | 62,5 | 3/6 | 218 |
| 13 | ChatGPT 5.4vyřazený | 62,2 | 3/6 | 137 |
| 14 | ChatGPT 6 Solvyřazený | 61,8 | 1/6 | 44 |
| 15 | ChatGPT 4.1 minivyřazený | 61,4 | 6/6 | 322 |
| 16 | Claude Opus 5vyřazený | 61,2 | 1/6 | 45 |
| 17 | Gemini 3.1 Flash-Litevyřazený | 60,2 | 1/6 | 112 |
| 18 | Grok 4vyřazený | 59,6 | 1/6 | 112 |
| 19 | ChatGPT 4.1vyřazený | 59,3 | 6/6 | 322 |
| 20 | Claude Haiku 4.5vyřazený | 59,1 | 5/6 | 307 |
| 21 | Grok 4.1 Fast | 59,1 | 4/6 | 216 |
| 22 | Gemini 3.8 Flash | 58,2 | 2/6 | 59 |
| 23 | Gemini 3.1 Pro Previewvyřazený | 57,9 | 3/6 | 137 |
| 24 | Claude Sonnet 5vyřazený | 57,7 | 2/6 | 89 |
| 25 | Claude Opus 4.7vyřazený | 56,4 | 3/6 | 131 |
| 26 | ChatGPT 5.5vyřazený | 56,4 | 2/6 | 106 |
| 27 | Grok 4.7 | 56,1 | 2/6 | 59 |
| 28 | Grok 4.20vyřazený | 55,5 | 1/6 | 84 |
| 29 | Grok 4.3vyřazený | 54,8 | 2/6 | 106 |
| 30 | Gemini 3.1 Flash-Litevyřazený | 54,6 | 2/6 | 106 |
| 31 | Claude Opus 5.5 | 54,4 | 2/6 | 59 |
| 32 | Gemini 3 Flashvyřazený | 54,2 | 1/6 | 112 |
| 33 | Gemini 3.5 Flash-Lite | 53,7 | 3/6 | 104 |
| 34 | Gemini 3.5 Flashvyřazený | 47,6 | 2/6 | 106 |
Jak to funguje
- Reálné otázky. Vybrané ze skutečných produkčních konverzací zákaznického servisu v e-commerce.
- Stejný prompt. Všechny modely dostanou identický systémový prompt, znalostní bázi a otázku.
- Slepé hodnocení. Hodnotitelé vidí pouze ‚Odpověď A', ‚Odpověď B' — nevědí, který model ji napsal.
- Křížové hodnocení. Špičkové modely od každého poskytovatele hodnotí odpovědi. Žádný model nehodnotí svou vlastní odpověď.
6. kolo hodnotil jeden AI porotce: Gemini 3.1 Pro Preview.
Kritéria hodnocení
Každá odpověď je hodnocena 0–100 v šesti kritériích s následujícími váhami:
- Přesnost (30 %)
- Jsou fakta o produktech, cenách a obchodních podmínkách správně?
- Relevance (20 %)
- Odpovídá odpověď na to, na co se zákazník ptal?
- Úplnost (15 %)
- Obsahuje vše, co zákazník potřebuje k rozhodnutí?
- Užitečnost (15 %)
- Posouvá zákazníka k nákupu nebo k vyřešení problému?
- Tón (10 %)
- Je přátelská a profesionální?
- Stručnost (10 %)
- Je krátká a přitom nevynechává nic důležitého?
Pro zachování férovosti se veřejné skóre počítá pouze z otázek, na které odpověděly všechny modely zahrnuté ve vybrané srovnávací sadě. To brání tomu, aby novější nebo vyřazené modely těžily z jednoduššího mixu otázek.
Často kladené otázky
Co tento AI benchmark měří?
Tento benchmark měří, jak dobře si přední AI modely vedou v reálných úlohách zákaznického servisu pro online obchody. Zaměřuje se na praktickou kvalitu podpory — přesnost, užitečnost, tón a stručnost — nikoli na kódování, matematiku nebo obecné logické testy.
Který AI model je nejlepší pro zákaznický servis?
Nejlepší model závisí na vašem obchodě, jazykovém mixu, složitosti produktů a požadavcích na rychlost. Tato stránka ukazuje, které modely si aktuálně vedou nejlépe v našem slepém benchmarku, a pomůže vám zúžit výběr kandidátů pro vlastní testování.
ChatGPT vs Claude vs Gemini — který je lepší pro e-commerce podporu?
Každý poskytovatel má své silné stránky. Modely ChatGPT bývají rychlé a široce podporované. Modely Claude často vynikají v nuancovaných odpovědích s bohatým kontextem. Modely Gemini nabízejí silné vícejazyčné schopnosti. Modely Grok poskytují konkurenceschopný výkon s nižší latencí. Podívejte se na žebříček výše pro nejnovější slepé porovnání.
Jak funguje slepé hodnocení?
Každý model dostane identickou otázku, systémový prompt a znalostní bázi. Odpovědi jsou poté anonymně označeny (Odpověď A, Odpověď B atd.) a hodnoceny špičkovými AI porotci od každého poskytovatele — OpenAI, Anthropic, Google a xAI. Žádný model nehodnotí svou vlastní odpověď, čímž se eliminuje zkreslení sebehodnocením.
Mohu tento benchmark použít k výběru AI chatbota pro svůj Shopify nebo e-commerce obchod?
Ano. Otázky pocházejí ze skutečných produkčních konverzací v online obchodech včetně Shopify, Shoptet, WooCommerce a dalších. Použijte žebříček jako výchozí bod a poté otestujte nejlepší modely s vlastním produktovým katalogem a tónem značky, než je nasadíte do provozu.
Jak mám používat tato skóre benchmarku?
Používejte žebříček jako pomůcku při rozhodování, ne jako jediný rozhodující faktor. Začněte s nejlépe hodnocenými modely a poté je otestujte na vlastní znalostní bázi, tónu značky a požadavcích na rychlost odpovědí, než je nasadíte do produkce.
Jak často je tento benchmark aktualizován?
Nové modely přidáváme, jakmile je poskytovatelé vydají, a pravidelně rozšiřujeme sadu otázek o nové reálné scénáře. Když je přidán nový model, je testován na stejných sdílených otázkách jako všechny stávající modely, aby bylo srovnání férové.
