Série Chaterimo CX-LLM Benchmark · Kolo 6
Živé výsledky
Benchmark AI modelů
ChatGPT, Claude, Gemini a Grok odpovídají na stejné skutečné dotazy zákazníků e-shopů. AI porotci hodnotí každou odpověď naslepo, aniž vědí, který model ji napsal.
Klíčová zjištění
- Aktuální lídr: ChatGPT 6.1 Sol s průměrným skóre 75,2 napříč 15 sdílenými otázkami a 165 slepými hodnoceními.
- Nejrychleji odpovídá Gemini 3.5 Flash-Lite, v průměru za 1,5 s.
- Nejlepší model každého poskytovatele: ChatGPT 6.1 Sol (75,2), Gemini 3.8 Flash (65,0), Claude Haiku 5.5 (64,8), Grok 4.7 (62,3).
- Poslední kolo
- Kolo 6
- Datum testu
- Otázky
- 15
- Modely
- 11
- AI porotci
- 1
Výsledky posledního kola
Jen modely, které si v Chaterimu můžete vybrat dnes. Zahrnout vyřazené modely
- OpenAI
- Anthropic
- xAI
| # | Model | Celkové skóre | Prům. odpověď |
|---|---|---|---|
| 1 | ChatGPT 6.1 Sol | 75,2 | 5,3 s |
| 2 | ChatGPT 6 Luna | 66,9 | 4,1 s |
| 3 | Gemini 3.8 Flash | 65,0 | 11,0 s |
| 4 | Claude Haiku 5.5 | 64,8 | 2,6 s |
| 5 | Claude Sonnet 5.5 | 64,4 | 4,3 s |
| 6 | Claude Opus 5.5 | 62,8 | 7,5 s |
| 7 | Grok 4.7 | 62,3 | 38,8 s |
| 8 | Gemini 3.5 Flash-Lite | 52,8 | 1,5 s |
| 9 | Grok 4.1 Fast | 51,0 | 2,4 s |
Skóre 0–100, vyšší je lepší; u doby odezvy je lepší nižší.
Rozpad skóre
Skóre benchmarku podle jednotlivých kritérií ukazující, jak si každý model vede v přesnosti, relevanci, úplnosti, užitečnosti, tónu a stručnosti.
| Model | ||||||
|---|---|---|---|---|---|---|
| ChatGPT 6.1 Sol | 72,0 | 79,7 | 64,7 | 66,7 | 88,3 | 91,7 |
| ChatGPT 6 Luna | 50,7 | 81,3 | 63,3 | 55,7 | 84,7 | 91,3 |
| Gemini 3.8 Flash | 56,0 | 75,3 | 61,3 | 56,3 | 78,3 | 76,0 |
| Claude Haiku 5.5 | 49,3 | 81,3 | 61,3 | 53,0 | 80,0 | 85,7 |
| Claude Sonnet 5.5 | 48,0 | 77,0 | 68,0 | 52,3 | 86,0 | 79,7 |
| Claude Opus 5.5 | 39,0 | 77,7 | 73,0 | 55,7 | 87,3 | 75,0 |
| Grok 4.7 | 42,0 | 77,0 | 65,7 | 51,0 | 85,7 | 82,7 |
| Gemini 3.5 Flash-Lite | 40,3 | 58,7 | 49,3 | 41,0 | 80,7 | 73,0 |
| Grok 4.1 Fast | 32,7 | 67,7 | 46,7 | 36,7 | 71,0 | 80,3 |
Historie kol
Každé kolo má jiné otázky i porotce, proto modely porovnávejte jen v rámci jednoho kola.
| Kolo | Datum testu | Otázky | AI porotci | Vítěz |
|---|---|---|---|---|
| Kolo 6 | 15 | 1 | ChatGPT 6.1 Sol 75,2 | |
| Kolo 5 | 44 | 1 | ChatGPT 6 Luna 66,4 | |
| Kolo 4 | 45 | 1 | ChatGPT 5.6 Sol 71,7vyřazený | |
| Kolo 3 | 30 | 2 | ChatGPT 4.1 mini 62,7vyřazený | |
| Kolo 2 | 23 | 2 | ChatGPT 4.1 mini 60,8vyřazený | |
| Kolo 1 | 28 | 4 | ChatGPT 5.4 69,5vyřazený |
Jak to funguje
- Reálné otázky. Vybrané ze skutečných produkčních konverzací zákaznického servisu v e-commerce.
- Stejný prompt. Všechny modely dostanou identický systémový prompt, znalostní bázi a otázku.
- Slepé hodnocení. Hodnotitelé vidí pouze ‚Odpověď A', ‚Odpověď B' — nevědí, který model ji napsal.
- Křížové hodnocení. Špičkové modely od každého poskytovatele hodnotí odpovědi. Žádný model nehodnotí svou vlastní odpověď.
6. kolo hodnotil jeden AI porotce: Gemini 3.1 Pro Preview.
Kritéria hodnocení
Každá odpověď je hodnocena 0–100 v šesti kritériích s následujícími váhami:
- Přesnost (30 %)
- Jsou fakta o produktech, cenách a obchodních podmínkách správně?
- Relevance (20 %)
- Odpovídá odpověď na to, na co se zákazník ptal?
- Úplnost (15 %)
- Obsahuje vše, co zákazník potřebuje k rozhodnutí?
- Užitečnost (15 %)
- Posouvá zákazníka k nákupu nebo k vyřešení problému?
- Tón (10 %)
- Je přátelská a profesionální?
- Stručnost (10 %)
- Je krátká a přitom nevynechává nic důležitého?
Pro zachování férovosti se veřejné skóre počítá pouze z otázek, na které odpověděly všechny modely zahrnuté ve vybrané srovnávací sadě. To brání tomu, aby novější nebo vyřazené modely těžily z jednoduššího mixu otázek.
Často kladené otázky
Co tento AI benchmark měří?
Tento benchmark měří, jak dobře si přední AI modely vedou v reálných úlohách zákaznického servisu pro online obchody. Zaměřuje se na praktickou kvalitu podpory — přesnost, užitečnost, tón a stručnost — nikoli na kódování, matematiku nebo obecné logické testy.
Který AI model je nejlepší pro zákaznický servis?
Nejlepší model závisí na vašem obchodě, jazykovém mixu, složitosti produktů a požadavcích na rychlost. Tato stránka ukazuje, které modely si aktuálně vedou nejlépe v našem slepém benchmarku, a pomůže vám zúžit výběr kandidátů pro vlastní testování.
ChatGPT vs Claude vs Gemini — který je lepší pro e-commerce podporu?
Každý poskytovatel má své silné stránky. Modely ChatGPT bývají rychlé a široce podporované. Modely Claude často vynikají v nuancovaných odpovědích s bohatým kontextem. Modely Gemini nabízejí silné vícejazyčné schopnosti. Modely Grok poskytují konkurenceschopný výkon s nižší latencí. Podívejte se na žebříček výše pro nejnovější slepé porovnání.
Jak funguje slepé hodnocení?
Každý model dostane identickou otázku, systémový prompt a znalostní bázi. Odpovědi jsou poté anonymně označeny (Odpověď A, Odpověď B atd.) a hodnoceny špičkovými AI porotci od každého poskytovatele — OpenAI, Anthropic, Google a xAI. Žádný model nehodnotí svou vlastní odpověď, čímž se eliminuje zkreslení sebehodnocením.
Mohu tento benchmark použít k výběru AI chatbota pro svůj Shopify nebo e-commerce obchod?
Ano. Otázky pocházejí ze skutečných produkčních konverzací v online obchodech včetně Shopify, Shoptet, WooCommerce a dalších. Použijte žebříček jako výchozí bod a poté otestujte nejlepší modely s vlastním produktovým katalogem a tónem značky, než je nasadíte do provozu.
Jak mám používat tato skóre benchmarku?
Používejte žebříček jako pomůcku při rozhodování, ne jako jediný rozhodující faktor. Začněte s nejlépe hodnocenými modely a poté je otestujte na vlastní znalostní bázi, tónu značky a požadavcích na rychlost odpovědí, než je nasadíte do produkce.
Jak často je tento benchmark aktualizován?
Nové modely přidáváme, jakmile je poskytovatelé vydají, a pravidelně rozšiřujeme sadu otázek o nové reálné scénáře. Když je přidán nový model, je testován na stejných sdílených otázkách jako všechny stávající modely, aby bylo srovnání férové.
