Séria Chaterimo CX-LLM Benchmark · Kolo 6
Živé výsledky
Benchmark AI modelov
ChatGPT, Claude, Gemini a Grok odpovedajú na rovnaké skutočné otázky zákazníkov e-shopov. AI porotcovia hodnotia každú odpoveď naslepo a nevedia, ktorý model ju napísal.
Kľúčové zistenia
- Aktuálny líder: ChatGPT 6.1 Sol s priemerným skóre 75,2 z 15 spoločných otázok a 165 slepých hodnotení.
- Najrýchlejšie odpovedá Gemini 3.5 Flash-Lite, v priemere za 1,5 s.
- Najlepší model každého poskytovateľa: ChatGPT 6.1 Sol (75,2), Gemini 3.8 Flash (65,0), Claude Haiku 5.5 (64,8), Grok 4.7 (62,3).
- Posledné kolo
- Kolo 6
- Dátum testu
- Otázky
- 15
- Modely
- 11
- AI porotcovia
- 1
Výsledky posledného kola
Len modely, ktoré si dnes môžete vybrať v aplikácii Chaterimo. Zahrnúť vyradené modely
- OpenAI
- Anthropic
- xAI
| # | Model | Celkové skóre | Priem. odpoveď |
|---|---|---|---|
| 1 | ChatGPT 6.1 Sol | 75,2 | 5,3 s |
| 2 | ChatGPT 6 Luna | 66,9 | 4,1 s |
| 3 | Gemini 3.8 Flash | 65,0 | 11,0 s |
| 4 | Claude Haiku 5.5 | 64,8 | 2,6 s |
| 5 | Claude Sonnet 5.5 | 64,4 | 4,3 s |
| 6 | Claude Opus 5.5 | 62,8 | 7,5 s |
| 7 | Grok 4.7 | 62,3 | 38,8 s |
| 8 | Gemini 3.5 Flash-Lite | 52,8 | 1,5 s |
| 9 | Grok 4.1 Fast | 51,0 | 2,4 s |
Skóre 0–100, vyššie je lepšie; pri čase odpovede je lepší nižší.
Rozpis skóre
Skóre benchmarku podľa kritérií zobrazujúce, ako si každý model vedie v presnosti, relevancii, úplnosti, užitočnosti, tóne a stručnosti.
| Model | ||||||
|---|---|---|---|---|---|---|
| ChatGPT 6.1 Sol | 72,0 | 79,7 | 64,7 | 66,7 | 88,3 | 91,7 |
| ChatGPT 6 Luna | 50,7 | 81,3 | 63,3 | 55,7 | 84,7 | 91,3 |
| Gemini 3.8 Flash | 56,0 | 75,3 | 61,3 | 56,3 | 78,3 | 76,0 |
| Claude Haiku 5.5 | 49,3 | 81,3 | 61,3 | 53,0 | 80,0 | 85,7 |
| Claude Sonnet 5.5 | 48,0 | 77,0 | 68,0 | 52,3 | 86,0 | 79,7 |
| Claude Opus 5.5 | 39,0 | 77,7 | 73,0 | 55,7 | 87,3 | 75,0 |
| Grok 4.7 | 42,0 | 77,0 | 65,7 | 51,0 | 85,7 | 82,7 |
| Gemini 3.5 Flash-Lite | 40,3 | 58,7 | 49,3 | 41,0 | 80,7 | 73,0 |
| Grok 4.1 Fast | 32,7 | 67,7 | 46,7 | 36,7 | 71,0 | 80,3 |
História kôl
Každé kolo má iné otázky aj porotcov, preto modely porovnávajte len v rámci jedného kola.
| Kolo | Dátum testu | Otázky | AI porotcovia | Víťaz |
|---|---|---|---|---|
| Kolo 6 | 15 | 1 | ChatGPT 6.1 Sol 75,2 | |
| Kolo 5 | 44 | 1 | ChatGPT 6 Luna 66,4 | |
| Kolo 4 | 45 | 1 | ChatGPT 5.6 Sol 71,7vyradený | |
| Kolo 3 | 30 | 2 | ChatGPT 4.1 mini 62,7vyradený | |
| Kolo 2 | 23 | 2 | ChatGPT 4.1 mini 60,8vyradený | |
| Kolo 1 | 28 | 4 | ChatGPT 5.4 69,5vyradený |
Ako to funguje
- Reálne otázky. Vybrané zo skutočných konverzácií zákazníckej podpory v e-commerce.
- Rovnaký prompt. Všetky modely dostanú rovnaký systémový prompt, znalostnú bázu a otázku.
- Slepé hodnotenie. Hodnotitelia vidia iba ‚Odpoveď A', ‚Odpoveď B' — nevedia, ktorý model ju napísal.
- Krížové hodnotenie. Špičkové modely od každého poskytovateľa hodnotia odpovede. Žiadny model nehodnotí svoju vlastnú odpoveď.
6. kolo hodnotil jeden AI porotca: Gemini 3.1 Pro Preview.
Kritériá hodnotenia
Každá odpoveď je hodnotená 0 – 100 podľa šiestich kritérií s nasledujúcimi váhami:
- Presnosť (30 %)
- Sú fakty o produktoch, cenách a pravidlách správne?
- Relevancia (20 %)
- Odpovedá odpoveď na to, na čo sa zákazník pýtal?
- Úplnosť (15 %)
- Obsahuje všetko, čo zákazník potrebuje na rozhodnutie?
- Užitočnosť (15 %)
- Posúva zákazníka k nákupu alebo k riešeniu?
- Tón (10 %)
- Je priateľská a profesionálna?
- Stručnosť (10 %)
- Je krátka a nevynecháva nič dôležité?
Aby bolo porovnanie spravodlivé, verejné skóre sa počíta iba z otázok zodpovedaných každým modelom zahrnutým vo vybranej porovnávacej sade. To zabraňuje novším alebo vyradeným modelom ťažiť z jednoduchšej zostavy otázok.
Často kladené otázky
Čo tento AI benchmark meria?
Tento benchmark meria, ako dobre popredné AI modely zvládajú reálne úlohy zákazníckej podpory pre internetové obchody. Zameriava sa na praktickú kvalitu podpory — presnosť, užitočnosť, tón a stručnosť — nie na programovanie, matematiku alebo všeobecné testy logického myslenia.
Ktorý AI model je najlepší pre zákaznícku podporu?
Najlepší model závisí od vášho obchodu, jazykového mixu, zložitosti produktov a požiadaviek na rýchlosť. Táto stránka ukazuje, ktoré modely momentálne dosahujú najlepšie výsledky v našom slepom benchmarku, čo vám pomôže vybrať kandidátov na vlastné živé testovanie.
ChatGPT vs Claude vs Gemini — ktorý je lepší pre e-commerce podporu?
Každý poskytovateľ má svoje silné stránky. Modely ChatGPT bývajú rýchle a široko podporované. Modely Claude často vynikajú v nuancovaných odpovediach bohatých na kontext. Modely Gemini ponúkajú silné viacjazyčné schopnosti. Modely Grok poskytujú konkurencieschopný výkon pri nižšej latencii. Pozrite si rebríček vyššie pre najnovšie slepé porovnanie.
Ako funguje slepé hodnotenie?
Každý model dostane rovnakú otázku, systémový prompt a znalostnú bázu. Ich odpovede sú potom anonymne označené (Odpoveď A, Odpoveď B atď.) a hodnotené špičkovými AI porotcami od každého poskytovateľa — OpenAI, Anthropic, Google a xAI. Žiadny model nehodnotí svoju vlastnú odpoveď, čím sa eliminuje skreslenie sebahodnotením.
Môžem tento benchmark použiť na výber AI chatbota pre môj Shopify alebo e-commerce obchod?
Áno. Otázky pochádzajú zo skutočných produkčných konverzácií v internetových obchodoch vrátane Shopify, Shoptet, WooCommerce a ďalších. Použite rebríček ako východiskový bod, potom otestujte najlepšie modely s vlastným katalógom produktov a tónom značky pred nasadením do prevádzky.
Ako by som mal používať tieto skóre benchmarku?
Používajte rebríček ako pomôcku pri rozhodovaní, nie ako jediný rozhodujúci faktor. Začnite s najlepšie hodnotenými modelmi, potom ich otestujte na vlastnej znalostnej báze, tóne značky a požiadavkách na rýchlosť odpovedí pred nasadením do produkcie.
Ako často sa tento benchmark aktualizuje?
Nové modely pridávame, keď ich poskytovatelia vydajú, a pravidelne rozširujeme sadu otázok o nové reálne scenáre. Keď je pridaný nový model, je testovaný na rovnakých spoločných otázkach ako všetky existujúce modely, aby bolo porovnanie spravodlivé.
