Seria Chaterimo CX-LLM Benchmark · Runda 6
Rezultate în timp real
Evaluarea comparativă a modelelor AI
ChatGPT, Claude, Gemini și Grok răspund la aceleași întrebări reale ale clienților magazinelor online. Evaluatori AI notează fiecare răspuns orbește, fără să știe ce model l-a scris.
Concluzii cheie
- Liderul actual: ChatGPT 6.1 Sol, cu un scor mediu de 75,2 pentru 15 întrebări comune și 165 evaluări anonimizate.
- Cele mai rapide răspunsuri le dă Gemini 3.5 Flash-Lite: 1,5 s în medie.
- Cel mai bun model al fiecărui furnizor: ChatGPT 6.1 Sol (75,2), Gemini 3.8 Flash (65,0), Claude Haiku 5.5 (64,8), Grok 4.7 (62,3).
- Ultima rundă
- Runda 6
- Data testului
- Întrebări
- 15
- Modele
- 11
- Evaluatori AI
- 1
Cuprins
Rezultatele ultimei runde
Doar modelele pe care le puteți alege astăzi în Chaterimo. Includeți modelele retrase
- OpenAI
- Anthropic
- xAI
| # | Model | Scor general | Timp mediu de răspuns |
|---|---|---|---|
| 1 | ChatGPT 6.1 Sol | 75,2 | 5,3 s |
| 2 | ChatGPT 6 Luna | 66,9 | 4,1 s |
| 3 | Gemini 3.8 Flash | 65,0 | 11,0 s |
| 4 | Claude Haiku 5.5 | 64,8 | 2,6 s |
| 5 | Claude Sonnet 5.5 | 64,4 | 4,3 s |
| 6 | Claude Opus 5.5 | 62,8 | 7,5 s |
| 7 | Grok 4.7 | 62,3 | 38,8 s |
| 8 | Gemini 3.5 Flash-Lite | 52,8 | 1,5 s |
| 9 | Grok 4.1 Fast | 51,0 | 2,4 s |
Scoruri 0–100, mai mare înseamnă mai bine; la timpul de răspuns, mai mic înseamnă mai bine.
Detalierea scorului
Scorurile pe criterii arată performanța fiecărui model în privința exactității, relevanței, caracterului complet, utilității, tonului și conciziei.
| Model | ||||||
|---|---|---|---|---|---|---|
| ChatGPT 6.1 Sol | 72,0 | 79,7 | 64,7 | 66,7 | 88,3 | 91,7 |
| ChatGPT 6 Luna | 50,7 | 81,3 | 63,3 | 55,7 | 84,7 | 91,3 |
| Gemini 3.8 Flash | 56,0 | 75,3 | 61,3 | 56,3 | 78,3 | 76,0 |
| Claude Haiku 5.5 | 49,3 | 81,3 | 61,3 | 53,0 | 80,0 | 85,7 |
| Claude Sonnet 5.5 | 48,0 | 77,0 | 68,0 | 52,3 | 86,0 | 79,7 |
| Claude Opus 5.5 | 39,0 | 77,7 | 73,0 | 55,7 | 87,3 | 75,0 |
| Grok 4.7 | 42,0 | 77,0 | 65,7 | 51,0 | 85,7 | 82,7 |
| Gemini 3.5 Flash-Lite | 40,3 | 58,7 | 49,3 | 41,0 | 80,7 | 73,0 |
| Grok 4.1 Fast | 32,7 | 67,7 | 46,7 | 36,7 | 71,0 | 80,3 |
Istoricul rundelor
Fiecare rundă are alte întrebări și alți evaluatori, așa că comparați modelele doar în cadrul aceleiași runde.
| Runda | Data testului | Întrebări | Evaluatori AI | Câștigător |
|---|---|---|---|---|
| Runda 6 | 15 | 1 | ChatGPT 6.1 Sol 75,2 | |
| Runda 5 | 44 | 1 | ChatGPT 6 Luna 66,4 | |
| Runda 4 | 45 | 1 | ChatGPT 5.6 Sol 71,7retras | |
| Runda 3 | 30 | 2 | ChatGPT 4.1 mini 62,7retras | |
| Runda 2 | 23 | 2 | ChatGPT 4.1 mini 60,8retras | |
| Runda 1 | 28 | 4 | ChatGPT 5.4 69,5retras |
Cum funcționează
- Întrebări reale. Selectate din conversații reale de asistență pentru clienți din magazine online.
- Aceleași instrucțiuni. Toate modelele primesc aceleași instrucțiuni de sistem, aceeași bază de cunoștințe și aceeași întrebare.
- Evaluare anonimizată. Evaluatorii văd doar «Răspunsul A», «Răspunsul B» — nu știu ce model le-a redactat.
- Evaluare încrucișată. Modele de vârf de la fiecare furnizor evaluează răspunsurile. Niciun model nu își evaluează propriul răspuns.
Runda 6 a fost evaluată de un evaluator AI: Gemini 3.1 Pro Preview.
Criterii de punctare
Fiecare răspuns primește un scor între 0 și 100 pentru șase criterii, cu următoarele ponderi:
- Acuratețe (30%)
- Sunt corecte faptele despre produse, prețuri și politici?
- Relevanță (20%)
- Răspunde la ce a întrebat clientul?
- Completitudine (15%)
- Conține tot ce îi trebuie clientului ca să decidă?
- Utilitate (15%)
- Îl apropie pe client de o achiziție sau de o soluție?
- Ton (10%)
- Este prietenos și profesionist?
- Concizie (10%)
- Este scurt, fără să omită ceva important?
Pentru o comparație echitabilă, scorurile publice se calculează doar pentru întrebările la care au răspuns toate modelele din grupul de comparație selectat. Astfel, modelele noi sau retrase nu sunt avantajate de un set de întrebări mai ușor.
Întrebări frecvente
Ce măsoară această evaluare AI?
Această evaluare măsoară cât de bine rezolvă modelele AI de vârf sarcini reale de asistență pentru clienții magazinelor online. Se concentrează pe calitatea practică a asistenței — exactitate, utilitate, ton și concizie — și nu pe teste de programare, matematică sau raționament general.
Care este cel mai bun model AI pentru asistență clienți?
Cel mai potrivit model depinde de magazin, limbile folosite, complexitatea produselor și cerințele de viteză. Această pagină arată ce modele obțin în prezent cele mai bune rezultate în evaluarea noastră anonimizată și vă ajută să alegeți candidați pentru propriile teste în condiții reale.
ChatGPT, Claude sau Gemini — care este mai bun pentru asistența unui magazin online?
Fiecare furnizor are puncte forte. Modelele ChatGPT sunt de obicei rapide și beneficiază de compatibilitate extinsă. Modelele Claude se remarcă adesea prin răspunsuri nuanțate, bazate pe mult context. Modelele Gemini oferă capacități multilingve puternice. Modelele Grok oferă performanțe competitive cu latență redusă. Consultați clasamentul de mai sus pentru cea mai recentă comparație anonimizată.
Cum funcționează evaluarea anonimizată?
Fiecare model primește aceeași întrebare, aceleași instrucțiuni de sistem și aceeași bază de cunoștințe. Răspunsurile sunt etichetate anonim (Răspunsul A, Răspunsul B etc.) și punctate de modele AI de vârf de la fiecare furnizor — OpenAI, Anthropic, Google și xAI. Niciun model nu își evaluează propriul răspuns, ceea ce elimină părtinirea autoevaluării.
Pot folosi această evaluare pentru a alege un chatbot AI pentru magazinul meu Shopify sau alt magazin online?
Da. Întrebările provin din conversații reale din magazine online, inclusiv Shopify, Shoptet, WooCommerce și altele. Folosiți clasamentul ca punct de plecare, apoi testați modelele de vârf cu propriul catalog de produse și cu tonul mărcii înainte de lansare.
Cum ar trebui să folosesc aceste scoruri?
Folosiți clasamentul ca sprijin în luarea deciziei, nu ca singurul criteriu. Începeți cu modelele cel mai bine clasate, apoi testați-le cu propria bază de cunoștințe, tonul mărcii și cerințele de viteză a răspunsului înainte de a le folosi în producție.
Cât de des se actualizează această evaluare?
Adăugăm modele noi pe măsură ce furnizorii le lansează și extindem periodic setul de întrebări cu scenarii reale noi. Fiecare model nou este testat pe aceleași întrebări comune ca modelele existente, pentru o comparație echitabilă.
