Serie Chaterimo CX-LLM Benchmark · Round 6
Risultati in tempo reale
Benchmark dei modelli AI
ChatGPT, Claude, Gemini e Grok rispondono alle stesse domande reali dei clienti di negozi online. Giudici IA valutano ogni risposta alla cieca, senza sapere quale modello l’ha scritta.
Risultati chiave
- Leader attuale: ChatGPT 6.1 Sol con un punteggio medio di 75,2 su 15 domande condivise e 165 valutazioni cieche.
- Le risposte più rapide sono di Gemini 3.5 Flash-Lite: 1,5 s in media.
- Miglior modello di ogni provider: ChatGPT 6.1 Sol (75,2), Gemini 3.8 Flash (65,0), Claude Haiku 5.5 (64,8), Grok 4.7 (62,3).
- Ultimo round
- Round 6
- Data del test
- Domande
- 15
- Modelli
- 11
- Giudici IA
- 1
Indice
Risultati dell’ultimo round
Solo i modelli che puoi scegliere oggi in Chaterimo. Includi modelli ritirati
- OpenAI
- Anthropic
- xAI
| # | Modello | Punteggio complessivo | Risposta media |
|---|---|---|---|
| 1 | ChatGPT 6.1 Sol | 75,2 | 5,3 s |
| 2 | ChatGPT 6 Luna | 66,9 | 4,1 s |
| 3 | Gemini 3.8 Flash | 65,0 | 11,0 s |
| 4 | Claude Haiku 5.5 | 64,8 | 2,6 s |
| 5 | Claude Sonnet 5.5 | 64,4 | 4,3 s |
| 6 | Claude Opus 5.5 | 62,8 | 7,5 s |
| 7 | Grok 4.7 | 62,3 | 38,8 s |
| 8 | Gemini 3.5 Flash-Lite | 52,8 | 1,5 s |
| 9 | Grok 4.1 Fast | 51,0 | 2,4 s |
Punteggi 0–100, più alto è meglio; per il tempo di risposta, più basso è meglio.
Dettaglio punteggio
Punteggi del benchmark per criterio che mostrano le prestazioni di ogni modello su accuratezza, rilevanza, completezza, utilità, tono e concisione.
| Modello | ||||||
|---|---|---|---|---|---|---|
| ChatGPT 6.1 Sol | 72,0 | 79,7 | 64,7 | 66,7 | 88,3 | 91,7 |
| ChatGPT 6 Luna | 50,7 | 81,3 | 63,3 | 55,7 | 84,7 | 91,3 |
| Gemini 3.8 Flash | 56,0 | 75,3 | 61,3 | 56,3 | 78,3 | 76,0 |
| Claude Haiku 5.5 | 49,3 | 81,3 | 61,3 | 53,0 | 80,0 | 85,7 |
| Claude Sonnet 5.5 | 48,0 | 77,0 | 68,0 | 52,3 | 86,0 | 79,7 |
| Claude Opus 5.5 | 39,0 | 77,7 | 73,0 | 55,7 | 87,3 | 75,0 |
| Grok 4.7 | 42,0 | 77,0 | 65,7 | 51,0 | 85,7 | 82,7 |
| Gemini 3.5 Flash-Lite | 40,3 | 58,7 | 49,3 | 41,0 | 80,7 | 73,0 |
| Grok 4.1 Fast | 32,7 | 67,7 | 46,7 | 36,7 | 71,0 | 80,3 |
Cronologia dei round
Ogni round usa domande e giudici diversi, quindi confronta i modelli solo all’interno dello stesso round.
| Round | Data del test | Domande | Giudici IA | Vincitore |
|---|---|---|---|---|
| Round 6 | 15 | 1 | ChatGPT 6.1 Sol 75,2 | |
| Round 5 | 44 | 1 | ChatGPT 6 Luna 66,4 | |
| Round 4 | 45 | 1 | ChatGPT 5.6 Sol 71,7ritirato | |
| Round 3 | 30 | 2 | ChatGPT 4.1 mini 62,7ritirato | |
| Round 2 | 23 | 2 | ChatGPT 4.1 mini 60,8ritirato | |
| Round 1 | 28 | 4 | ChatGPT 5.4 69,5ritirato |
Come funziona
- Domande reali. Selezionate da conversazioni reali di assistenza clienti e-commerce in produzione.
- Stesso prompt. Tutti i modelli ricevono lo stesso prompt di sistema, la stessa base di conoscenza e la stessa domanda.
- Valutazione cieca. I valutatori vedono solo 'Risposta A', 'Risposta B' — non sanno quale modello l'ha scritta.
- Valutazione incrociata. I modelli di punta di ogni provider valutano le risposte. Nessun modello giudica la propria risposta.
Il round 6 è stato valutato da un giudice IA: Gemini 3.1 Pro Preview.
Criteri di punteggio
Ogni risposta riceve un punteggio da 0 a 100 su sei criteri con i seguenti pesi:
- Accuratezza (30%)
- I fatti su prodotti, prezzi e condizioni sono corretti?
- Rilevanza (20%)
- La risposta riguarda ciò che il cliente ha chiesto?
- Completezza (15%)
- Contiene tutto ciò che serve al cliente per decidere?
- Utilità (15%)
- Porta il cliente verso un acquisto o una soluzione?
- Tono (10%)
- È cordiale e professionale?
- Concisione (10%)
- È breve senza tralasciare nulla di importante?
Per mantenere il confronto equo, i punteggi pubblici vengono calcolati solo dalle domande a cui hanno risposto tutti i modelli inclusi nel set di confronto selezionato. Questo impedisce ai modelli più recenti o ritirati di beneficiare di un mix di domande più semplice.
Domande frequenti
Cosa misura questo benchmark AI?
Questo benchmark misura quanto bene i principali modelli AI gestiscono compiti reali di assistenza clienti per negozi online. Si concentra sulla qualità pratica del supporto — accuratezza, utilità, tono e concisione — piuttosto che su test di programmazione, matematica o ragionamento generico.
Qual è il miglior modello AI per l'assistenza clienti?
Il modello migliore dipende dal tuo negozio, dal mix linguistico, dalla complessità dei prodotti e dai requisiti di velocità. Questa pagina mostra quali modelli ottengono attualmente i migliori risultati nel nostro benchmark cieco, aiutandoti a selezionare i candidati per i tuoi test dal vivo.
ChatGPT vs Claude vs Gemini — qual è il migliore per il supporto e-commerce?
Ogni provider ha i propri punti di forza. I modelli ChatGPT tendono ad essere veloci e ampiamente supportati. I modelli Claude eccellono spesso nelle risposte sfumate e ricche di contesto. I modelli Gemini offrono forti capacità multilingue. I modelli Grok forniscono prestazioni competitive con latenza inferiore. Consulta la classifica qui sopra per l'ultimo confronto cieco.
Come funziona la valutazione cieca?
Ogni modello riceve la stessa domanda, lo stesso prompt di sistema e la stessa base di conoscenza. Le risposte vengono poi etichettate in modo anonimo (Risposta A, Risposta B, ecc.) e valutate da giudici AI di punta di ogni provider — OpenAI, Anthropic, Google e xAI. Nessun modello valuta la propria risposta, eliminando il bias di autovalutazione.
Posso usare questo benchmark per scegliere un chatbot AI per il mio negozio Shopify o e-commerce?
Sì. Le domande provengono da conversazioni reali in produzione nei negozi online, inclusi Shopify, Shoptet, WooCommerce e altri. Usa la classifica come punto di partenza, poi testa i modelli migliori con il tuo catalogo prodotti e il tono del tuo brand prima di andare in produzione.
Come dovrei usare questi punteggi del benchmark?
Usa la classifica come supporto decisionale, non come unico fattore determinante. Inizia con i modelli meglio classificati, poi testali sulla tua base di conoscenza, il tono del tuo brand e i requisiti di velocità di risposta prima di passare in produzione.
Con quale frequenza viene aggiornato questo benchmark?
Aggiungiamo nuovi modelli man mano che i provider li rilasciano e ampliamo periodicamente il set di domande con nuovi scenari reali. Quando viene aggiunto un nuovo modello, viene testato sulle stesse domande condivise di tutti i modelli esistenti per mantenere il confronto equo.
