Série Chaterimo CX-LLM Benchmark · Rodada 6
Resultados ao vivo
Benchmark de Modelos de IA
ChatGPT, Claude, Gemini e Grok respondem às mesmas perguntas reais de clientes de lojas virtuais. Juízes de IA avaliam cada resposta às cegas, sem saber qual modelo a escreveu.
Principais conclusões
- Líder atual: ChatGPT 6.1 Sol com pontuação média de 75,2 em 15 perguntas compartilhadas e 165 avaliações cegas.
- As respostas mais rápidas são do Gemini 3.5 Flash-Lite: 1,5 s em média.
- Melhor modelo de cada provedor: ChatGPT 6.1 Sol (75,2), Gemini 3.8 Flash (65,0), Claude Haiku 5.5 (64,8), Grok 4.7 (62,3).
- Última rodada
- Rodada 6
- Data do teste
- Perguntas
- 15
- Modelos
- 11
- Juízes de IA
- 1
Conteúdo
Resultados da última rodada
Todos os modelos da rodada, incluindo os descontinuados. Mostrar apenas os modelos atuais
- OpenAI
- Anthropic
- xAI
| # | Modelo | Pontuação Geral | Resposta Média |
|---|---|---|---|
| 1 | ChatGPT 6.1 Sol | 75,2 | 5,3 s |
| 2 | ChatGPT 6 Luna | 66,9 | 4,1 s |
| 3 | Gemini 3.8 Flash | 65,0 | 11,0 s |
| 4 | Claude Haiku 5.5 | 64,8 | 2,6 s |
| 5 | Claude Sonnet 5.5 | 64,4 | 4,3 s |
| 6 | ChatGPT 4.1 minidescontinuado | 63,1 | 3,1 s |
| 7 | Claude Opus 5.5 | 62,8 | 7,5 s |
| 8 | Grok 4.7 | 62,3 | 38,8 s |
| 9 | ChatGPT 4.1descontinuado | 54,5 | 3,7 s |
| 10 | Gemini 3.5 Flash-Lite | 52,8 | 1,5 s |
| 11 | Grok 4.1 Fast | 51,0 | 2,4 s |
Pontuações de 0 a 100: quanto maior, melhor; no tempo de resposta, quanto menor, melhor.
Detalhamento da Pontuação
Pontuações do benchmark por critério mostrando o desempenho de cada modelo em precisão, relevância, completude, utilidade, tom e concisão.
| Modelo | ||||||
|---|---|---|---|---|---|---|
| ChatGPT 6.1 Sol | 72,0 | 79,7 | 64,7 | 66,7 | 88,3 | 91,7 |
| ChatGPT 6 Luna | 50,7 | 81,3 | 63,3 | 55,7 | 84,7 | 91,3 |
| Gemini 3.8 Flash | 56,0 | 75,3 | 61,3 | 56,3 | 78,3 | 76,0 |
| Claude Haiku 5.5 | 49,3 | 81,3 | 61,3 | 53,0 | 80,0 | 85,7 |
| Claude Sonnet 5.5 | 48,0 | 77,0 | 68,0 | 52,3 | 86,0 | 79,7 |
| ChatGPT 4.1 minidescontinuado | 45,3 | 76,0 | 63,0 | 53,0 | 85,0 | 84,3 |
| Claude Opus 5.5 | 39,0 | 77,7 | 73,0 | 55,7 | 87,3 | 75,0 |
| Grok 4.7 | 42,0 | 77,0 | 65,7 | 51,0 | 85,7 | 82,7 |
| ChatGPT 4.1descontinuado | 31,0 | 71,7 | 51,0 | 41,7 | 87,3 | 82,0 |
| Gemini 3.5 Flash-Lite | 40,3 | 58,7 | 49,3 | 41,0 | 80,7 | 73,0 |
| Grok 4.1 Fast | 32,7 | 67,7 | 46,7 | 36,7 | 71,0 | 80,3 |
Histórico de rodadas
Cada rodada usa outras perguntas e outros juízes, então compare os modelos apenas dentro da mesma rodada.
| Rodada | Data do teste | Perguntas | Juízes de IA | Vencedor |
|---|---|---|---|---|
| Rodada 6 | 15 | 1 | ChatGPT 6.1 Sol 75,2 | |
| Rodada 5 | 44 | 1 | ChatGPT 6 Luna 66,4 | |
| Rodada 4 | 45 | 1 | ChatGPT 5.6 Sol 71,7descontinuado | |
| Rodada 3 | 30 | 2 | ChatGPT 4.1 mini 62,7descontinuado | |
| Rodada 2 | 23 | 2 | ChatGPT 4.1 mini 60,8descontinuado | |
| Rodada 1 | 28 | 4 | ChatGPT 5.4 69,5descontinuado |
Média de todas as rodadas
Observação
As rodadas diferem em perguntas e juízes, então esta média não é uma comparação justa: um modelo que participou só de rodadas mais fáceis fica mais bem colocado. Para escolher um modelo, use a última rodada.
| # | Modelo | Pontuação Geral | Rodadas | Avaliações totais |
|---|---|---|---|---|
| 1 | ChatGPT 6.1 Sol | 75,2 | 1/6 | 15 |
| 2 | ChatGPT 5.6 Soldescontinuado | 71,7 | 1/6 | 45 |
| 3 | ChatGPT 5.6 Lunadescontinuado | 69,8 | 1/6 | 45 |
| 4 | ChatGPT 5.6 Terradescontinuado | 69,7 | 1/6 | 45 |
| 5 | ChatGPT 6 Luna | 66,6 | 2/6 | 59 |
| 6 | Claude Haiku 5.5 | 64,8 | 1/6 | 15 |
| 7 | Claude Sonnet 5.5 | 64,4 | 1/6 | 15 |
| 8 | Gemini 3.7 Flashdescontinuado | 63,6 | 1/6 | 45 |
| 9 | ChatGPT 5.4 minidescontinuado | 63,1 | 3/6 | 218 |
| 10 | Grok 4.6descontinuado | 63,0 | 1/6 | 45 |
| 11 | Claude Opus 4.6descontinuado | 63,0 | 1/6 | 84 |
| 12 | Claude Sonnet 4.6descontinuado | 62,5 | 3/6 | 218 |
| 13 | ChatGPT 5.4descontinuado | 62,2 | 3/6 | 137 |
| 14 | ChatGPT 6 Soldescontinuado | 61,8 | 1/6 | 44 |
| 15 | ChatGPT 4.1 minidescontinuado | 61,4 | 6/6 | 322 |
| 16 | Claude Opus 5descontinuado | 61,2 | 1/6 | 45 |
| 17 | Gemini 3.1 Flash-Litedescontinuado | 60,2 | 1/6 | 112 |
| 18 | Grok 4descontinuado | 59,6 | 1/6 | 112 |
| 19 | ChatGPT 4.1descontinuado | 59,3 | 6/6 | 322 |
| 20 | Claude Haiku 4.5descontinuado | 59,1 | 5/6 | 307 |
| 21 | Grok 4.1 Fast | 59,1 | 4/6 | 216 |
| 22 | Gemini 3.8 Flash | 58,2 | 2/6 | 59 |
| 23 | Gemini 3.1 Pro Previewdescontinuado | 57,9 | 3/6 | 137 |
| 24 | Claude Sonnet 5descontinuado | 57,7 | 2/6 | 89 |
| 25 | Claude Opus 4.7descontinuado | 56,4 | 3/6 | 131 |
| 26 | ChatGPT 5.5descontinuado | 56,4 | 2/6 | 106 |
| 27 | Grok 4.7 | 56,1 | 2/6 | 59 |
| 28 | Grok 4.20descontinuado | 55,5 | 1/6 | 84 |
| 29 | Grok 4.3descontinuado | 54,8 | 2/6 | 106 |
| 30 | Gemini 3.1 Flash-Litedescontinuado | 54,6 | 2/6 | 106 |
| 31 | Claude Opus 5.5 | 54,4 | 2/6 | 59 |
| 32 | Gemini 3 Flashdescontinuado | 54,2 | 1/6 | 112 |
| 33 | Gemini 3.5 Flash-Lite | 53,7 | 3/6 | 104 |
| 34 | Gemini 3.5 Flashdescontinuado | 47,6 | 2/6 | 106 |
Como Funciona
- Perguntas Reais. Selecionadas de conversas reais de atendimento ao cliente em e-commerce em produção.
- Mesmo Prompt. Todos os modelos recebem o mesmo prompt de sistema, base de conhecimento e pergunta.
- Avaliação Cega. Os avaliadores veem apenas 'Resposta A', 'Resposta B' — eles não sabem qual modelo escreveu.
- Avaliação Cruzada. Modelos de primeira linha de cada provedor avaliam as respostas. Nenhum modelo julga sua própria resposta.
A rodada 6 foi avaliada por um juiz de IA: Gemini 3.1 Pro Preview.
Critérios de Pontuação
Cada resposta recebe uma nota de 0 a 100 em seis critérios com os seguintes pesos:
- Precisão (30%)
- Os fatos sobre produtos, preços e políticas estão corretos?
- Relevância (20%)
- A resposta trata do que o cliente perguntou?
- Completude (15%)
- Ela contém tudo de que o cliente precisa para decidir?
- Utilidade (15%)
- Ela leva o cliente a uma compra ou a uma solução?
- Tom (10%)
- Ela é cordial e profissional?
- Concisão (10%)
- Ela é curta sem deixar de fora nada importante?
Para manter a comparação justa, as pontuações públicas são calculadas apenas a partir de perguntas respondidas por todos os modelos incluídos no conjunto de comparação selecionado. Isso evita que modelos mais novos ou descontinuados se beneficiem de um conjunto de perguntas mais fácil.
Perguntas Frequentes
O que este benchmark de IA está medindo?
Este benchmark mede o desempenho dos principais modelos de IA em tarefas reais de atendimento ao cliente para lojas online. O foco está na qualidade prática do suporte — precisão, utilidade, tom e concisão — e não em testes de programação, matemática ou raciocínio genérico.
Qual modelo de IA é o melhor para atendimento ao cliente?
O melhor modelo depende da sua loja, combinação de idiomas, complexidade dos produtos e requisitos de velocidade. Esta página mostra quais modelos têm o melhor desempenho atualmente em nosso benchmark cego, ajudando você a pré-selecionar candidatos para seus próprios testes ao vivo.
ChatGPT vs Claude vs Gemini — qual é melhor para suporte de e-commerce?
Cada provedor tem seus pontos fortes. Os modelos ChatGPT tendem a ser rápidos e amplamente suportados. Os modelos Claude geralmente se destacam em respostas detalhadas e ricas em contexto. Os modelos Gemini oferecem fortes capacidades multilíngues. Os modelos Grok proporcionam desempenho competitivo com menor latência. Confira o ranking acima para a comparação cega mais recente.
Como funciona a avaliação cega?
Todos os modelos recebem a mesma pergunta, prompt de sistema e base de conhecimento. Suas respostas são então rotuladas anonimamente (Resposta A, Resposta B, etc.) e avaliadas por juízes de IA de primeira linha de cada provedor — OpenAI, Anthropic, Google e xAI. Nenhum modelo avalia sua própria resposta, eliminando o viés de autoavaliação.
Posso usar este benchmark para escolher um chatbot de IA para minha loja Shopify ou e-commerce?
Sim. As perguntas vêm de conversas reais em produção em lojas online, incluindo Shopify, Shoptet, WooCommerce e outras. Use o ranking como ponto de partida e teste os melhores modelos com seu próprio catálogo de produtos e tom da marca antes de ir ao ar.
Como devo usar essas pontuações do benchmark?
Use o ranking como auxílio na decisão, não como o único fator decisivo. Comece com os modelos mais bem classificados, depois teste-os com sua própria base de conhecimento, tom da marca e requisitos de velocidade de resposta antes de implementar em produção.
Com que frequência este benchmark é atualizado?
Adicionamos novos modelos conforme os provedores os lançam e expandimos periodicamente o conjunto de perguntas com novos cenários reais. Quando um novo modelo é adicionado, ele é testado nas mesmas perguntas compartilhadas de todos os modelos existentes para manter a comparação justa.
