Serie Chaterimo CX-LLM Benchmark · Ronda 6
Resultados en directo
Benchmark de modelos de IA
ChatGPT, Claude, Gemini y Grok responden a las mismas preguntas reales de clientes de tiendas online. Jueces de IA puntúan cada respuesta a ciegas, sin saber qué modelo la escribió.
Conclusiones clave
- Líder actual: ChatGPT 6.1 Sol con una puntuación media de 75,2 en 15 preguntas compartidas y 165 evaluaciones ciegas.
- Las respuestas más rápidas son de Gemini 3.5 Flash-Lite: 1,5 s de media.
- Mejor modelo de cada proveedor: ChatGPT 6.1 Sol (75,2), Gemini 3.8 Flash (65,0), Claude Haiku 5.5 (64,8), Grok 4.7 (62,3).
- Última ronda
- Ronda 6
- Fecha de la prueba
- Preguntas
- 15
- Modelos
- 11
- Jueces de IA
- 1
Contenido
Resultados de la última ronda
Solo los modelos que puede elegir hoy en Chaterimo. Incluir modelos retirados
- OpenAI
- Anthropic
- xAI
| # | Modelo | Puntuación general | Respuesta media |
|---|---|---|---|
| 1 | ChatGPT 6.1 Sol | 75,2 | 5,3 s |
| 2 | ChatGPT 6 Luna | 66,9 | 4,1 s |
| 3 | Gemini 3.8 Flash | 65,0 | 11,0 s |
| 4 | Claude Haiku 5.5 | 64,8 | 2,6 s |
| 5 | Claude Sonnet 5.5 | 64,4 | 4,3 s |
| 6 | Claude Opus 5.5 | 62,8 | 7,5 s |
| 7 | Grok 4.7 | 62,3 | 38,8 s |
| 8 | Gemini 3.5 Flash-Lite | 52,8 | 1,5 s |
| 9 | Grok 4.1 Fast | 51,0 | 2,4 s |
Puntuaciones de 0 a 100: cuanto más alta, mejor; en el tiempo de respuesta, cuanto más bajo, mejor.
Desglose de puntuación
Puntuaciones del benchmark por criterio que muestran el rendimiento de cada modelo en precisión, relevancia, completitud, utilidad, tono y concisión.
| Modelo | ||||||
|---|---|---|---|---|---|---|
| ChatGPT 6.1 Sol | 72,0 | 79,7 | 64,7 | 66,7 | 88,3 | 91,7 |
| ChatGPT 6 Luna | 50,7 | 81,3 | 63,3 | 55,7 | 84,7 | 91,3 |
| Gemini 3.8 Flash | 56,0 | 75,3 | 61,3 | 56,3 | 78,3 | 76,0 |
| Claude Haiku 5.5 | 49,3 | 81,3 | 61,3 | 53,0 | 80,0 | 85,7 |
| Claude Sonnet 5.5 | 48,0 | 77,0 | 68,0 | 52,3 | 86,0 | 79,7 |
| Claude Opus 5.5 | 39,0 | 77,7 | 73,0 | 55,7 | 87,3 | 75,0 |
| Grok 4.7 | 42,0 | 77,0 | 65,7 | 51,0 | 85,7 | 82,7 |
| Gemini 3.5 Flash-Lite | 40,3 | 58,7 | 49,3 | 41,0 | 80,7 | 73,0 |
| Grok 4.1 Fast | 32,7 | 67,7 | 46,7 | 36,7 | 71,0 | 80,3 |
Historial de rondas
Cada ronda usa otras preguntas y otros jueces, así que compare los modelos solo dentro de una misma ronda.
| Ronda | Fecha de la prueba | Preguntas | Jueces de IA | Ganador |
|---|---|---|---|---|
| Ronda 6 | 15 | 1 | ChatGPT 6.1 Sol 75,2 | |
| Ronda 5 | 44 | 1 | ChatGPT 6 Luna 66,4 | |
| Ronda 4 | 45 | 1 | ChatGPT 5.6 Sol 71,7retirado | |
| Ronda 3 | 30 | 2 | ChatGPT 4.1 mini 62,7retirado | |
| Ronda 2 | 23 | 2 | ChatGPT 4.1 mini 60,8retirado | |
| Ronda 1 | 28 | 4 | ChatGPT 5.4 69,5retirado |
Cómo funciona
- Preguntas reales. Seleccionadas de conversaciones reales de atención al cliente en producción en e-commerce.
- Mismo prompt. Todos los modelos reciben el mismo prompt del sistema, base de conocimiento y pregunta.
- Evaluación ciega. Los evaluadores solo ven 'Respuesta A', 'Respuesta B' — no saben qué modelo la escribió.
- Evaluación cruzada. Modelos de primer nivel de cada proveedor evalúan las respuestas. Ningún modelo juzga su propia respuesta.
La ronda 6 la puntuó un juez de IA: Gemini 3.1 Pro Preview.
Criterios de puntuación
Cada respuesta se puntúa de 0 a 100 en seis criterios con los siguientes pesos:
- Precisión (30 %)
- ¿Son correctos los datos sobre productos, precios y políticas?
- Relevancia (20 %)
- ¿Responde a lo que preguntó el cliente?
- Completitud (15 %)
- ¿Contiene todo lo que el cliente necesita para decidir?
- Utilidad (15 %)
- ¿Acerca al cliente a una compra o a una solución?
- Tono (10 %)
- ¿Es amable y profesional?
- Concisión (10 %)
- ¿Es breve sin omitir nada importante?
Para mantener la comparación justa, las puntuaciones públicas se calculan solo a partir de preguntas respondidas por todos los modelos incluidos en el conjunto de comparación seleccionado. Esto evita que modelos más nuevos o retirados se beneficien de una combinación de preguntas más fácil.
Preguntas frecuentes
¿Qué mide este benchmark de IA?
Este benchmark mide cómo los principales modelos de IA gestionan tareas reales de atención al cliente en tiendas online. Se centra en la calidad práctica del soporte — precisión, utilidad, tono y concisión — en lugar de pruebas de programación, matemáticas o razonamiento genérico.
¿Cuál es el mejor modelo de IA para atención al cliente?
El mejor modelo depende de su tienda, combinación de idiomas, complejidad de productos y requisitos de velocidad. Esta página muestra qué modelos tienen mejor rendimiento actualmente en nuestro benchmark ciego, ayudándole a preseleccionar candidatos para sus propias pruebas en vivo.
ChatGPT vs Claude vs Gemini — ¿cuál es mejor para soporte de e-commerce?
Cada proveedor tiene sus fortalezas. Los modelos ChatGPT suelen ser rápidos y ampliamente compatibles. Los modelos Claude a menudo destacan en respuestas matizadas y con mucho contexto. Los modelos Gemini ofrecen sólidas capacidades multilingües. Los modelos Grok proporcionan un rendimiento competitivo con menor latencia. Consulte la clasificación anterior para la última comparación ciega.
¿Cómo funciona la evaluación ciega?
Cada modelo recibe la misma pregunta, prompt del sistema y base de conocimiento. Sus respuestas se etiquetan de forma anónima (Respuesta A, Respuesta B, etc.) y son puntuadas por jueces de IA de primer nivel de cada proveedor — OpenAI, Anthropic, Google y xAI. Ningún modelo evalúa su propia respuesta, eliminando el sesgo de autoevaluación.
¿Puedo usar este benchmark para elegir un chatbot de IA para mi tienda Shopify o de e-commerce?
Sí. Las preguntas provienen de conversaciones reales en producción en tiendas online, incluyendo Shopify, Shoptet, WooCommerce y otras. Use la clasificación como punto de partida y luego pruebe los mejores modelos con su propio catálogo de productos y tono de marca antes de ponerlos en producción.
¿Cómo debo utilizar estas puntuaciones del benchmark?
Use la clasificación como una ayuda para la decisión, no como el único factor decisivo. Comience con los modelos mejor clasificados y luego pruébelos con su propia base de conocimiento, tono de marca y requisitos de velocidad de respuesta antes de implementar en producción.
¿Con qué frecuencia se actualiza este benchmark?
Añadimos nuevos modelos a medida que los proveedores los lanzan y ampliamos periódicamente el conjunto de preguntas con escenarios reales nuevos. Cuando se añade un nuevo modelo, se prueba con las mismas preguntas compartidas que todos los modelos existentes para mantener la comparación justa.
