GPT-4 solía liderar el camino entre las inteligencias artificiales, pero fue superado por Claude 3. Esta nueva evaluación considera no solo pruebas sintéticas, sino también las opiniones de los usuarios. El chatbot que ahora se destaca en el sector no es otro que Claude 3 Opus, desarrollado por Anthropic, dejando atrás a ChatGPT con GPT-4. Mientras tanto, Gemini Pro y otros competidores como Mistral están luchando por mantenerse al día en esta acalorada carrera. 

Es cierto que, aunque en las pruebas sintéticas eso podría ser verdad, la experiencia del usuario decía lo contrario. La primera versión de ChatGPT, basada en GPT-3.5, ya mostraba sus capacidades desde el principio, pero fue el lanzamiento de GPT-4 (utilizado en ChatGPT Plus y también como base para Copilot, anteriormente Bing Chat) lo que claramente situó al LLM de OpenAI por encima del resto. Los demás estaban rezagados, y aunque mejoraban, no lograban transmitir un comportamiento mejor cuando los usábamos.

Esto acaba de cambiar según Chatbot Arena, un ranking cada vez más prestigioso creado por la organización Large Model Systems (LMSYS ORG) en colaboración con varias instituciones académicas. Su calificación y clasificación de grandes modelos de lenguaje se ha convertido en un referente, especialmente distinto de otras herramientas de este tipo.

En Chatbot Arena, se permite a los usuarios votar por el modelo que mejor responde a sus consultas. Cualquiera puede participar, y gracias a ello, este ranking tiene en cuenta no solo los parámetros técnicos de modelos como GPT-4, sino también la experiencia de usuario que ofrecen. Así, lo que los usuarios piensan de cada chatbot acaba siendo tan importante como lo que dicen las pruebas sintéticas. O incluso más. 

Según GENBETA, los votos de 400,000 usuarios han dejado claro que en la actualidad GPT-4 ha sido superado. Claude 3 Opus, el modelo presentado por Anthropic hace unas pocas semanas, se ha convertido en el ganador en la particular puntuación ELO, un concepto adaptado del mundo del ajedrez, que en Chatbot Arena asignan a cada modelo.

Si bien es cierto que la diferencia con GPT-4 es muy pequeña, esto representa un punto de inflexión singular que demuestra que hay una sana competencia en el mundo de los chatbots. Gemini Pro ocupa el cuarto lugar en la clasificación, mientras que Mistral, el chatbot de la startup francesa, se sitúa en el octavo lugar. Aunque las variantes de GPT-4 dominan el ranking, el avance de Anthropic aquí es una excelente noticia para la competitividad en este mercado.