Arena AI classe les modèles d’intelligence artificielle grâce aux votes de millions d’internautes. La plateforme (anciennement LMArena, puis Chatbot Arena) reçoit une instruction, la soumet à deux IA anonymes et demande au votant de désigner la meilleure réponse. Ces votes construisent des classements publics consultés par les laboratoires de recherche, les développeurs et les entreprises qui choisissent un modèle pour leurs outils. Arena sert à comparer les performances réelles des IA du marché, loin des annonces marketing des éditeurs.
Arena AI, une plateforme d’évaluation par vote populaire
Le projet naît en mars 2024 sous le nom Chatbot Arena, porté par des chercheurs qui veulent mesurer la qualité perçue des réponses plutôt que des scores de benchmark abstraits. En janvier 2026, la plateforme change de nom, devient Arena et lance un site officiel plus étendu, arena.ai. Les données collectées restent accessibles sur HuggingFace, où l’équipe publie un des plus grands jeux de données de préférences humaines sur les modèles génératifs. Chaque interaction nourrit des classements continus (texte, image, code, vision, recherche, documents, agents), avec plusieurs centaines de modèles suivis rien que pour la catégorie texte.
Quatre modes pour comparer les modèles
Arena propose quatre façons d’interroger les IA, chacune répondant à un usage différent.
| Mode | Fonctionnement | Accès |
|---|---|---|
| Battle | Une instruction part vers deux modèles anonymes, le votant choisit la meilleure réponse puis découvre les identités | Gratuit, sans compte |
| Side-by-Side | L’utilisateur sélectionne lui-même les deux modèles à confronter | Compte requis |
| Direct | Conversation classique avec un modèle choisi ou via Max qui sélectionne l’outil le plus adapté | Compte requis |
| Agent Mode | Un plan autonome enchaîne plusieurs étapes (recherche, image, code) à partir d’une seule instruction, sans révéler le modèle utilisé | Compte requis, lancé en juin 2026 |
Le mode Battle reste la porte d’entrée la plus utilisée, avec un simple vote pour contribuer au classement public, sur le même principe qu’un duel comme le match Claude contre ChatGPT, où c’est la qualité perçue de la réponse qui départage les modèles.
Que deviennent les données des utilisateurs ?
Chaque invite envoyée sur Arena est collectée pour nourrir les classements publics et partagée, dans certains cas, avec les laboratoires qui développent les modèles évalués. Une partie de ces échanges devient publique à des fins de recherche, via les jeux de données ouverts publiés sur HuggingFace. Le mode Battle reste accessible sans compte ni frais. Les modes Side-by-Side, Direct et Agent exigent une simple inscription, sans limite d’usage annoncée par l’équipe. Éviter d’y saisir des informations confidentielles reste la règle de prudence avant de tester un modèle sur la plateforme.
Ce que les entreprises et les développeurs en retirent
Les équipes techniques consultent Arena pour arbitrer entre plusieurs fournisseurs d’IA avant d’intégrer un modèle dans leurs outils. Le classement s’appuie sur des préférences réelles d’utilisateurs, un signal différent des benchmarks académiques isolés.
- Un accès à des modèles en prérelease, testés par la communauté avant leur sortie officielle depuis mars 2024.
- Des jeux de données ouverts sur HuggingFace, exploitables pour entraîner ou auditer ses propres systèmes.
- Une base de comparaison objective pour choisir un fournisseur d’IA lors d’un projet d’entreprise.
- Un signal de tendance sur les usages qui progressent (recherche, code, agents) et ceux qui stagnent.
- Une visibilité directe sur la réception des nouveaux modèles par un public large, hors communiqués officiels.
Arena transforme un exercice habituellement fermé, le choix d’un modèle d’IA, en donnée publique et vérifiable par tous.
