Explication des benchmarks IA (2026) : ce que mesure chacun et qui mène

Un benchmark IA est un ensemble fixe de tâches utilisé pour évaluer les capacités d’un modèle, afin que
différents modèles puissent être comparés sur le même test. Il n’existe pas de benchmark unique qui
détermine quel modèle est le meilleur — chacun mesure un aspect précis, et plusieurs des benchmarks célèbres
sont désormais presque saturés. L’approche pratique consiste à consulter les deux ou trois benchmarks correspondant à votre
charge de travail réelle, et à considérer avec scepticisme toute valeur isolée présentée en une.

Qui mène actuellement

Classés selon l’Indice d’intelligence artificielle d’Artificial Analysis, une synthèse de plusieurs évaluations indépendantes plutôt qu’un seul test. La dernière colonne, souvent omise dans les comparaisons, représente le score
évaluations plutôt qu'un seul test. La dernière colonne est celle que la plupart des comparaisons omettent : le score
divisé par le prix mixte, c'est ce que vous achetez réellement.

Les benchmarks qui comptent en 2026

MMLU (Massive Multitask Language Understanding)

Questions à choix multiples couvrant 57 sujets, des mathématiques élémentaires aux domaines professionnels
juridiques. Pendant des années, c'a été le chiffre vedette par défaut, et c'est maintenant le problème : les modèles de pointe
se regroupent si étroitement au sommet que les différences entre eux se situent dans le bruit. MMLU reste
utile pour placer un petit modèle ouvert par rapport à un grand, et pratiquement inutile pour séparer
deux modèles de pointe. Considérez une affirmation MMLU 2026 comme une vérification de seuil, pas un classement.

GPQA (Graduate-Level Google-Proof Q&A)

Écrit par des docteurs spécialistes en biologie, physique et chimie, et délibérément conçu pour que
chercher sur le web ne soit pas utile. Il répond à une question différente de MMLU : non pas « le modèle
a-t-il beaucoup lu » mais « peut-il raisonner à travers un problème réellement difficile dans un domaine technique ». Parce qu'
il résiste à la fois à la mémorisation et à la récupération, il a mieux vieilli que MMLU comme discriminant.

SWE-bench vérifié

De vrais rapports de bugs provenant de vrais dépôts GitHub, évalués selon que le correctif du modèle fait passer
les propres tests du projet. Le sous-ensemble Verified est la portion validée humainement, filtrée pour supprimer
les tâches qui étaient cassées ou impossibles — c'est pourquoi vous devez vérifier lequel quel SWE-bench
le vendeur cite. C'est le benchmark le plus pertinent pour la prise de décision si vous choisissez un
modèle pour un agent de codage, car la tâche et la notation sont toutes deux authentiques. Claude Sonnet 5
rapporte 85,2 % sur SWE-bench Verified et 63,2 % sur le plus difficile SWE-bench Pro.

Terminal-Bench

Tâches d'agent exécutées dans un terminal réel : installer quelque chose, diagnostiquer une panne, écrire un script de
correction. Cela mesure une compétence différente de l'écriture d'un correctif — la tolérance pour le travail multi-étapes où
le modèle doit lire sa propre sortie d'erreur et se rétablir. Claude Sonnet 5 rapporte 80,4 % sur
Terminal-Bench 2.1. Si votre cas d'usage est un agent autonome plutôt qu'un assistant de code en ligne,
ceci et OSWorld vous en disent plus que SWE-bench.

OSWorld

Utilisation d'ordinateur dans un véritable environnement de bureau — ouvrir des applications, naviguer dans des interfaces,
accomplir une tâche qu'une personne ferait avec une souris. Les scores ici sont beaucoup plus bas que sur les
benchmarks textuels dans l'ensemble, ce qui est un signal honnête sur le caractère encore immature des agents d'utilisation d'ordinateur.
Claude Sonnet 5 rapporte 81,2 % sur OSWorld-Verified ; le Nemotron 3 Nano Omni de NVIDIA,
un modèle ouvert de 30B, rapporte 47,4 % sur OSWorld, ce qui est un résultat raisonnable pour sa taille.

ARC-AGI

Puzzles de raisonnement visuel abstrait construits de sorte que la correspondance de motifs à partir des données d'entraînement ne
se transfère pas. Chaque tâche est une poignée de transformations de grille que le modèle doit déduire à partir d'une paire d'
exemples. ARC-AGI est la chose la plus proche d'un test de généralisation véritable plutôt que
de rappel, ce qui est pourquoi les progrès y sont lents et pourquoi les sauts sont traités comme significatifs.
Claude Opus 5 est rapporté à environ trois fois le modèle suivant le meilleur sur ARC-AGI 3.

Le dernier examen de l’humanité

Questions rédigées par des experts dans de nombreuses disciplines, écrites spécifiquement pour résister à la
saturation qui a submergé MMLU. L'objectif de conception est un benchmark qui reste difficile à mesure que les modèles s'améliorent,
donc les scores sont bas par construction et les petits gains sont significatifs. Lisez-le comme un
discriminant de pointe, pas comme une mesure d'utilité pour le travail ordinaire.

Indice d’intelligence artificielle d’Artificial Analysis

Pas un test mais un composite, combinant plusieurs évaluations indépendantes en un seul score. C'est
sa valeur : n'importe quel benchmark unique peut être ciblé, et un mélange est beaucoup plus difficile à manipuler. C'est l'
échelle utilisée dans le tableau ci-dessus. Claude Opus 5 est le leader actuel à 61, avec Claude Fable 5 à
60 et GPT-5.6 Sol à 59 — et Kimi K3 à 57, le meilleur résultat open-weight enregistré, se situant
à quatre points du meilleur modèle fermé.

Comment lire une affirmation de benchmark

Demandez qui l'a exécuté. Un score rapporté par le vendeur sur sa propre page de lancement et une
évaluation indépendante sont des types de preuves différents. Les classements indépendants appliquent le même
harnais à chaque modèle ; un vendeur choisit ses propres conditions.

Vérifiez la contamination. Si les questions d'un benchmark sont antérieures à la date limite d'entraînement d'un modèle et existent publiquement, certaines
d'entre elles se trouvent probablement dans les données d'entraînement. C'est la
raison principale pour laquelle les anciens benchmarks gonflent au fil du temps et pourquoi les plus récents sont construits pour être
« Google-proof » ou exclus complètement.

Attention aux poteaux qui bougent. « SWE-bench » sans « Verified », un sous-ensemble non nommé,
un nombre différent de tentatives, ou un score avec utilisation d'outils par rapport à un sans — ce sont
les façons habituelles dont une comparaison cesse d'être une comparaison honnête.

Attention à la saturation. Quand chaque modèle sérieux dépasse 90 sur un test, ce
test a cessé de classer quoi que ce soit. Les différences d'un ou deux points au sommet d'un benchmark
saturé sont du bruit, non un signal.

Le prix fait partie du score. Un modèle deux points meilleur et six fois plus
cher n'est pas meilleur pour la plupart des charges de travail. C'est pourquoi le tableau ci-dessus porte une colonne score par dollar,
et pourquoi l' indice de
prix-performance existe.

Quel benchmark devriez-vous vraiment considérer ?

Construire un agent de codage : SWE-bench Verified en premier, Terminal-Bench en deuxième.
Ignorez complètement MMLU.

Construire un agent d'utilisation informatique ou de bureau : OSWorld, puis Terminal-Bench.
Attendez-vous à ce que les chiffres absolus soient faibles.

Réponse à des questions techniques ou scientifiques : GPQA, et Humanity's Last Exam si
vos questions sont véritablement de niveau expert.

Assistant général ou chat : un indice composite est plus informatif que n'importe quel
test unique, car aucun benchmark ne ressemble à la diversité des questions que les vrais utilisateurs posent.

Choisir un petit modèle à auto-héberger : les benchmarks importent moins que l'adéquation. Vérifiez d'abord
ce qui s'exécutera physiquement sur votre matériel avec le
calculatrice VRAM premier, puis comparez les
scores de benchmark uniquement entre les modèles qui s'exécutent.

Résultats de benchmarks publiés dans notre base de données

Questions fréquemment posées