{"id":2102,"date":"2026-08-03T19:59:47","date_gmt":"2026-08-03T19:59:47","guid":{"rendered":"https:\/\/convly.ai\/ai-benchmarks\/"},"modified":"2026-08-03T19:59:47","modified_gmt":"2026-08-03T19:59:47","slug":"ai-benchmarks","status":"publish","type":"page","link":"https:\/\/convly.ai\/fr\/ai-benchmarks\/","title":{"rendered":"Explication des benchmarks IA (2026) : ce que mesure chacun et qui m\u00e8ne"},"content":{"rendered":"

Un benchmark IA est un ensemble fixe de t\u00e2ches utilis\u00e9 pour \u00e9valuer les capacit\u00e9s d\u2019un mod\u00e8le, afin que
\ndiff\u00e9rents mod\u00e8les puissent \u00eatre compar\u00e9s sur le m\u00eame test.<\/strong> Il n\u2019existe pas de benchmark unique qui
\nd\u00e9termine quel mod\u00e8le est le meilleur \u2014 chacun mesure un aspect pr\u00e9cis, et plusieurs des benchmarks c\u00e9l\u00e8bres
\nsont d\u00e9sormais presque satur\u00e9s. L\u2019approche pratique consiste \u00e0 consulter les deux ou trois benchmarks correspondant \u00e0 votre
\ncharge de travail r\u00e9elle, et \u00e0 consid\u00e9rer avec scepticisme toute valeur isol\u00e9e pr\u00e9sent\u00e9e en une.<\/p>\n

Qui m\u00e8ne actuellement<\/h2>\n

Class\u00e9s selon l\u2019Indice d\u2019intelligence artificielle d\u2019Artificial Analysis, une synth\u00e8se de plusieurs \u00e9valuations ind\u00e9pendantes plut\u00f4t qu\u2019un seul test. La derni\u00e8re colonne, souvent omise dans les comparaisons, repr\u00e9sente le score
\ndivis\u00e9 par le co\u00fbt combin\u00e9, ce qui refl\u00e8te r\u00e9ellement la valeur achet\u00e9e.
\nScore d\u2019intelligence<\/p>\n

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
#<\/th>Mod\u00e8le<\/th>D\u00e9veloppeur<\/th>Score par dollar<\/th>\n Co\u00fbt combin\u00e9 par million de dollars<\/th>Les scores sont exprim\u00e9s selon l\u2019\u00e9chelle de l\u2019Indice d\u2019intelligence artificielle d\u2019Artificial Analysis, une synth\u00e8se\n de plusieurs \u00e9valuations ind\u00e9pendantes plut\u00f4t que le r\u00e9sultat d\u2019un seul test \u2014 ce qui constitue la bonne fa\u00e7on d\u2019interpr\u00e9ter une affirmation m\u00e9diatique du type \u00ab meilleur mod\u00e8le \u00bb. L\u2019entr\u00e9e la plus performante parmi les mod\u00e8les \u00e0 poids ouverts est<\/th><\/tr><\/thead>\n
1<\/td>\n Claude Opus 5<\/a><\/td>\n Anthropic<\/td>\n 61<\/strong><\/td>\n $9.00<\/td>\n 6.8<\/td>\n <\/tr>\n
2<\/td>\n Claude Fable 5<\/a><\/td>\n Anthropic<\/td>\n 60<\/strong><\/td>\n $18.00<\/td>\n 3.3<\/td>\n <\/tr>\n
3<\/td>\n GPT-5.6 Sol<\/a><\/td>\n OpenAI<\/td>\n 59<\/strong><\/td>\n $10.00<\/td>\n 5.9<\/td>\n <\/tr>\n
4<\/td>\n Kimi K3<\/a> poids ouverts<\/span><\/td>\n Moonshot AI<\/td>\n 57<\/strong><\/td>\n $5.40<\/td>\n 10.6<\/td>\n <\/tr>\n
5<\/td>\n Claude Opus 4.8<\/a><\/td>\n Anthropic<\/td>\n 55.7<\/strong><\/td>\n $9.00<\/td>\n 6.2<\/td>\n <\/tr>\n
6<\/td>\n GPT-5.5<\/a><\/td>\n OpenAI<\/td>\n 54.8<\/strong><\/td>\n $10.00<\/td>\n 5.5<\/td>\n <\/tr>\n
7<\/td>\n GLM 5.2<\/a> poids ouverts<\/span><\/td>\n Zhipu AI<\/td>\n 51.1<\/strong><\/td>\n $2.00<\/td>\n 25.6<\/td>\n <\/tr>\n
8<\/td>\n Gemini 3.5 Flash<\/a><\/td>\n Google<\/td>\n 50.2<\/strong><\/td>\n $3.00<\/td>\n 16.7<\/td>\n <\/tr>\n
9<\/td>\n Claude Sonnet 4.6<\/a><\/td>\n Anthropic<\/td>\n 47<\/strong><\/td>\n $5.40<\/td>\n 8.7<\/td>\n <\/tr>\n
10<\/td>\n Gemini 3.1 Pro<\/a><\/td>\n Google<\/td>\n 46.5<\/strong><\/td>\n $4.00<\/td>\n 11.6<\/td>\n <\/tr>\n
11<\/td>\n DeepSeek V4-Pro<\/a> poids ouverts<\/span><\/td>\n DeepSeek<\/td>\n 44.3<\/strong><\/td>\n $0.522<\/td>\n 84.9<\/td>\n <\/tr>\n
12<\/td>\n Kimi K2.7 Code<\/a> poids ouverts<\/span><\/td>\n Moonshot AI<\/td>\n 42<\/strong><\/td>\n $0.980<\/td>\n 42.9<\/td>\n <\/tr>\n <\/tbody>\n <\/table>\n

\u00e0 57. Triez vous-m\u00eame l\u2019ensemble complet sur le\n Kimi K3<\/a>\n Les benchmarks pertinents en 2026\n Classement des grands mod\u00e8les linguistiques (LLM)<\/a>.<\/p>\n<\/div>\n\n

MMLU (Massive Multitask Language Understanding)<\/h2>\n

Questions \u00e0 choix multiples couvrant 57 domaines, allant des math\u00e9matiques \u00e9l\u00e9mentaires au droit professionnel.<\/h3>\n

Pendant des ann\u00e9es, il a constitu\u00e9 la r\u00e9f\u00e9rence principale, mais c\u2019est justement l\u00e0 le probl\u00e8me : les mod\u00e8les de pointe\n se regroupent si \u00e9troitement en haut du classement que les diff\u00e9rences entre eux tombent dans la marge d\u2019incertitude. Le MMLU reste utile pour comparer un petit mod\u00e8le \u00e0 poids ouverts \u00e0 un grand mod\u00e8le, mais il est presque inop\u00e9rant pour distinguer deux mod\u00e8les de pointe. Consid\u00e9rez toute affirmation fond\u00e9e sur le MMLU en 2026 comme un simple test de seuil, non comme un classement.
\nGPQA (Graduate-Level Google-Proof Q&A)
\nR\u00e9dig\u00e9 par des docteurs sp\u00e9cialis\u00e9s en biologie, physique et chimie, et d\u00e9lib\u00e9r\u00e9ment con\u00e7u pour que la recherche sur le web n\u2019apporte aucune aide. Il r\u00e9pond \u00e0 une question diff\u00e9rente de celle du MMLU : non pas \u00ab le mod\u00e8le a-t-il lu beaucoup ? \u00bb, mais \u00ab peut-il raisonner de mani\u00e8re rigoureuse face \u00e0 un probl\u00e8me v\u00e9ritablement difficile dans un domaine technique ? \u00bb. Comme il r\u00e9siste aussi bien \u00e0 la m\u00e9morisation qu\u2019\u00e0 la simple r\u00e9cup\u00e9ration d\u2019informations, il s\u2019est mieux maintenu que le MMLU en tant que crit\u00e8re discriminant.
\nRapports r\u00e9els de bogues provenant de vrais d\u00e9p\u00f4ts GitHub, \u00e9valu\u00e9s selon que le correctif propos\u00e9 par le mod\u00e8le
\ndeux mod\u00e8les fronti\u00e8res. Consid\u00e9rez une affirmation de score MMLU pour 2026 comme un test minimal, et non comme un classement.<\/p>\n

GPQA (Questions et r\u00e9ponses de niveau doctorat, r\u00e9sistantes \u00e0 Google)<\/h3>\n

r\u00e9dig\u00e9es par des docteurs sp\u00e9cialis\u00e9s en biologie, physique et chimie, et d\u00e9lib\u00e9r\u00e9ment con\u00e7ues de fa\u00e7on \u00e0 ce que
\nla recherche sur le web n\u2019apporte aucune aide. Ce benchmark r\u00e9pond \u00e0 une question diff\u00e9rente de celle de MMLU : non pas \u00ab le mod\u00e8le a-t-il lu beaucoup ? \u00bb, mais \u00ab le mod\u00e8le est-il capable de raisonner de mani\u00e8re rigoureuse face \u00e0 un probl\u00e8me v\u00e9ritablement difficile dans un domaine technique ? \u00bb. En effet,
\nil r\u00e9siste aussi bien \u00e0 la m\u00e9morisation qu\u2019\u00e0 la simple r\u00e9cup\u00e9ration d\u2019informations, ce qui explique pourquoi il s\u2019est mieux maintenu que MMLU en tant qu\u2019indicateur discriminant.
\ndes rapports de bogues r\u00e9els provenant de v\u00e9ritables d\u00e9p\u00f4ts GitHub, \u00e9valu\u00e9s selon que le correctif propos\u00e9 par le mod\u00e8le permet ou non de r\u00e9soudre effectivement le bogue.<\/p>\n

SWE-bench v\u00e9rifi\u00e9<\/h3>\n

V\u00e9ritables rapports de bogues provenant de v\u00e9ritables d\u00e9p\u00f4ts GitHub, \u00e9valu\u00e9s en fonction de la capacit\u00e9 du correctif g\u00e9n\u00e9r\u00e9 par le mod\u00e8le \u00e0 r\u00e9soudre les
\nles tests propres au projet r\u00e9ussissent. Le sous-ensemble \u00ab\u00a0Verified\u00a0\u00bb correspond \u00e0 la portion valid\u00e9e manuellement, filtr\u00e9e afin d\u2019\u00e9liminer
\nles t\u00e2ches d\u00e9fectueuses ou impossibles \u2014 c\u2019est pourquoi vous devez v\u00e9rifier lequel<\/em> SWE-bench une
\nle fournisseur cite. Il s\u2019agit du benchmark le plus pertinent pour la prise de d\u00e9cision si vous choisissez un
\nmod\u00e8le destin\u00e9 \u00e0 un agent de programmation, car la t\u00e2che et l\u2019\u00e9valuation sont toutes deux authentiques. Claude Sonnet 5
\nobtient 85,2 % sur SWE-bench Verified et 63,2 % sur la version plus difficile, SWE-bench Pro.<\/p>\n

Terminal-Bench<\/h3>\n

T\u00e2ches agentic men\u00e9es dans un terminal r\u00e9el : installer un logiciel, diagnostiquer une panne, \u00e9crire un script pour
\ncorriger un probl\u00e8me. Ce benchmark mesure une comp\u00e9tence diff\u00e9rente de celle consistant \u00e0 r\u00e9diger un correctif \u2014 il \u00e9value notamment la capacit\u00e9 \u00e0 mener des travaux multi-\u00e9tapes o\u00f9
\nle mod\u00e8le doit lire sa propre sortie d\u2019erreur et s\u2019en remettre. Claude Sonnet 5 obtient 80,4 % sur
\nTerminal-Bench 2.1. Si votre cas d\u2019usage implique un agent autonome plut\u00f4t qu\u2019un assistant de code int\u00e9gr\u00e9, ce benchmark et OSWorld vous renseignent davantage que SWE-bench.
\nassistant, ce benchmark ainsi qu\u2019OSWorld vous renseignent davantage que SWE-bench.<\/p>\n

OSWorld<\/h3>\n

Utilisation d\u2019un ordinateur dans un environnement bureautique r\u00e9el : ouvrir des applications, cliquer dans les interfaces,
\naccomplir une t\u00e2che que ferait une personne avec une souris. Les scores obtenus ici sont nettement inf\u00e9rieurs \u00e0 ceux des benchmarks textuels, ce qui constitue un signal honn\u00eate quant au stade encore pr\u00e9coce des agents capables d\u2019utiliser un ordinateur.
\nClaude Sonnet 5 obtient 81,2 % sur OSWorld-Verified ; le mod\u00e8le ouvert Nemotron 3 Nano Omni, d\u00e9velopp\u00e9 par NVIDIA,
\nun mod\u00e8le de 30 milliards de param\u00e8tres, obtient 47,4 % sur OSWorld \u2014 un r\u00e9sultat raisonnable compte tenu de sa taille.
\nun mod\u00e8le ouvert de 30 milliards de param\u00e8tres, affiche un score de 47,4 % sur OSWorld, ce qui constitue un r\u00e9sultat raisonnable pour sa taille.<\/p>\n

ARC-AGI<\/h3>\n

Puzzles abstraits de raisonnement visuel con\u00e7us de fa\u00e7on \u00e0 ce que la simple reconnaissance de motifs tir\u00e9s des donn\u00e9es d\u2019entra\u00eenement ne soit pas transf\u00e9rable.
\nChaque t\u00e2che consiste en quelques transformations de grille que le mod\u00e8le doit d\u00e9duire \u00e0 partir de quelques exemples seulement.
\nARC-AGI est la r\u00e9f\u00e9rence la plus proche d\u2019un test de g\u00e9n\u00e9ralisation v\u00e9ritable, plut\u00f4t que de simple m\u00e9morisation, ce qui explique pourquoi les progr\u00e8s y sont lents et pourquoi chaque avanc\u00e9e significative y est particuli\u00e8rement remarqu\u00e9e.
\nque la simple m\u00e9morisation, ce qui explique pourquoi les progr\u00e8s sont lents et pourquoi toute am\u00e9lioration notable est consid\u00e9r\u00e9e comme significative.
\nClaude Opus 5 obtient un score environ trois fois sup\u00e9rieur \u00e0 celui du deuxi\u00e8me meilleur mod\u00e8le sur ARC-AGI 3.<\/p>\n

Le dernier examen de l\u2019humanit\u00e9<\/h3>\n

Questions r\u00e9dig\u00e9es par des experts dans de nombreuses disciplines, sp\u00e9cifiquement con\u00e7ues pour r\u00e9sister \u00e0 la saturation qui a affect\u00e9 MMLU.
\nL\u2019objectif de conception est de cr\u00e9er un benchmark qui reste difficile \u00e0 mesure que les mod\u00e8les progressent,
\nsi bien que les scores sont volontairement faibles et que m\u00eame de petits gains rev\u00eatent une signification importante.
\nInterpr\u00e9tez-le comme un discriminateur de pointe, non comme une mesure de l\u2019utilit\u00e9 pratique dans un travail courant.<\/p>\n

Indice d\u2019intelligence artificielle d\u2019Artificial Analysis<\/h3>\n

Il ne s\u2019agit pas d\u2019un test en soi, mais d\u2019une combinaison composite de plusieurs \u00e9valuations ind\u00e9pendantes en un seul score.
\nC\u2019est l\u00e0 toute sa valeur : un benchmark isol\u00e9 peut \u00eatre sp\u00e9cifiquement optimis\u00e9, tandis qu\u2019un ensemble combin\u00e9 est beaucoup plus difficile \u00e0 manipuler.
\nC\u2019est l\u2019\u00e9chelle utilis\u00e9e dans le tableau ci-dessus. Claude Opus 5 est actuellement en t\u00eate avec un score de 61, suivi de Claude Fable 5 (60) et de GPT-5.6 Sol (59) \u2014 et Kimi K3 (57), le meilleur r\u00e9sultat publi\u00e9 \u00e0 ce jour pour un mod\u00e8le open-weight, n\u2019\u00e9tant qu\u2019\u00e0 quatre points du meilleur mod\u00e8le ferm\u00e9.
\n60, et GPT-5.6 Sol \u00e0 59 \u2014 tandis que Kimi K3 atteint 57, le meilleur r\u00e9sultat jamais enregistr\u00e9 pour un mod\u00e8le open-weight, se situant
\n\u00e0 seulement quatre points du meilleur mod\u00e8le ferm\u00e9.<\/p>\n

Comment interpr\u00e9ter une affirmation fond\u00e9e sur un benchmark<\/h2>\n

Demandez qui l\u2019a r\u00e9alis\u00e9.<\/strong> Un score communiqu\u00e9 par le fournisseur sur sa propre page de lancement et une \u00e9valuation ind\u00e9pendante constituent deux types d\u2019\u00e9l\u00e9ments probants distincts. Les classements ind\u00e9pendants appliquent le m\u00eame cadre d\u2019\u00e9valuation \u00e0 tous les mod\u00e8les ; le fournisseur, lui, choisit ses propres conditions.
\n\u00e9valuations ind\u00e9pendantes sont des types de preuves diff\u00e9rents. Les classements ind\u00e9pendants appliquent les m\u00eames
\noutils \u00e0 chaque mod\u00e8le ; un \u00e9diteur choisit lui-m\u00eame ses propres conditions.<\/p>\n

V\u00e9rifiez la contamination.<\/strong> Si les questions d\u2019un benchmark datent d\u2019avant la date limite d\u2019entra\u00eenement d\u2019un mod\u00e8le et sont publiques, certaines d\u2019entre elles se trouvent tr\u00e8s probablement dans les donn\u00e9es d\u2019entra\u00eenement.
\nC\u2019est la principale raison pour laquelle les anciens benchmarks voient leurs scores artificiellement gonfl\u00e9s au fil du temps, et pourquoi les nouveaux benchmarks sont con\u00e7us pour \u00eatre \u00ab\u00a0introuvables via Google\u00a0\u00bb ou enti\u00e8rement r\u00e9serv\u00e9s.
\nprincipale raison pour laquelle les anciens benchmarks surestiment progressivement les performances, et pourquoi les nouveaux sont con\u00e7us pour \u00eatre
\n\u00ab r\u00e9sistants \u00e0 Google \u00bb ou enti\u00e8rement r\u00e9serv\u00e9s.<\/p>\n

M\u00e9fiez-vous des buts mobiles.<\/strong> \u00ab\u00a0SWE-bench\u00a0\u00bb sans pr\u00e9cision \u00ab\u00a0Verified\u00a0\u00bb, un sous-ensemble non nomm\u00e9,
\nun nombre diff\u00e9rent de tentatives, ou un score obtenu avec l\u2019usage d\u2019outils compar\u00e9 \u00e0 un autre sans outils \u2014 ce sont les moyens habituels par lesquels une comparaison cesse d\u2019\u00eatre \u00ab\u00a0pomme contre pomme\u00a0\u00bb.
\nsont les moyens habituels par lesquels une comparaison cesse d\u2019\u00eatre \u00ab pomme contre pomme \u00bb.<\/p>\n

M\u00e9fiez-vous de la saturation.<\/strong> Lorsque tous les mod\u00e8les s\u00e9rieux obtiennent plus de 90 % sur un test, ce dernier cesse d\u2019\u00eatre discriminant.
\nDes diff\u00e9rences d\u2019un point ou deux au sommet d\u2019un benchmark satur\u00e9 rel\u00e8vent du bruit, non du signal.
\nbenchmark constituent du bruit, non pas un signal.<\/p>\n

Le prix fait partie du score.<\/strong> Un mod\u00e8le deux points meilleur mais six fois plus co\u00fbteux n\u2019est pas meilleur pour la plupart des charges de travail.
\nC\u2019est pourquoi le tableau ci-dessus inclut une colonne \u00ab\u00a0score par dollar\u00a0\u00bb, et pourquoi l\u2019\u00ab\u00a0indice
\ncolonne, et pourquoi la prix-performance
\nexiste.<\/a> existe.<\/p>\n

Quel benchmark devriez-vous r\u00e9ellement privil\u00e9gier ?<\/h2>\n

Pour d\u00e9velopper un agent de programmation :<\/strong> SWE-bench Verified en premier lieu, Terminal-Bench en second.
\nIgnorer compl\u00e8tement le MMLU.<\/p>\n

Concevoir un agent informatique ou un agent de bureau :<\/strong> OSWorld, puis Terminal-Bench.
\nAttendez-vous \u00e0 des valeurs absolues faibles.<\/p>\n

R\u00e9ponse \u00e0 des questions techniques ou scientifiques :<\/strong> GPQA, et Humanity\u2019s Last Exam si
\nvos questions sont v\u00e9ritablement de niveau expert.<\/p>\n

Assistant g\u00e9n\u00e9ral ou chat :<\/strong> un indice composite est plus informatif que n\u2019importe quel
\ntest individuel, car aucun benchmark ne refl\u00e8te la diversit\u00e9 des demandes formul\u00e9es par les utilisateurs r\u00e9els.<\/p>\n

Choisir un petit mod\u00e8le \u00e0 auto-h\u00e9berger :<\/strong> les benchmarks importent moins que l\u2019ad\u00e9quation. V\u00e9rifiez d\u2019abord
\nce qui fonctionnera physiquement sur votre mat\u00e9riel, puis comparez
\nCalculateur de VRAM<\/a> les scores aux benchmarks uniquement entre les mod\u00e8les compatibles.
\nR\u00e9sultats de benchmarks publi\u00e9s dans notre base de donn\u00e9es<\/p>\n

R\u00e9sultats publi\u00e9s<\/h2>\n
\n \n \n \n \n \n \n
Mod\u00e8le<\/th>Indice d\u2019intelligence artificielle d\u2019Artificial Analysis : 59.<\/th><\/tr><\/thead>\n
GPT-5.6 Sol<\/a><\/td>\n SWE-Bench Verified : 85,2 % ; SWE-Bench Pro : 63,2 % ; Terminal-Bench 2.1 : 80,4 % ; OSWorld-Verified : 81,2 %.<\/td>\n <\/tr>\n
Claude Sonnet 5<\/a><\/td>\n Indice d\u2019intelligence artificielle d\u2019Artificial Analysis : 61 (class\u00e9 n\u00b0 1 sur 170 mod\u00e8les). Plus du double d\u2019Opus 4.8 sur Frontier-Bench v0.1 ; environ trois fois sup\u00e9rieur au deuxi\u00e8me meilleur mod\u00e8le sur ARC-AGI 3.<\/td>\n <\/tr>\n
Claude Opus 5<\/a><\/td>\n OCRBench V2 : 67,04 | Video-MME : 72,2 | OSWorld : 47,4 | Speech IF : 89,39<\/td>\n <\/tr>\n
NVIDIA Nemotron 3 Nano Omni<\/a><\/td>\n Seuls les mod\u00e8les dont les d\u00e9veloppeurs publient des chiffres sp\u00e9cifiques sont list\u00e9s. Une absence ici signifie que nous n\u2019avons pas v\u00e9rifi\u00e9 de valeur publi\u00e9e, et non que le mod\u00e8le performe mal \u2014 ce qui, en soi, constitue une information utile lorsque le fournisseur met en avant une performance sur un benchmark.<\/td>\n <\/tr>\n <\/tbody>\n <\/table>\n

Qu\u2019est-ce qu\u2019un benchmark IA ?<\/p>\n<\/div>\n\n

Questions fr\u00e9quemment pos\u00e9es<\/h2>\n
\n
\nUn ensemble fixe de t\u00e2ches dot\u00e9 d\u2019une m\u00e9thode de notation d\u00e9finie, utilis\u00e9 afin de permettre la comparaison de diff\u00e9rents mod\u00e8les sur des entr\u00e9es identiques. Les benchmarks vont de tests de connaissances \u00e0 choix multiples, comme le MMLU,<\/summary>\n

\u00e0 des t\u00e2ches agentic telles que la r\u00e9solution d\u2019issues GitHub r\u00e9elles sur SWE-Bench, et chacun mesure une capacit\u00e9 tr\u00e8s sp\u00e9cifique plut\u00f4t que la qualit\u00e9 globale.
\nQuel benchmark IA est le plus fiable ?
\nAucun seul benchmark ne l\u2019est. Les indices composites constituent la mesure synth\u00e9tique la plus fiable, car il est bien plus difficile d\u2019optimiser simultan\u00e9ment plusieurs \u00e9valuations qu\u2019une seule. Pour une d\u00e9cision pr\u00e9cise, le benchmark le plus fiable est celui qui se rapproche le plus de votre charge de travail \u2014
\nSWE-Bench Verified pour les agents de programmation, OSWorld pour l\u2019utilisation informatique, GPQA pour le raisonnement technique.<\/p>\n<\/details>\n

\nQuel est un bon score MMLU en 2026 ?<\/summary>\n

Le MMLU est largement satur\u00e9 parmi les mod\u00e8les de pointe, donc un score \u00e9lev\u00e9 ne permet plus de les distinguer.
\nIl reste toutefois utile pour positionner les petits mod\u00e8les open source, o\u00f9 l\u2019\u00e9cart entre performances demeure important. Si vous comparez deux mod\u00e8les de pointe, le MMLU ne permettra pas de les d\u00e9partager, et vous devrez recourir au GPQA ou \u00e0 un indice composite.
\nLes benchmarks IA peuvent-ils \u00eatre manipul\u00e9s ?
\nOui, de deux mani\u00e8res. Les donn\u00e9es d\u2019entra\u00eenement peuvent inclure les questions d\u2019un benchmark, gonflant artificiellement les scores sans am\u00e9lioration r\u00e9elle des capacit\u00e9s \u2014 c\u2019est pourquoi les nouveaux benchmarks sont con\u00e7us pour r\u00e9sister \u00e0 la recherche et \u00e0 la m\u00e9morisation. En outre, les conditions d\u2019\u00e9valuation peuvent \u00eatre choisies de fa\u00e7on avantageuse : sous-ensemble diff\u00e9rent, nombre accru de tentatives ou utilisation d\u2019outils compar\u00e9e \u00e0 un mod\u00e8le qui n\u2019en dispose pas. Les classements ind\u00e9pendants et les indices composites att\u00e9nuent ces deux biais.<\/p>\n<\/details>\n

\nLes scores de benchmark pr\u00e9disent-ils les performances en situation r\u00e9elle ?<\/summary>\n

Partiellement. Les benchmarks authentiques sur t\u00e2che, comme SWE-Bench Verified et OSWorld, pr\u00e9disent raisonnablement bien, car la t\u00e2che \u00e9valu\u00e9e est effectivement celle r\u00e9alis\u00e9e en pratique. En revanche, les benchmarks acad\u00e9miques \u00e0 choix multiples pr\u00e9disent mal, car r\u00e9pondre \u00e0 des examens ne correspond pas \u00e0 ce que font la plupart des applications. Le pr\u00e9dicteur le plus fiable reste toutefois une \u00e9valuation que vous construisez vous-m\u00eame sur vos propres donn\u00e9es.
\nQuel mod\u00e8le open-weight obtient le score le plus \u00e9lev\u00e9 ?
\nKimi K3 avec un score de 57 sur l\u2019Indice d\u2019intelligence artificielle d\u2019Artificial Analysis, le meilleur r\u00e9sultat jamais enregistr\u00e9 pour un mod\u00e8le open-weight, \u00e0 seulement quatre points du meilleur mod\u00e8le ferm\u00e9. Le tableau des leaders ci-dessus indique clairement chaque mod\u00e8le open-weight, et l\u2019ensemble complet est triable sur la
\nle fera.<\/p>\n<\/details>\n

\nLes benchmarks d\u2019IA peuvent-ils \u00eatre manipul\u00e9s ?<\/summary>\n

Oui, de deux mani\u00e8res. Les donn\u00e9es d\u2019entra\u00eenement peuvent inclure les questions d\u2019un benchmark, gonflant ainsi les scores sans
\naucun gain r\u00e9el de capacit\u00e9 \u2014 c\u2019est pourquoi les benchmarks r\u00e9cents sont con\u00e7us pour r\u00e9sister aux recherches et
\nm\u00e9morisation. Et les conditions d'\u00e9valuation peuvent \u00eatre choisies de mani\u00e8re favorable : un sous-ensemble diff\u00e9rent, davantage de tentatives ou l'utilisation d'outils compar\u00e9e \u00e0 un mod\u00e8le qui n'en dispose pas. Des classements et des indices composites ex\u00e9cut\u00e9s ind\u00e9pendamment att\u00e9nuent ces deux biais.
\nattempts, ou l'utilisation d'outils compar\u00e9e \u00e0 un mod\u00e8le qui n'en dispose pas. Des classements et des indices composites ex\u00e9cut\u00e9s ind\u00e9pendamment att\u00e9nuent ces deux biais.
\ndes classements et des indices composites ex\u00e9cut\u00e9s ind\u00e9pendamment att\u00e9nuent ces deux biais.<\/p>\n<\/details>\n

\nLes scores aux benchmarks pr\u00e9disent-ils effectivement les performances en situation r\u00e9elle ?<\/summary>\n

Partiellement. Les benchmarks refl\u00e9tant fid\u00e8lement les t\u00e2ches r\u00e9elles \u2014 comme SWE-bench Verified et OSWorld \u2014 offrent des pr\u00e9dictions raisonnables, car la t\u00e2che \u00e9valu\u00e9e est pr\u00e9cis\u00e9ment celle qu\u2019on rencontre dans le monde r\u00e9el.
\nEn revanche, les benchmarks acad\u00e9miques \u00e0 choix multiples pr\u00e9disent mal les performances r\u00e9elles, car r\u00e9pondre \u00e0 des questions d\u2019examens ne correspond pas \u00e0 ce que font la plupart des applications.
\nLe pr\u00e9dicteur le plus fiable reste toutefois une \u00e9valuation que vous concevez vous-m\u00eame, sur vos propres donn\u00e9es.
\nune \u00e9valuation que vous concevez vous-m\u00eame, sur vos propres donn\u00e9es.<\/p>\n<\/details>\n

\nQuel mod\u00e8le open-weight obtient le score le plus \u00e9lev\u00e9 ?<\/summary>\n

Kimi K3, avec un score de 57 sur l\u2019Intelligence Index d\u2019Artificial Analysis, soit le meilleur r\u00e9sultat jamais enregistr\u00e9 pour un mod\u00e8le open-weight, \u00e0 seulement quatre points du meilleur mod\u00e8le ferm\u00e9.
\nLe tableau des leaders ci-dessus signale explicitement chaque mod\u00e8le open-weight, et l\u2019ensemble complet est triable sur la
\npage correspondante.
\nClassement des grands mod\u00e8les linguistiques (LLM)<\/a>.<\/p>\n<\/details>\n<\/div>","protected":false},"excerpt":{"rendered":"

An AI benchmark is a fixed set of tasks used to score a model’s ability, so that different models can […]<\/p>\n","protected":false},"author":1,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"class_list":["post-2102","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/convly.ai\/fr\/wp-json\/wp\/v2\/pages\/2102","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/convly.ai\/fr\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/convly.ai\/fr\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/convly.ai\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/convly.ai\/fr\/wp-json\/wp\/v2\/comments?post=2102"}],"version-history":[{"count":0,"href":"https:\/\/convly.ai\/fr\/wp-json\/wp\/v2\/pages\/2102\/revisions"}],"wp:attachment":[{"href":"https:\/\/convly.ai\/fr\/wp-json\/wp\/v2\/media?parent=2102"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}