Explicação dos Benchmarks de IA (2026): O que cada um mede e quem lidera

Um benchmark de IA é um conjunto fixo de tarefas usado para avaliar a capacidade de um modelo, de modo que
modelos diferentes possam ser comparados no mesmo teste. Não existe um único benchmark que
defina qual modelo é o melhor — cada um mede algo específico, e diversos benchmarks conhecidos
já estão quase saturados. A abordagem prática consiste em analisar os dois ou três benchmarks que correspondem à sua
carga de trabalho real e tratar qualquer número isolado divulgado como título com ceticismo.

Quem lidera atualmente

Classificados pelo Índice de Inteligência Artificial da Artificial Analysis, uma composição de diversas
avaliações independentes, em vez de um único teste. A última coluna é aquela que a maioria das comparações omite: o resultado
dividido pelo preço médio ponderado, que é, afinal, o que você realmente está comprando.

Os benchmarks que importam em 2026

MMLU (Massive Multitask Language Understanding)

Questões de múltipla escolha em 57 disciplinas, desde matemática elementar até profissional
direito. Durante anos foi o número destaque padrão, e esse é agora o problema: modelos de fronteira
se agrupam tão proximamente no topo que as diferenças entre eles caem dentro do ruído. MMLU ainda é
útil para posicionar um modelo pequeno aberto contra um grande, e praticamente inútil para separar
dois modelos de fronteira. Trate uma alegação MMLU de 2026 como uma verificação de piso, não uma classificação.

GPQA (Graduate-Level Google-Proof Q&A)

Escrito por PhDs especialistas em biologia, física e química, e deliberadamente projetado para que
buscar na web não ajude. Responde uma pergunta diferente de MMLU: não «o modelo
leu bastante» mas «consegue raciocinar através de um problema genuinamente difícil em um campo técnico». Porque
resiste tanto à memorização quanto à recuperação, envelheceu melhor que MMLU como discriminador.

SWE-bench Verificado

Relatórios de bugs reais de repositórios reais do GitHub, pontuados se o patch do modelo faz os
próprios testes do projeto passarem. O subconjunto Verified é a porção validada por humanos, filtrada para remover
tarefas que estavam quebradas ou impossíveis — e é por isso que você deve verificar qual qual SWE-bench um
fornecedor está citando. Este é o benchmark mais relevante para decisão se você está escolhendo um
modelo para um agente de código, porque tanto a tarefa quanto a pontuação são autênticas. Claude Sonnet 5
relata 85,2% em SWE-bench Verified e 63,2% no SWE-bench Pro mais difícil.

Terminal-Bench

Tarefas agentic realizadas em um terminal real: instalar algo, diagnosticar uma falha, programar uma
correção. Mede uma habilidade diferente de escrever um patch — tolerância para trabalho multi-etapa onde
o modelo deve ler seu próprio erro e se recuperar. Claude Sonnet 5 relata 80,4% em
Terminal-Bench 2.1. Se seu caso de uso é um agente autônomo em vez de um assistente de código
inline, este e OSWorld dizem mais sobre você do que SWE-bench faz.

OSWorld

Uso de computador em um ambiente de desktop real — abrir aplicativos, clicar através de interfaces,
completar uma tarefa que uma pessoa faria com um mouse. Pontuações aqui são muito mais baixas que em
benchmarks de texto em toda a área, que é um sinal honesto sobre quão imaturos ainda são os agentes de uso de computador.
Claude Sonnet 5 relata 81,2% em OSWorld-Verified; Nemotron 3 Nano Omni da NVIDIA,
um modelo aberto de 30B, relata 47,4% em OSWorld, que é um resultado razoável para seu tamanho.

ARC-AGI

Quebra-cabeças de raciocínio visual abstrato construídos para que correspondência de padrão de dados de treinamento não
transfira. Cada tarefa é um punhado de transformações de grade que o modelo deve inferir de alguns
exemplos. ARC-AGI é a coisa mais próxima que o campo tem de um teste de generalização genuína em vez
de memorização, e é por isso que o progresso nela é lento e por que saltos são tratados como significativos.
Claude Opus 5 é relatado em aproximadamente três vezes o próximo melhor modelo em ARC-AGI 3.

O Último Exame da Humanidade

Questões escritas por especialistas em muitas disciplinas, especificamente escritas para resistir à
saturação que tomou conta de MMLU. O objetivo de design é um benchmark que permanece difícil conforme modelos melhoram,
então pontuações são baixas por construção e pequenos ganhos são significativos. Leia como um
discriminador de fronteira, não como uma medida de utilidade para trabalho ordinário.

Índice de Inteligência Artificial da Artificial Analysis

Não é um teste mas um composto, combinando várias avaliações independentes em uma pontuação. Esse é
seu valor: qualquer benchmark único pode ser direcionado, e uma mistura é muito mais difícil de explorar. É a
escala usada na tabela acima. Claude Opus 5 é a líder atual em 61, com Claude Fable 5 em
60 e GPT-5.6 Sol em 59 — e Kimi K3 em 57, o resultado de código aberto mais forte registrado, sentado
dentro de quatro pontos do melhor modelo fechado.

Como ler uma alegação de benchmark

Pergunte quem executou. Uma pontuação relatada por fornecedor em sua própria página de lançamento e uma
avaliação independente são diferentes tipos de evidência. Leaderboards independentes aplicam o mesmo
harness a cada modelo; um fornecedor escolhe suas próprias condições.

Verifique contaminação. Se as questões de um benchmark precedem o corte de treinamento de um modelo
e existem publicamente, algumas delas provavelmente estão nos dados de treinamento. Esta é a
razão principal pela qual benchmarks mais antigos se inflacionam com o tempo e por que novos são construídos para serem
«à prova do Google» ou mantidos inteiramente fora.

Observe um movimento de trave. «SWE-bench» sem «Verified», um subconjunto sem nome,
um número diferente de tentativas, ou uma pontuação com uso de ferramenta comparada com uma sem — estas
são as formas usuais de uma comparação deixar de ser equivalente.

Cuidado com saturação. Quando todo modelo sério marca acima de 90 em um teste, esse
teste deixou de classificar qualquer coisa. Diferenças de um ou dois pontos no topo de um
benchmark saturado são ruído, não sinal.

Preço faz parte da pontuação. Um modelo dois pontos melhor e seis vezes mais
caro não é melhor para a maioria das cargas de trabalho. É por isso que a tabela acima contém uma coluna de pontuação por dólar
e por que o índice de desempenho por preço
existe. existe.

Qual benchmark você realmente deve se importar?

Construindo um agente de codificação: SWE-bench Verified em primeiro lugar, Terminal-Bench em segundo.
Ignore MMLU completamente.

Construindo um agente de uso de computador ou desktop: OSWorld, depois Terminal-Bench.
Espere que os números absolutos sejam baixos.

Resposta a perguntas técnicas ou científicas: GPQA e Humanity's Last Exam se
suas perguntas forem genuinamente de nível especializado.

Assistente geral ou chat: um índice composto é mais informativo do que qualquer
teste isolado, porque nenhum benchmark se assemelha à variedade de coisas que os usuários reais perguntam.

Escolhendo um modelo pequeno para auto-hospedagem: benchmarks importam menos do que adequação. Verifique
o que será executado fisicamente em seu hardware com
calculadora de VRAM primeiro, depois compare
pontuações de benchmark apenas entre os modelos que funcionam.

Resultados de benchmark publicados em nosso banco de dados

Perguntas frequentes