Erklärung zu KI-Benchmarks (2026): Was jeder einzelne misst und wer aktuell führt

Ein KI-Benchmark ist ein festgelegter Satz von Aufgaben, mit dem die Leistungsfähigkeit eines Modells bewertet wird, damit
verschiedene Modelle anhand desselben Tests verglichen werden können. Es gibt keinen einzigen Benchmark, der
entscheidet, welches Modell das beste ist – jeder misst etwas Spezifisches, und mehrere der bekannten Benchmarks
sind mittlerweile nahezu ausgereizt. Der praktikable Ansatz besteht darin, die zwei bis drei Benchmarks zu betrachten, die Ihrer
tatsächlichen Arbeitslast entsprechen, und jede einzelne Schlagzeilenzahl kritisch zu hinterfragen.

Wer führt derzeit

Sortiert nach dem Artificial Analysis Intelligence Index, einer Zusammensetzung mehrerer unabhängiger
Bewertungen statt eines einzelnen Tests. Die letzte Spalte wird bei den meisten Vergleichen weggelassen: die Punktzahl
geteilt durch den gewichteten Preis – das ist letztlich das, was Sie tatsächlich kaufen.

Die Benchmarks, die 2026 zählen

MMLU (Massive Multitask Language Understanding)

Multiple-Choice-Fragen zu 57 Fachgebieten, von Grundschulmathematik bis Jura
Jahrelang war dies die Standard-Kennzahl, und genau das ist jetzt das Problem: Frontier-Modelle
liegen so dicht beieinander, dass Unterschiede im Rauschen untergehen. MMLU ist immer noch
nützlich, um ein kleines Open-Source-Modell gegen ein großes zu bewerten, aber fast nutzlos, um
zwei Frontier-Modelle voneinander zu unterscheiden. Behandeln Sie einen MMLU-Claim aus 2026 als Mindestprüfung, nicht als Ranking.

GPQA (Graduate-Level Google-Proof Q&A)

Von Domain-PhDs in Biologie, Physik und Chemie verfasst und absichtlich so gestaltet, dass
die Websuche hilft nicht weiter. Sie beantwortet eine andere Frage als MMLU: nicht „hat das Modell“,"33709":"viel gelesen" sondern „kann es ein wirklich schwieriges Problem in einem technischen Bereich durchdenken“. Weil
read a lot” but “can it reason through a genuinely hard problem in a technical field”. Because
es sowohl Auswendiglernen als auch Abrufen widersteht, hat es als Diskriminator besser standgehalten als MMLU.

SWE-bench Verified

Echte Bug-Reports aus echten GitHub-Repositories, bewertet danach, ob der Patch des Modells
die eigenen Tests des Projekts bestehen lässt. Die Verified-Teilmenge ist der von Menschen validierte Teil, gefiltert, um
fehlerhafte oder unmögliche Aufgaben zu entfernen — weshalb Sie überprüfen sollten, welche welche SWE-bench-Variante ein
Anbieter zitiert. Dies ist der einzeln relevanteste Benchmark, wenn Sie ein Modell für einen Coding-Agent auswählen,
denn Aufgabe und Bewertung sind authentisch. Claude Sonnet 5
berichtet 85,2 % auf SWE-bench Verified und 63,2 % auf das schwierigere SWE-bench Pro.

Terminal-Bench

Agentic-Aufgaben in einem echten Terminal: etwas installieren, einen Fehler diagnostizieren, eine
Behebung skripten. Es misst eine andere Fähigkeit als das Schreiben eines Patches — Toleranz für mehrstufige Arbeit, bei der
das Modell seine eigene Fehlerausgabe lesen und sich erholen muss. Claude Sonnet 5 berichtet 80,4 % auf
Terminal-Bench 2.1. Wenn Ihr Anwendungsfall ein autonomer Agent und nicht ein Inline-Code-
Assistant ist, sagen Ihnen dies und OSWorld mehr als SWE-bench.

OSWorld

Computernutzung in einer echten Desktop-Umgebung — Anwendungen öffnen, durch Oberflächen klicken,
eine Aufgabe durchführen, die eine Person mit der Maus erledigen würde. Die Scores hier sind durchweg viel niedriger als bei Text-Benchmarks,
was ein ehrliches Signal darüber ist, wie unreif Computer-Use-Agenten
noch immer sind. Claude Sonnet 5 berichtet 81,2 % auf OSWorld-Verified; NVIDIAs Nemotron 3 Nano Omni,
ein 30B-Open-Modell, berichtet 47,4 % auf OSWorld, ein angemessenes Ergebnis für seine Größe.

ARC-AGI

Abstrakte visuelle Reasoning-Rätsel, gebaut so, dass Pattern-Matching aus Trainingsdaten nicht
übertragbar ist. Jede Aufgabe ist eine Handvoll Gitterumwandlungen, die das Modell aus einem Paar
Beispiele ableiten muss. ARC-AGI ist das Nächste, das der Bereich einem echten Test der Generalisierung statt Abruf hat,
weshalb Fortschritte langsam sind und Sprünge als signifikant behandelt werden.
Claude Opus 5 wird mit etwa dem Dreifachen des nächstbesten Modells auf ARC-AGI 3 berichtet.

Die letzte Prüfung der Menschheit

Von Experten verfasste Fragen über viele Disziplinen, speziell geschrieben, um die
Sättigung zu vermeiden, die MMLU erfasste. Das Designziel ist ein Benchmark, der hart bleibt, während Modelle besser werden,
daher sind Scores konstruktionsbedingt niedrig und kleine Gewinne sind aussagekräftig. Lesen Sie ihn als Frontier-
Diskriminator, nicht als Maßstab für Nützlichkeit für alltägliche Arbeit.

Artificial Analysis Intelligence Index

Kein Test, sondern eine Composite, die mehrere unabhängige Bewertungen in einen Score kombiniert. Das ist
sein Wert: Jeder einzelne Benchmark kann gezielt werden, und ein Blend ist viel schwerer zu spielen. Es ist der
Maßstab, der in der obigen Tabelle verwendet wird. Claude Opus 5 ist der aktuelle Führende mit 61, Claude Fable 5 bei
60 und GPT-5.6 Sol bei 59 — und Kimi K3 bei 57, das stärkste Open-Weight-Ergebnis, das verzeichnet ist, innerhalb
von vier Punkten des besten geschlossenen Modells.

Wie man einen Benchmark-Claim liest

Fragen Sie, wer ihn durchgeführt hat. Ein von einem Anbieter gemeldeter Score auf seiner eigenen Launch-Seite und eine
unabhängige Bewertung sind unterschiedliche Arten von Belegen. Unabhängige Leaderboards wenden dieselbe
Bewertung auf jedes Modell an; ein Anbieter wählt seine eigenen Bedingungen.

Prüfen Sie auf Kontamination. Wenn die Fragen eines Benchmarks vor dem Trainingsstichtag eines Modells liegen
und öffentlich verfügbar sind, befinden sich einige wahrscheinlich in den Trainingsdaten. Das ist der
Hauptgrund, warum ältere Benchmarks im Laufe der Zeit anschwellen, und warum neuere so
gebaut werden, dass sie „Google-proof“ oder vollständig zurückgehalten sind.

Achten Sie auf einen verschobenen Pfosten. „SWE-bench“ ohne „Verified“, eine unbenannte Teilmenge,
eine andere Anzahl von Versuchen oder ein Score mit Tool-Nutzung versus ohne — dies sind die
üblichen Wege, wie ein Vergleich aufhört, gleich zu sein.

Vorsicht vor Sättigung. Wenn jedes ernstzunehmende Modell in einem Test über 90 Punkte erreicht, dann
hat dieser Test aufgehört, etwas zu ranken. Unterschiede von ein oder zwei Punkten an der Spitze eines gesättigten
Benchmarks sind Rauschen, keine Information.

Der Preis ist Teil der Bewertung. Ein Modell, das zwei Punkte besser ist und sechsmal teurer
kostet, ist für die meisten Workloads nicht besser. Deshalb enthält die obige Tabelle eine Spalte für Score pro Dollar
und deshalb existiert der price-performance
index .

Welcher Benchmark sollte dir eigentlich wichtig sein?

Eine Coding-Agent bauen: SWE-bench Verified zuerst, Terminal-Bench zweite.
MMLU vollständig ignorieren.

Ein Computer-Use- oder Desktop-Agent: OSWorld, dann Terminal-Bench.
Erwarten Sie, dass die absoluten Zahlen niedrig sind.

Technische oder wissenschaftliche Fragebeantwortung: GPQA und Humanity's Last Exam, wenn
Ihre Fragen wirklich auf Expertenniveau liegen.

Allgemeiner Assistent oder Chat: ein zusammengesetzter Index ist aussagekräftiger als jeder
einzelne Test, da kein Benchmark die Vielfalt der Fragen widerspiegelt, die echte Nutzer stellen.

Auswahl eines kleinen Modells zum Selbst-Hosting: Benchmarks sind weniger wichtig als die Kompatibilität. Überprüfen Sie
zunächst, welche Modelle physisch auf Ihrer Hardware laufen,
VRAM-Rechner dann vergleichen Sie
Benchmark-Ergebnisse nur zwischen den Modellen, die kompatibel sind.

Veröffentlichte Benchmark-Ergebnisse in unserer Datenbank

Häufig gestellte Fragen