Erklärung zu KI-Benchmarks (2026): Was jeder einzelne misst und wer aktuell führt

Ein KI-Benchmark ist ein festgelegter Satz von Aufgaben, mit dem die Leistungsfähigkeit eines Modells bewertet wird, damit
verschiedene Modelle anhand desselben Tests verglichen werden können. Es gibt keinen einzigen Benchmark, der
entscheidet, welches Modell das beste ist – jeder misst etwas Spezifisches, und mehrere der bekannten Benchmarks
sind mittlerweile nahezu ausgereizt. Der praktikable Ansatz besteht darin, die zwei bis drei Benchmarks zu betrachten, die Ihrer
tatsächlichen Arbeitslast entsprechen, und jede einzelne Schlagzeilenzahl kritisch zu hinterfragen.

Wer führt derzeit

Sortiert nach dem Artificial Analysis Intelligence Index, einer Zusammensetzung mehrerer unabhängiger
Bewertungen statt eines einzelnen Tests. Die letzte Spalte wird bei den meisten Vergleichen weggelassen: die Punktzahl
geteilt durch den gewichteten Preis – das ist letztlich das, was Sie tatsächlich kaufen.

Die für 2026 relevanten Benchmarks

MMLU (Massive Multitask Language Understanding)

Multiple-Choice-Fragen aus 57 Fachgebieten – von Grundschulmathematik bis hin zum Fachrecht.
Jahrelang war dies die Standard-Schlagzeilenzahl; mittlerweile ist dies jedoch zum Problem geworden: Spitzenmodelle liegen so eng beieinander, dass Unterschiede zwischen ihnen innerhalb der statistischen Messunsicherheit liegen. MMLU bleibt zwar nützlich, um ein kleines Open-Source-Modell mit einem großen zu vergleichen, ist aber nahezu nutzlos, um zwei Spitzenmodelle voneinander abzugrenzen. Behandeln Sie eine MMLU-Angabe aus dem Jahr 2026 als Mindestanforderungsprüfung, nicht als Rangliste.
so eng am oberen Ende gruppiert, dass die Unterschiede zwischen ihnen innerhalb des Rauschens liegen. MMLU ist nach wie vor
nützlich, um ein kleines offenes Modell mit einem großen zu vergleichen, aber nahezu nutzlos, um zwei State-of-the-Art-Modelle voneinander abzugrenzen. Behandeln Sie eine MMLU-Angabe aus dem Jahr 2026 als Mindestanforderungstest, nicht als Rangfolge.
zwei Spitzenmodelle. Behandeln Sie eine MMLU-Angabe für 2026 als untere Grenze, nicht als Rangfolge.

GPQA (Graduate-Level Google-Proof Q&A)

Von Fach-PhDs aus Biologie, Physik und Chemie erstellt und gezielt so konzipiert, dass eine Internetrecherche keine Hilfe bietet.
Dieser Benchmark beantwortet eine andere Frage als MMLU: nicht „hat das Modell viel gelesen?“, sondern „kann es wirklich schwierige Probleme in einem technischen Fachgebiet logisch durchdenken?“. Da er sowohl Auswendiglernen als auch reine Informationsabrufstrategien widersteht, hat sich GPQA im Vergleich zu MMLU besser als Differenzierungsmaßstab gehalten.
viel gelesen hat“, sondern „kann es wirklich eine genuinely schwierige Aufgabe aus einem technischen Fachgebiet logisch durchdringen?“ Da
es sowohl Auswendiglernen als auch Abruf widersteht, hat es sich im Vergleich zu MMLU besser als Differenzierungskriterium behauptet.

SWE-bench Verified

Tatsächliche Fehlerberichte aus echten GitHub-Repositories, bewertet danach, ob der vom Modell generierte Patch den
die eigenen Tests des Projekts bestehen. Der Verified-Teil ist der von Menschen validierte Teil, gefiltert, um
Aufgaben zu entfernen, die fehlerhaft oder unlösbar waren – weshalb Sie unbedingt prüfen sollten, welche SWE-bench eine
der vom Anbieter angegebene Wert ist. Dies ist der entscheidungsrelevanteste Benchmark, wenn Sie ein
Modell für einen Codierungs-Agenten auswählen, da sowohl die Aufgabe als auch die Bewertung authentisch sind. Claude Sonnet 5
erreicht 85,2 % bei SWE-bench Verified und 63,2 % beim anspruchsvolleren SWE-bench Pro.

Terminal-Bench

Agentische Aufgaben in einer echten Terminal-Umgebung: etwas installieren, einen Fehler diagnostizieren, ein Skript zur
Behebung schreiben. Es misst eine andere Fähigkeit als das Schreiben eines Patches – nämlich die Toleranz gegenüber mehrstufigen Aufgaben, bei denen
das Modell seine eigenen Fehlermeldungen lesen und darauf reagieren muss. Claude Sonnet 5 erreicht 80,4 % bei
Terminal-Bench 2.1. Falls Ihr Anwendungsfall ein autonomer Agent und nicht ein Inline-Code-Assistent ist, sagen Ihnen dieser Benchmark und OSWorld mehr als SWE-bench.
Assistenten – dieser Test und OSWorld liefern Ihnen mehr Informationen als SWE-bench.

OSWorld

Computer-Nutzung in einer realen Desktop-Umgebung – Anwendungen öffnen, durch Benutzeroberflächen klicken,
eine Aufgabe erledigen, die eine Person mit der Maus ausführen würde. Die Ergebnisse hier liegen deutlich unter den Werten bei Text-
Benchmarks, was ehrlich signalisiert, wie unreif Computer-Nutzungs-Agenten nach wie vor sind. Claude Sonnet 5 erreicht 81,2 % bei OSWorld-Verified; NVIDIAs Nemotron 3 Nano Omni,
ein offenes 30-Milliarden-Parameter-Modell, erreicht 47,4 % bei OSWorld – ein solides Ergebnis für seine Größe.
ein offenes 30-Milliarden-Parameter-Modell, erzielt 47,4 % auf OSWorld – ein solides Ergebnis für seine Größe.

ARC-AGI

Abstrakte visuelle Denkaufgaben, die so konstruiert sind, dass Mustererkennung aus Trainingsdaten nicht übertragbar ist. Jede Aufgabe besteht aus wenigen Gittertransformationen, die das Modell anhand einiger
Beispiele erschließen muss. ARC-AGI ist das derzeit beste verfügbare Instrument zur Messung echter Generalisierungsfähigkeit statt bloßer Erinnerung – daher verläuft der Fortschritt langsam und signifikante Verbesserungen werden als bedeutend gewertet.
Beispiele. ARC-AGI ist das derzeit beste verfügbare Maß für echte Generalisierungsfähigkeit statt bloßen Abrufs, weshalb Fortschritte darauf langsam sind und Verbesserungen als bedeutend gelten.
als Abruf, weshalb der Fortschritt hier langsam ist und Fortschritte daher als bedeutend gelten.
Claude Opus 5 liegt bei ARC-AGI 3 etwa dreimal so hoch wie das jeweils nächstbeste Modell.

Die letzte Prüfung der Menschheit

Von Experten erstellte Fragen aus zahlreichen Disziplinen, speziell entwickelt, um der Sättigung entgegenzuwirken, die MMLU überrollt hat. Das Ziel war ein Benchmark, der auch bei steigender Modellleistung weiterhin herausfordernd bleibt,
sodass die Ergebnisse per Konstruktion niedrig ausfallen und bereits kleine Verbesserungen aussagekräftig sind. Lesen Sie ihn als „Frontier-Diskriminator“, nicht als Maßstab für die Alltagstauglichkeit.
sind die Punktzahlen daher konstruktionsbedingt niedrig, und bereits kleine Gewinne sind aussagekräftig. Lesen Sie sie als Differenzierungskriterium für State-of-the-Art-Modelle, nicht als Maß für die Nützlichkeit im alltäglichen Einsatz.
Diskriminator, nicht als Maß für die Nützlichkeit im gewöhnlichen Arbeitsalltag.

Artificial Analysis Intelligence Index

Kein einzelner Test, sondern eine Zusammenfassung mehrerer unabhängiger Bewertungen zu einer einzigen Kennzahl. Genau darin liegt sein Wert: Einzelne Benchmarks können gezielt optimiert werden, während eine Kombination deutlich schwerer zu manipulieren ist. Er wird in der obigen Tabelle verwendet. Claude Opus 5 führt derzeit mit 61 Punkten, gefolgt von Claude Fable 5 mit 60 und GPT-5.6 Sol mit 59 – sowie Kimi K3 mit 57, dem besten bisher dokumentierten Ergebnis für ein Open-Weight-Modell, das nur vier Punkte hinter dem besten Closed-Weight-Modell liegt.
ihren Wert: Ein einzelner Benchmark kann gezielt optimiert werden, während eine Kombination aus mehreren Benchmarks deutlich schwerer zu manipulieren ist. Sie stellt die
Skala, die in der obigen Tabelle verwendet wird. Claude Opus 5 ist derzeit mit 61 führend, gefolgt von Claude Fable 5 mit 60 und GPT-5.6 Sol mit 59 – sowie Kimi K3 mit 57, dem bislang stärksten Ergebnis eines offenen Modells, das nur vier Punkte hinter dem besten geschlossenen Modell liegt.
innerhalb von vier Punkten des besten geschlossenen Modells.
innerhalb von vier Punkten des besten geschlossenen Modells.

Wie man eine Benchmark-Angabe liest

Fragen Sie, wer sie durchgeführt hat. Ein vom Anbieter selbst veröffentlichtes Ergebnis auf dessen Launch-Seite und eine unabhängige Bewertung stellen unterschiedliche Arten von Evidenz dar. Unabhängige Leaderboards wenden denselben Testrahmen („harness“) auf jedes Modell an; ein Anbieter wählt hingegen seine eigenen Bedingungen.
unabhängige Bewertungen stellen eine andere Art von Evidenz dar. Unabhängige Leaderboards wenden denselben Testrahmen („harness“) auf jedes Modell an; ein Anbieter wählt hingegen seine eigenen Bedingungen.
unabhängige Bewertungen stellen eine andere Art von Evidenz dar. Unabhängige Leaderboards wenden denselben Testrahmen („harness“) auf jedes Modell an; ein Anbieter wählt hingegen seine eigenen Bedingungen.

Prüfen Sie auf Datenkontamination. Wenn die Fragen eines Benchmarks vor dem Stichtag für die Trainingsdaten eines Modells veröffentlicht wurden und öffentlich zugänglich sind, befinden sich wahrscheinlich einige davon bereits in den Trainingsdaten. Dies ist der Hauptgrund dafür, dass ältere Benchmarks im Laufe der Zeit überhöhte Werte anzeigen – und warum neuere Benchmarks bewusst „Google-sicher“ gestaltet oder vollständig zurückgehalten werden.
Trainingsstoppdatum liegen und öffentlich zugänglich sind, befinden sich einige von ihnen wahrscheinlich bereits im Trainingsdatensatz. Dies ist der
Hauptgrund dafür, dass ältere Benchmarks im Laufe der Zeit überhöhte Werte anzeigen, und warum neuere Benchmarks gezielt „Google-proof“ gestaltet oder vollständig zurückgehalten werden.
„Google-proof“ gestaltet oder vollständig zurückgehalten werden.

Achten Sie auf verschobene Zielmarken. „SWE-bench“ ohne Zusatz „Verified“, ein nicht näher benannter Teildatensatz,
eine andere Anzahl zulässiger Versuche oder ein Vergleich eines Ergebnisses mit Werkzeugnutzung gegen eines ohne – all dies sind übliche Wege, wie ein Vergleich seine Vergleichbarkeit verliert.
sind die üblichen Gründe, warum ein Vergleich nicht mehr „apples-to-apples“ bleibt.

Vorsicht vor Sättigung. Wenn jedes ernstzunehmende Modell bei einem Test über 90 Punkte erreicht, rangiert dieser Test nicht mehr sinnvoll. Unterschiede von einem oder zwei Punkten an der Spitze eines gesättigten
Benchmarks sind Rauschen, kein Signal.
Benchmarks sind Rauschen statt Signal.

Der Preis gehört zur Bewertung. Ein Modell, das zwei Punkte besser, aber sechsmal teurer ist, ist für die meisten Workloads nicht besser. Deshalb enthält die obige Tabelle eine Spalte „Punkte pro Dollar“, und deshalb existiert der
teuer ist, bedeutet nicht automatisch besser für die meisten Workloads. Deshalb enthält die obige Tabelle eine Spalte mit der Kennzahl „Punkte pro Dollar“ sowie die
Spalte und warum die Preis-Leistungs-
Index .

Welcher Benchmark ist für Sie tatsächlich relevant?

Für die Entwicklung eines Codierungs-Agenten: Zuerst SWE-bench Verified, dann Terminal-Bench.
Ignorieren Sie MMLU vollständig.

Entwicklung eines Computer-Nutzungs- oder Desktop-Agents: OSWorld, dann Terminal-Bench.
Erwarten Sie, dass die absoluten Zahlen niedrig ausfallen.

Technische oder wissenschaftliche Fragebeantwortung: GPQA und Humanity’s Last Exam, falls
Ihre Fragen tatsächlich expertenniveau sind.

Allgemeiner Assistent oder Chat: Ein zusammengesetzter Index ist aussagekräftiger als ein einzelner Test, da kein einziger Benchmark die breite Palette an Aufgaben widerspiegelt, die echte Nutzer stellen.
Auswahl eines kleinen Modells für das Selbsthosting:

Benchmarks spielen eine geringere Rolle als die Passgenauigkeit. Prüfen Sie zuerst was physisch auf Ihrer Hardware läuft, und vergleichen Sie anschließend
die Benchmark-Ergebnisse nur unter den Modellen, die darauf lauffähig sind.
VRAM-Rechner Veröffentlichte Benchmark-Ergebnisse in unserer Datenbank
Veröffentlichte Ergebnisse

Artificial Analysis Intelligence Index: 59.

Häufig gestellte Fragen