OpenAI hat einen Beitrag mit dem Titel „Wie das Aktivieren zweier Einstellungen unsere Ergebnisse beim ARC-AGI-3-Benchmark verdreifacht hat“ veröffentlicht; laut the-decoder.com nutzt das Unternehmen diese Ergebnisse, um zu behaupten, dass GPT-5.6 Sol ARC-AGI-3 eine führende Position gegenüber dem konkurrierenden Modell Opus 5 einnimmt – allerdings nur dann, wenn der Benchmark über die neueste OpenAI-API mit zwei zusätzlichen aktivierten Einstellungen ausgeführt wird. Diese Behauptung ist weniger bemerkenswert wegen der Platzierung in der Rangliste als vielmehr wegen der Aussage, wie stark Benchmark-Ergebnisse von der exakten Konfiguration abhängen, mit der sie erzielt wurden – ein Detail, das selten den Weg von einem Vendor-Blogbeitrag zu einer Grafik auf einer Präsentationsfolie übersteht.
Wichtigste Erkenntnisse
- OpenAI hat einen Beitrag veröffentlicht, wonach das Aktivieren zweier Einstellungen laut eigener Überschrift die Ergebnisse beim ARC-AGI-3-Benchmark verdreifacht habe.
- the-decoder.com berichtet, dass OpenAI behauptet, GPT-5.6 Sol Opus 5 beim ARC-AGI-3-Benchmark mit seiner neuesten API sowie diesen beiden zusätzlichen Einstellungen zu übertreffen.
- Der berichtete dreifache Leistungszuwachs resultiert aus Konfigurationsänderungen und nicht aus der Veröffentlichung eines neuen Modells, wie aus der Darstellung im eigenen OpenAI-Beitrag hervorgeht.
- Keiner der beiden Quelltexte nennt konkrete Ergebniswerte, die Identität der beiden Einstellungen oder die Bewertungsdaten – diese Angaben sollten daher nicht unterstellt werden.
- Für Entwickler ergibt sich daraus die praktische Erkenntnis, dass API-Ebene-Konfigurationen Benchmark-Ergebnisse erheblich beeinflussen können: Ergebnisse sind nur vergleichbar, wenn die Testumgebung („harness“) identisch ist.
Was OpenAI tatsächlich behauptet hat über GPT-5.6 Sol beim ARC-AGI-3-Benchmark
Die primäre Quelle hier ist OpenAI selbst. Der Titel des Unternehmensbeitrags lautet „Wie das Aktivieren zweier Einstellungen unsere Ergebnisse beim ARC-AGI-3-Benchmark verdreifacht hat“ – daraus ergeben sich drei zentrale Aussagen: Der betreffende Benchmark ist ARC-AGI-3; die Verbesserung wird auf das Aktivieren zweier Einstellungen zurückgeführt; und die Größenordnung dieser Verbesserung wird als Verdopplung des Ergebnisses beschrieben.
Die zweite Quelle, the-decoder.com, fügt die wettbewerbsorientierte Einordnung hinzu. Der Bericht stellt fest, dass OpenAI behauptet, GPT-5.6 Sol übertrifft Opus 5 beim ARC-AGI-3-Benchmark mit seiner neuesten API und zwei zusätzlichen Einstellungen. Das ist der gesamte Umfang dessen, was zum Zeitpunkt der Abfassung dieses Textes aus den verfügbaren Materialien dokumentiert ist. Die zugrundeliegenden Ergebniswerte, die Reihenfolge der Modelle vor Aktivierung der Einstellungen, die Anzahl der durchgeführten Aufgaben sowie die Rechenkapazität oder Token-Budget pro Versuch werden in den Quelltexten nicht genannt; eine verantwortungsvolle Interpretation sollte diese Lücken nicht durch Schlussfolgerungen schließen.
Es lohnt sich, die genaue Formulierung der Behauptung präzise darzulegen, da sie leicht missverstanden werden kann. OpenAI wird nicht berichtet, ein neues Modell anzukündigen. Vielmehr wird berichtet, dass das Unternehmen ein neues Ergebnis für ein bestehendes Modell bekanntgibt, das durch eine Änderung der Aufrufweise dieses Modells erzielt wurde.
Warum „zwei Einstellungen“ der wichtigste Begriff dieser Geschichte ist
Eine Verdreifachung eines Benchmark-Ergebnisses allein durch Konfigurationsänderungen stellt einen erheblichen Sprung dar und weist auf ein grundsätzliches Problem bei der Modellvergleichspraxis der Branche hin. State-of-the-art-Bewertungen sind nicht einfach eine Frage des Sendens einer Eingabeaufforderung und der Aufzeichnung einer Antwort. Das Ergebnis hängt vom technischen Rahmen („scaffolding“) um das Modell herum ab: wie viele Versuche ihm erlaubt sind, wie lange es vor der Antwort rechnen darf, ob es Tools aufrufen kann, wie seine Ausgaben geparst werden und wie Fehler behandelt bzw. wiederholt werden. Ändern Sie eines davon – und die Zahl ändert sich ebenfalls.
Dies ist allgemeiner Kontext statt ein berichteter Sachverhalt – die Quellen benennen nicht, welche beiden Einstellungen OpenAI aktiviert hat. Doch die Richtung dieser Erkenntnis stimmt mit einem bekannten Muster überein: Bei Benchmarks, die auf Schlussfolgern und Anpassungsfähigkeit statt auf bloßem Abruf getestet werden, trägt die Testumgebung oft ebenso viel zur Varianz bei wie die zugrundeliegenden Gewichte. Eine Schlagzeile wie „Modell A schlägt Modell B“ ist daher unvollständig, solange die Konfiguration, die zu diesem Ergebnis geführt hat, nicht angegeben ist.
Für alle, die eine Kurzliste potenzieller Modelle pflegen, ist dies ein Grund, Vendor-veröffentlichte Vergleiche als Ausgangspunkt und nicht als endgültiges Urteil zu betrachten. Unser Datenbank für KI-Modelle verfolgt veröffentlichte Spezifikationen verschiedener Anbieter, doch keine statische Tabelle kann die Laufzeit-Einstellungen erfassen, die bei einem Benchmark-Lauf verwendet wurden.
GPT-5.6 Sol versus Opus 5: Was die Quellen belegen – und was nicht
Angesichts der großen Menge an sekundärer Berichterstattung, die eine solche Behauptung typischerweise auslöst, ist es sinnvoll, die berichteten Fakten von den fehlenden Details klar zu trennen. Die folgende Tabelle enthält ausschließlich das, was in den beiden verfügbaren Quellen erscheint.
| Details | Status in den verfügbaren Quellen |
|---|---|
| Benchmark | ARC-AGI-3, im Titel des OpenAI-Beitrags und im Bericht von the-decoder.com genannt |
| Verglichene Modelle | GPT-5.6 Sol und Opus 5, laut the-decoder.com |
| Behauptetes Ergebnis | OpenAI behauptet laut the-decoder.com, dass GPT-5.6 Sol Opus 5 übertrifft |
| Berichtete Verbesserung | Die Ergebnisse „verdreifachten“ sich nach Aktivierung zweier Einstellungen, laut Titel des OpenAI-Beitrags |
| Bedingungen | Neueste OpenAI-API plus zwei zusätzliche Einstellungen, laut the-decoder.com |
| Konkrete Ergebniswerte | Nicht in den Quelltexten enthalten |
| Identität der beiden Einstellungen | Nicht in den Quelltexten enthalten |
| Unabhängige Überprüfung | Nicht in den Quelltexten enthalten |
Die letzte Zeile verdient besondere Aufmerksamkeit. Wie berichtet, handelt es sich dabei um eine Aussage des Herstellers zu einem eigenen Modell, die vom Hersteller veröffentlicht und von the-decoder.com als Behauptung – nicht als bestätigtes Ergebnis unabhängiger Dritter – weitergeleitet wurde. Das ist keine Kritik an der Arbeit – die Veröffentlichung detaillierter Konfigurationsangaben ist transparenter, als lediglich eine nackte Zahl anzugeben –, aber sie legt den Maßstab für die Beweiskraft fest.
Was dies für Entwickler bedeutet, die auf der OpenAI-API aufbauen
Die praktische Erkenntnis für Entwickler lautet nicht „wechseln Sie das Modell“. Vielmehr ist zu beachten, dass die Standardwerte, die Sie beim Aufruf einer API erben, möglicherweise nicht die Einstellungen sind, mit denen die veröffentlichten Ergebnisse erzielt wurden. Wenn ein veröffentlichtes Ergebnis von zwei Nicht-Standard-Einstellungen abhängt, dann sollte ein Team, das diese Workload mit Standardparametern reproduziert, ein deutlich anderes Ergebnis erwarten.
Daraus ergeben sich drei Konsequenzen: Erstens sollte die modellbasierte Auswahl anhand von Benchmarks stets durch eine interne Bewertung auf Ihren eigenen Aufgaben ergänzt werden, wobei exakt die Konfiguration verwendet wird, die auch im Produktivbetrieb zum Einsatz kommen soll. Zweitens führt jede Konfiguration, die die Ergebnisse durch erhöhten Schlussfolgerungsaufwand oder durch Wiederholungsversuche verbessert, in der Regel auch zu höheren Kosten; daher ist der entscheidende Vergleich nicht die reine Qualität, sondern die Qualität pro eingesetzter Kosten-Einheit – ein Aspekt, den unser KI-API-Kostenrechner explizit quantifiziert. Drittens müssen bei einem Vergleich zwischen Anbietern die Einstellungen auf beiden Seiten identisch sein; andernfalls liegt kein sachgemäßer Vergleich vor.
Keine der Quellen nennt die Kostenimplikationen der beiden OpenAI-Einstellungen; dieser Zusammenhang wird daher hier als allgemeine Analyse – nicht als berichtete Tatsache – dargestellt. Doch genau diese Frage stellen sich die meisten Engineering-Teams als Nächstes, und es ist durchaus berechtigt, sie jedem Anbieter zu stellen, der ein konfigurationsabhängiges Ergebnis veröffentlicht.
ARC-AGI-3 und der Wandel hin zur interaktiven Bewertung
Die ARC-AGI-Benchmark-Familie ist gerade deshalb zu einem Referenzpunkt in Diskussionen über allgemeines Schlussfolgern geworden, weil sie sich Strategien zur Auswendiglernen-Memorisierung widersetzt, die die Ergebnisse älterer Test-Sätze künstlich aufblähen. Fortlaufende Versionen rücken immer stärker in Richtung Aufgaben, bei denen ein Modell Regeln erschließen muss, die es zuvor noch nie gesehen hat – statt lediglich ein bereits bekanntes Muster abzurufen.
Dieses Design hat eine für die vorliegende Geschichte relevante Nebenwirkung: Benchmarks, die Exploration und mehrstufiges Problemlösen belohnen, reagieren außergewöhnlich empfindlich darauf, wie viel Spielraum die Testumgebung („harness“) dem Modell für die Exploration lässt. Eine Konfigurationsänderung, die mehr Überlegungszeit oder eine strukturiertere Interaktion ermöglicht, kann daher einen deutlich größeren Leistungssprung bewirken, als dieselbe Änderung bei einem Einzel-Aufruf-Frage-Antwort-Test auslösen würde. Auch dies ist lediglich Hintergrundwissen zum Verhalten solcher Benchmarks – keine Aussage zu den konkreten OpenAI-Einstellungen, deren Details in den Quellen nicht beschrieben werden.
Teams, die Modelle für autonome, mehrstufige Aufgaben evaluieren, erkennen dieses Muster aus ihren eigenen Tests wieder – dieselbe Empfindlichkeit gegenüber „Scaffolding“ zeigt sich auch bei den Tools, die in unserer Übersicht über KI-Coding-Agenten, wo das Design der Testumgebung oft darüber entscheidet, ob ein Agent nutzbar ist oder nicht – trotz identischem zugrundeliegendem Modell.
Wie man Vendor-Benchmark-Behauptungen liest, ohne zu weit zu gehen
Es liegt nahe, konfigurationsabhängige Ergebnisse als Marketing zu bagatellisieren. Das wäre jedoch die falsche Lehre. Ein Anbieter, der offenlegt, welche Einstellungen aktiviert wurden, stellt der Community mehr zur Verfügung als einer, der allein eine Zahl veröffentlicht; die daraus resultierende Behauptung ist zumindest prinzipiell überprüfbar.
Die sinnvolle Haltung liegt zwischen Glaubensbereitschaft und Ablehnung. Behandeln Sie die Behauptung als Bericht: OpenAI behauptet, dass die Aktivierung zweier Einstellungen die ARC-AGI-3-Ergebnisse verdreifacht habe, und OpenAI behauptet, dass die resultierenden Werte GPT-5.6 Sol vor Opus 5 platzieren. Warten Sie auf unabhängige Durchläufe, bevor Sie diese Rangfolge als endgültig betrachten. Und sobald die genauen Einstellungen und Ergebnisse vollständig veröffentlicht sind, prüfen Sie, ob dieselbe Konfiguration auch in Ihrem tatsächlich genutzten Tarif verfügbar und bezahlbar ist. Wo Kosten Teil der Entscheidung sind, verfolgt unser KI-Preis-Leistungs-Index , wie weit ein bestimmtes Qualitätsniveau bei verschiedenen Anbietern reicht.
Häufig gestellte Fragen
Was genau behauptete OpenAI über GPT-5.6 Sol im ARC-AGI-3-Benchmark? Laut the-decoder.com behauptet OpenAI, dass GPT-5.6 Sol Opus 5 im ARC-AGI-3-Benchmark schlägt, wenn es über die neueste API mit zwei zusätzlichen Einstellungen ausgeführt wird. Der offizielle Blogeintrag von OpenAI trägt den Titel „Wie die Aktivierung zweier Einstellungen unsere Ergebnisse im ARC-AGI-3-Benchmark verdreifachte“.
Welche beiden Einstellungen wurden aktiviert? Die verfügbaren Quelltextausschnitte nennen sie nicht. Bis die vollständigen Details aus dem OpenAI-Blogeintrag bestätigt sind, wäre jede konkrete Identifizierung reine Spekulation.
Bedeutet dies, dass GPT-5.6 Sol ein neues Modell ist? Nichts in den Quellen deutet auf eine neue Modellversion hin. Die berichtete Änderung bezieht sich ausschließlich darauf, wie ein bestehendes Modell über die neueste OpenAI-API konfiguriert und aufgerufen wurde.
Wurde das Ergebnis unabhängig verifiziert? Nein, soweit aus den verfügbaren Materialien hervorgeht. the-decoder.com stellt es als OpenAI-Behauptung dar, und eine Bestätigung durch Dritte findet sich in den Quellen nicht.
Sollte dies meine Wahl des Produktionsmodells ändern? Nicht allein aufgrund dieser Aussage. Ein konfigurationsabhängiges Benchmark-Ergebnis ist schwacher Beleg für eine Produktionsentscheidung; eine Evaluierung anhand Ihrer eigenen Workload unter Verwendung Ihrer eigenen Einstellungen und Ihres Budgets ist aussagekräftiger.
Das Fazit
Die berichtete ARC-AGI-3-Behauptung zu GPT-5.6 Sol ist ein nützlicher Datenpunkt, der jedoch mit einer wichtigen Einschränkung verbunden ist. OpenAI behauptet, dass zwei Einstellungen die Ergebnisse verdreifacht haben, und the-decoder.com berichtet, dass das Unternehmen GPT-5.6 Sol nun im ARC-AGI-3-Benchmark vor Opus 5 positioniert – unter Verwendung der neuesten API. Was die Quellen jedoch nicht liefern – weder die konkreten Ergebnisse, noch die Einstellungen, noch die Kosten oder eine unabhängige Reproduktion –, ist genau das, was erforderlich wäre, um die Rangfolge als dauerhaft und nicht nur vorläufig zu betrachten. Bis diese Details öffentlich vorliegen, ist die sicherste Interpretation, dass die Konfiguration im ARC-AGI-3-Benchmark außerordentlich stark ins Gewicht fällt und jeder Leaderboard-Vergleich, der ohne identische Konfigurationen erfolgt, nicht das misst, was er vorgibt zu messen.
Quellen: news.google.com. Berichtet am 30. Juli 2026.
