Overfitting im maschinellen Lernen: Was es ist und wie man es verhindert

Ein Machine-Learning-Modell kann bei Tests eine Genauigkeit von 99 % erreichen und dann in der Realwelt kräftig versagen. Der übliche Übeltäter hat einen Namen: Überanpassung (Overfitting)Überanpassung. Sie ist der häufigste Fehler im praktischen maschinellen Lernen, und ihr Verständnis ist entscheidend, um Modelle zu erstellen, die tatsächlich funktionieren. Dieser Leitfaden erklärt Überanpassung klar und zeigt Ihnen bewährte Methoden, sie zu verhindern.

Was ist Überanpassung?

Überanpassung tritt auf, wenn ein Modell seine Trainingsdaten zu gut lernt — einschließlich des Rauschens, der Eigenheiten und der zufälligen Unregelmäßigkeiten, die nicht das zugrundeliegende Muster widerspiegeln. Statt die allgemeine Regel zu lernen, merkt sich das Modell lediglich die konkreten Beispiele.

Das Ziel des maschinellen Lernens ist Generalisierung: eine gute Leistung auf neuen, bisher ungesehenen Daten. Ein überangepasstes Modell versagt genau darin. Es hat im Grunde die Antworten der Übungsprüfung auswendig gelernt – und besteht daher die Übungsprüfung perfekt, bricht aber bei der echten Prüfung zusammen, weil die Aufgaben anders sind.

Eine einfache Analogie

Stellen Sie sich zwei Schüler vor, die sich auf eine Matheprüfung vorbereiten.

Der erste versteht die Konzepte – die Methoden, die logische Herleitung. Stellen Sie ihm jede beliebige Aufgabe, selbst eine, die er noch nie gesehen hat, und er kann sie lösen.

Der zweite lernt die genauen Übungsaufgaben samt ihren Antworten Wort für Wort auswendig. Bei der Übungsprüfung erreicht er eine perfekte Punktzahl. Bei der echten Prüfung mit neuen Zahlenwerten ist er jedoch hilflos – denn er hat niemals die Methode gelernt, sondern nur die konkreten Antworten.

Der zweite Schüler entspricht einem überangepassten Modell: makellos auf den Trainingsdaten, aber hilflos bei jeder neuen Aufgabe.

So erkennen Sie Überanpassung

Überanpassung weist ein klassisches, unverkennbares Merkmal auf: eine große Lücke zwischen Trainings- und Testleistung.

Deshalb teilen Sie Ihre Daten stets in zwei Teile auf: Sie trainieren das Modell auf einem Teil (dem Trainingsdatensatz) und bewerten es auf einem separaten Teil, den es zuvor noch nie gesehen hat (dem Testdatensatz). Dann gilt:

• Kleine Lücke, beide Werte gut → das Modell generalisiert gut. Gesund.
• Hoher Trainingswert, deutlich niedrigerer Testwert → Überanpassung. Das Modell hat auswendig gelernt.
• Beide Werte schlecht → Unteranpassung. Das Modell ist zu einfach (mehr dazu unten).

Wenn Ihr Modell auf den Trainingsdaten brillant, auf den Testdaten jedoch mittelmäßig abschneidet, liegt eindeutig Überanpassung vor – Punkt.

Das Gegenstück: Unteranpassung

Überanpassung besitzt ein Spiegelbild. Unteranpassung tritt auf, wenn ein Modell zu einfach ist, um das zugrundeliegende Muster zu erfassen, und daher sowohl auf den beide Trainings- als auch auf den Testdaten schlecht abschneidet. Es hat weder auswendig gelernt – noch überhaupt etwas gelernt.

Beide Phänomene definieren ein Gleichgewicht, das jeder ML-Praktiker beherrschen muss:

Ziel ist die mittlere Zeile: ein Modell mit ausreichender Komplexität, um das Muster zu lernen, aber nicht so komplex, dass es das Rauschen auswendig lernt.

Warum Überanpassung auftritt

Häufige Ursachen sind:

• Zu wenig Trainingsdaten – bei wenigen Beispielen kann das Modell diese alle auswendig lernen, anstatt zu generalisieren.
• Ein zu komplexes Modell – ein sehr flexibles Modell verfügt über ausreichend Kapazität, um sämtliche Eigenheiten der Daten abzubilden.
• Zu lange Training – nach einem bestimmten Punkt passt zusätzliche Trainingszeit das Modell lediglich immer genauer an das Rauschen an.
• Rauschbehaftete oder qualitativ minderwertige Daten – je mehr zufälliger „Müll“ in den Daten enthalten ist, desto mehr gibt es fälschlicherweise zu „lernen“.
• Zu viele Merkmale – irrelevante Eingaben bieten dem Modell irreführende Muster, an denen es sich festhalten kann.

So verhindern Sie Überanpassung

Es gibt keine universelle Lösung – Praktiker kombinieren vielmehr mehrere Techniken.

1. Mehr Trainingsdaten beschaffen

Die wirksamste Maßnahme. Mit mehr Beispielen wird Auswendiglernen unmöglich, und das Modell ist gezwungen, das echte Muster zu lernen. Wenn keine weiteren Daten erhoben werden können, Daten-Augmentation — hilft das Erzeugen realistischer Variationen der vorhandenen Daten (z. B. Drehen oder Zuschneiden von Bildern).

2. Das Modell vereinfachen

Ist das Modell zu komplex, reduzieren Sie seine Kapazität: weniger Parameter, eine flachere Architektur, weniger Merkmale. Probieren Sie stets zunächst ein einfacheres Modell aus – es neigt weniger zur Überanpassung und ist leichter zu verstehen.

3. Regularisierung einsetzen

Regularisierung fügt während des Trainings eine Strafe für Komplexität hinzu und entmutigt das Modell dadurch, sich zu stark auf einzelne Merkmale zu verlassen oder extreme Werte anzupassen. Sie ist eine Standardoption, die in den meisten ML-Algorithmen integriert ist und zählt zu den effektivsten verfügbaren Werkzeugen.

4. Verwenden Sie die Kreuzvalidierung

Die Kreuzvalidierung testet das Modell an mehreren verschiedenen Aufteilungen der Daten statt nur einer einzigen. Dadurch ergibt sich eine ehrlichere und stabilere Schätzung der Leistung in der realen Welt und es wird schnell deutlich, wenn ein Modell nur aufgrund eines glücklichen Datensplits gut abschneidet.

5. Beenden Sie das Training frühzeitig

Überwachen Sie die Leistung auf einem Validierungsdatensatz während des Trainings. Sobald sich die Validierungsleistung nicht mehr verbessert und beginnt, abzufallen, sollten Sie das Training beenden – denn eine Fortsetzung über diesen Punkt hinaus führt lediglich zur Anpassung an Rauschen. Dies wird frühzeitiges Stoppen (early stopping).

6. Verwenden Sie Dropout (für neuronale Netze)

Für neuronale Netze, Dropout Dabei werden bei jedem Trainingsschritt zufällig einige Neuronen deaktiviert. Dadurch verhindert das Netzwerk, sich zu stark auf einen einzelnen Pfad zu verlassen, und lernt stattdessen robustere, allgemeinere Muster.

7. Behalten Sie stets einen echten Testdatensatz zurück

Dies ist zwingend erforderlich: Behalten Sie einen Teil der Daten, den das Modell während Training oder Feinabstimmung niemals sieht, und bewerten Sie das Modell ausschließlich anhand dieses Datensatzes. Nur so erhalten Sie eine ehrliche Einschätzung seiner tatsächlichen Leistung in der Praxis.

Datenleckage: Die versteckte Ursache für irreführend gute Ergebnisse

Der Großteil dieses Leitfadens behandelt Overfitting als ein Modellierungsproblem – ein Modell, das zu komplex ist für zu wenig Daten. Doch es gibt eine stillere Ursache, die dasselbe Symptom hervorruft und weitaus mehr Praktiker täuscht: Datenleckage. Dabei gelangt Information, die zum Zeitpunkt der Vorhersage nicht verfügbar wäre, versehentlich in den Trainingsprozess. Das Modell scheint im Test brillant, bricht aber im Produktivbetrieb zusammen. Wenn Ihre Validierungsergebnisse zu gut erscheinen, um wahr zu sein, dann vermuten Sie besser Datenleckage – bevor Sie auf Glück vertrauen.

Es gibt zwei Hauptkategorien, auf die Sie achten sollten:

• Train-Test-Kontamination. Testdaten fließen in den Trainingsprozess ein. Der klassische Fehler ist die Vorverarbeitung vor der Aufteilung: Wenn Sie Skalierung, Normalisierung oder Imputation fehlender Werte mithilfe von Statistiken aus dem gesamten Datensatz durchführen, hat Ihr Trainingsdatensatz bereits den Mittelwert und den Wertebereich des Testdatensatzes „gesehen“. Teilen Sie daher stets zuerst auf, passen Sie dann alle Transformationen ausschließlich an den Trainingsdaten an und wenden Sie sie anschließend auf den Testdatensatz an. vor splitting: if you scale, normalize, or impute missing values using statistics from the whole dataset, your training set has already “seen” the mean and range of the test set. Always split first, then fit any transformer on the training data alone and apply it to the test set.
• Ziel-Leckage (Target leakage). Ein Merkmal enthält heimlich die Antwort. Ein Modell, das vorhersagen soll, ob ein Patient an einer Krankheit leidet, wirkt nahezu perfekt, wenn eines seiner Eingabemerkmale „Medikament, das bei dieser Krankheit verschrieben wurde“ lautet – eine Information, die erst nach der Diagnose existiert. Dieses Merkmal steht zum Zeitpunkt der eigentlichen Vorhersage nicht zur Verfügung, daher ist die Bewertung irreführend.

Bei zeitlich geordneten Daten kommt eine dritte Falle hinzu. Das zufällige Durchmischen einer Zeitreihe vor der Aufteilung ermöglicht es dem Modell, aus der Zukunft auf die Vergangenheit zu schließen – was die Kausalität verletzt und die Genauigkeit künstlich erhöht. Bei allen datierten Daten müssen Sie chronologisch aufteilen: Trainieren Sie auf früheren Zeitperioden und testen Sie auf späteren.

Datenleckage ist gerade deshalb so gefährlich, weil keiner der hier beschriebenen Korrekturen sie erfasst. Mehr Daten, Regularisierung und frühzeitiges Stoppen gehen alle davon aus, dass Ihre Evaluierung ehrlich ist. Ist der Testdatensatz jedoch kontaminiert, so ist jedes Signal, auf das Sie sich sonst verlassen, um Overfitting zu erkennen, ebenfalls korrupt – das Modell besteht sämtliche Tests, versagt aber dennoch bei echten Nutzern.

Drei Gewohnheiten verhindern den Großteil solcher Fälle. Erstens: Fassen Sie Vorverarbeitung und Modell in einer einzigen Pipeline zusammen (scikit-learn bietet hierfür die Klasse Pipeline ), sodass Transformationen stets nur an den Trainingsfolds angepasst werden. Zweitens: Überprüfen Sie auffällig starke Merkmale kritisch mit der Frage: Wüsste ich diesen Wert tatsächlich zum Zeitpunkt der Vorhersage? Wenn nicht, eliminieren Sie es. Drittens: Wenn die Ergebnisse spektakulär aussehen, interpretieren Sie dies nicht als Erfolg, sondern als Warnsignal, das einer eingehenden Untersuchung bedarf. Echte Verallgemeinerung sieht selten mühelos aus.

Häufig gestellte Fragen (FAQ)

Was ist Overfitting im Maschinellen Lernen?

Overfitting tritt auf, wenn ein Modell seine Trainingsdaten zu gut lernt – also Rauschen und zufällige Besonderheiten auswendig lernt, anstatt das zugrundeliegende Muster zu erkennen. Es erzielt hervorragende Ergebnisse auf den Trainingsdaten, aber schlechte Ergebnisse auf neuen, unbekannten Daten, weil es nie gelernt hat, zu verallgemeinern.

Wie erkenne ich, ob mein Modell overfitted?

Vergleichen Sie dessen Leistung auf den Trainingsdaten mit der Leistung auf den Testdaten (Daten, die es nie gesehen hat). Wenn die Leistung auf den Trainingsdaten deutlich höher ist als auf den Testdaten, liegt Overfitting vor. Ein gesundes Modell erreicht auf beiden Datensätzen vergleichbar gute Ergebnisse.

Was ist der Unterschied zwischen Overfitting und Underfitting?

Overfitting liegt vor, wenn ein Modell zu komplex ist und die Trainingsdaten auswendig lernt, wodurch es bei neuen Daten versagt. Underfitting liegt vor, wenn ein Modell zu einfach ist, um das zugrundeliegende Muster überhaupt zu erfassen, sodass es sowohl auf den Trainings- als auch auf neuen Daten schlecht abschneidet. Das Ziel ist die ausgewogene Mitte.

Wie verhindert man Overfitting?

Verwenden Sie mehr Trainingsdaten, wählen Sie ein einfacheres Modell, setzen Sie Regularisierung ein, nutzen Sie Kreuzvalidierung und beenden Sie das Training frühzeitig, sobald sich die Validierungsleistung nicht mehr verbessert. Bei neuronalen Netzen hilft zudem Dropout. Die meisten Praktiker kombinieren mehrere dieser Techniken.

Löst immer mehr Daten Overfitting?

Mehr hochwertige Daten sind die zuverlässigste Lösung, da sie Auswendiglernen unmöglich machen und echtes Lernen erzwingen. Doch sie sind nicht immer verfügbar – daher sind Modellvereinfachung, Regularisierung und frühzeitiges Stoppen wichtige praktische Alternativen.

Was ist Datenleckage, und wie unterscheidet sie sich von Overfitting?

Overfitting bedeutet, dass ein Modell Rauschen in legitim verfügbaren Trainingsdaten auswendig lernt. Datenleckage hingegen liegt vor, wenn Informationen, die nicht verfügbar sein dürften – etwa Statistiken aus dem Testdatensatz oder ein Merkmal, das die Antwort kodiert – in den Trainingsprozess eindringen. Beides führt zum gleichen Symptom (hervorragende Testergebnisse, aber schlechte Ergebnisse in der Praxis), doch Datenleckage ist insidöser: Sie untergräbt die Vertrauenswürdigkeit Ihrer Evaluierung selbst, sodass die üblichen Overfitting-Tests versagen. Die Lösung ist Datenhygiene – Aufteilung vor Vorverarbeitung und kritische Überprüfung aller verdächtig prädiktiven Merkmale.

Warum overfitted mein Modell, wenn ich ein großes Sprachmodell (LLM) auf einem kleinen Datensatz feinjustiere?

Kleine Feinjustierungsdatensätze stellen ein klassisches Overfitting-Risiko dar: Bei wenigen Beispielen lernt das Modell diese auswendig, statt das zugrundeliegende Muster zu erfassen. Ein typisches Anzeichen ist ein fallender Trainingsverlust bei gleichzeitig steigendem Validierungsverlust. Die Standardmaßnahmen sind weniger Epochen (oft nur wenige) sowie frühzeitiges Stoppen und die Verwendung einer parameter-effizienten Methode wie LoRA, die Aktualisierungen auf eine kleine Teilmenge der Gewichte beschränkt und somit als integrierte Regularisierung fungiert, die Auswendiglernen entgegenwirkt.

Ist eine kleine Lücke zwischen Trainings- und Testgenauigkeit akzeptabel?

Ja. Eine kleine Lücke ist normal und gesund – kein Modell erreicht identische Ergebnisse auf Daten, die es bereits gesehen hat, und auf solchen, die ihm unbekannt sind. Overfitting zeigt sich durch eine große oder sich vergrößernde Lücke, bei der die Trainingsgenauigkeit weiter steigt, während die Testgenauigkeit stagniert oder fällt. Das Streben nach einer Null-Lücke führt meist stattdessen zu Underfitting. Bewerten Sie ein Modell anhand seiner Leistung auf dem Testdatensatz und betrachten Sie die Lücke als Warnsignal für die Richtung der Entwicklung – nicht als Zahl, die eliminiert werden muss.

Fazit

Overfitting ist die Kluft zwischen scheinbar gut und tatsächlich gut. Ein Modell, das seine Trainingsdaten auswendig gelernt hat, beeindruckt Sie im Test, enttäuscht Sie jedoch im produktiven Einsatz – es hat die Antworten gelernt, nicht die Methode.

Die Abwehrstrategie ist einfach: Bewerten Sie Ihr Modell stets anhand von Daten, die es niemals gesehen hat; achten Sie auf die Leistungslücke zwischen Trainings- und Testdaten; und verhindern Sie Overfitting durch mehr Daten, einfachere Modelle, Regularisierung, Kreuzvalidierung sowie frühzeitiges Stoppen. Beherrschen Sie dieses Gleichgewicht, und Sie bauen Modelle, die nicht nur auf Ihrem Schreibtisch, sondern auch in der realen Welt funktionieren. Für den größeren Zusammenhang siehe unseren Leitfaden zum maschinellen Lernen.