VRAM-Anforderungen für alle wichtigen LLMs im Jahr 2026 (Quantisierungs-Cheat-Sheet)

Die am häufigsten gestellte Frage von Einsteigern in lokale LLMs im Jahr 2026 lautet nicht „Welches Modell soll ich verwenden?“, sondern „Läuft dieses Modell auf meiner GPU?“

Dieser Leitfaden ist die Antwort darauf. Wir haben jedes bedeutende Open-Source-LLM in jeder gängigen Quantisierung auf Hardware getestet – von einer 12-GB-RTX-3060 bis hin zu einer 80-GB-H100 – und das Folgende ist das Cheat-Sheet, das wir uns gewünscht hätten, als wir begannen.

Eine Erinnerung für Ungeduldige: VRAM ist die entscheidende Engstelle.Passt Ihr Modell samt KV-Cache und Kontext nicht vollständig in den VRAM, bricht die Inferenzleistung abrupt ein. Alle Angaben unten gehen davon aus, dass Sie eine reine GPU-Inferenz wünschen; falls Sie CPU-Offload zulassen, verringert sich die Durchsatzrate um den Faktor 5–10.

Die Übersichtstabelle

Jedes bedeutende offene Sprachmodell des Jahres 2026 sowie dessen VRAM-Bedarf bei gängigen Quantisierungsstufen. Die Angaben beziehen sich ausschließlich auf die Modellgewichte, bei einem Kontextfenster von 8 K. Rechnen Sie zusätzlich 1–2 GB für den KV-Cache-Puffer pro tatsächlich genutzte 8-K-Kontextlänge hinzu.

Ein praktischer Hinweis: Für den täglichen Einsatz wird Q4_K_M als optimales Verhältnis von Größe und Qualität empfohlen. Der Qualitätsverlust gegenüber FP16 ist gering (typischer Anstieg der Perplexität < 2 %), während die Speichereinsparungen enorm sind (~3,3× kleiner). Q5_K_M bietet eine marginal bessere Qualität bei etwa 17 % mehr Speicherbedarf. Q3 und IQ2 sollten nur im Notfall verwendet werden – die Qualität verschlechtert sich deutlich.

KV-Cache-Speicher – der Teil, den jeder vergisst

Die obigen Werte beziehen sich ausschließlich auf die Modellgewichte. Der KV-Cache – der Arbeitsspeicher für alle Tokens Ihres Gesprächs – befindet sich ebenfalls im VRAM und wächst linear mit der Kontextlänge.

Grobe KV-Cache-Größe pro 1 K Tokens Kontextlänge bei FP16:

Die Quantisierung des KV-Caches (eine Option in llama.cpp und vLLM ab 2026) reduziert diesen Speicherbedarf um das ~2- bis ~4-Fache bei nur geringem Qualitätseinbußen. Die meisten Produktionsumgebungen verwenden mittlerweile den Q8-KV-Cache – er verursacht nahezu keine Qualitätseinbußen und spart bei langen Kontexten deutlich VRAM ein.

Wenn Sie einen Kontext von 32 K oder mehr Token verwenden möchten, berücksichtigen Sie den KV-Cache bei der Berechnung Ihres VRAM-Bedarfs vor der Wahl einer GPU.

GPU-Kompatibilitätsmatrix

Welche Modelle passen bequem auf jede gängige GPU bei empfohlenen Quantisierungen und einem Kontext von 8 K? „Bequem“ bedeutet: Modell + KV-Cache + 1 GB System-Puffer.

Die zu verinnerlichenden Muster:

1. 12 GB ist die Einstiegsschwelle. Darunter sind Sie auf winzige Modelle beschränkt, die keine dedizierte GPU rechtfertigen.
2. 24 GB ist der Wendepunkt. Es ist die günstigste Stufe, bei der Llama 3 70B möglich wird (bei eingeschränkten Quantisierungen).
3. 32 GB ermöglichen den ordnungsgemäßen Betrieb von 70B. Dies ist der einzige Grund, sich für die RTX 5090 statt der 4090 zu entscheiden.
4. 48 GB ist komfortabler Bereich. Die meisten Aufgaben, die Sie ausführen möchten, passen sauber hinein.
5. 128 GB einheitlicher Speicher stellt die Obergrenze für Verbraucherhardware dar. Darüber hinaus erwerben Sie Server-Hardware.

Die richtige Quantisierung für Ihre Hardware wählen

Die richtige Quantisierung ist nicht immer „die größte, die noch passt“. Qualität zählt – und manchmal übertrifft ein kleineres Modell mit einer besseren Quantisierung ein größeres Modell mit einer schlechteren.

Rangfolge der Qualität (basierend auf Perplexität, niedriger ist besser):

• FP16 / BF16 — Original. Qualitätsreferenz-Basislinie.
• Q8_0 — ~0,3 % Perplexitätsanstieg. Praktisch nicht unterscheidbar.
• Q6_K — ~0,5 % Anstieg. In der Praxis nicht unterscheidbar.
• Q5_K_M — ~1,0 % Anstieg. Leichter Qualitätsverlust, dennoch sehr hohe Qualität.
• Q4_K_M — ~1,5–2,5 % Anstieg. Empfohlen für die meisten Nutzer.
• Q4_K_S — ~3 % Anstieg. Deutlich schlechtere Qualität als Q4_K_M bei vergleichbarer Größe.
• Q3_K_M — ~5–8 % Anstieg. Sichtbar beeinträchtigte Ausgabe.
• Q3_K_S — ~10 % Anstieg. Nur verwenden, wenn Q4 nicht passt.
• IQ2_XXS — ~15–25 % Anstieg. Letzte Möglichkeit.

Allgemeine Regel: Bevorzugen Sie ein Modell mit weniger Parametern in Q5_K_M gegenüber einem größeren Modell in Q3_K_S für alltägliche Aufgaben. Ein Qwen 32B in Q5 schneidet bei realen Benchmarks im Allgemeinen besser ab als ein Llama 3 70B in IQ2_XXS – obwohl letzteres auf dem Papier beeindruckender klingt.

Ausnahme: Programmier- und Schlussfolgerungsaufgaben Bei diesen profitiert das größere Modell oft von seinem Wissensvorteil, selbst bei starker Quantisierung. Bei Codegenerierung kann sogar Q3_K_S eines 70B-Modells eine Q5_K_M-Version eines 30B-Modells übertreffen.

MoE-Modelle – das Sternchen

Mixture-of-Experts-(MoE)-Modelle wie Mixtral 8x22B und DeepSeek V3 weisen eine Asymmetrie auf, die Neueinsteiger verwirrt:

• Benötigter VRAM = Gesamtanzahl der Parameter (da alle Experten gehalten werden müssen)
• Genutzte Rechenleistung = Aktive Parameter pro Token (deutlich weniger)

Mixtral 8x22B umfasst insgesamt 141 Mrd. Parameter, davon 39 Mrd. aktiv. Für den Betrieb werden über 80 GB VRAM benötigt, doch die Geschwindigkeit pro Token liegt näher an der eines dichten 40-B-Modells.

DeepSeek V3 umfasst insgesamt 236 Mrd. Parameter, davon 21 Mrd. aktiv. Es benötigt 150 GB+ VRAM, doch die Token-Geschwindigkeit nähert sich der eines dichten 20-B-Modells. Deshalb gilt DeepSeek V3 als ‚schnell für seine Größe‘ – Sie zahlen die VRAM-‚Steuer‘, erhalten aber den Rechenleistungs-Rabatt.

Wenn Ihre Hardware ein MoE-Modell halten kann, ist dies oft die beste Wahl. Falls nicht, sollten Sie stattdessen das dichte Modell mit vergleichbarer Parameteranzahl wählen.

Schnellstart-Konfigurationen nach Budget

Für Nutzer, die eine konkrete Empfehlung wünschen, hier getestete Konfigurationen an fünf Budgetstufen im Jahr 2026:

Die „beste Preis-Leistungs-Stufe“ im Jahr 2026 bleibt die gebrauchte RTX 3090 / 4090 – dies sind die einzigen Consumer-GPUs, bei denen das Verhältnis Preis-zu-VRAM günstig ist; beide bleiben mindestens bis 2028 leistungsfähig.

Für eine ausführliche Analyse zur Auswahl der richtigen GPU siehe beste GPUs für lokale LLMs im Jahr 2026.

Häufig gestellte Fragen (FAQ)

Wie viel VRAM benötige ich, um Llama 3 70B lokal im Jahr 2026 auszuführen?

Mindestens 24 GB für Llama 3 70B in Q3_K_S (was eine grobe Qualität bedeutet). Mit 32 GB können Sie Q4_K_M problemlos betreiben (die empfohlene Quantisierung). Für Q5_K_M sind 40+ GB erforderlich. Mit 24 GB und einem Kontextfenster von 8 K bleibt praktisch kein Spielraum mehr; bei Erweiterung des Kontexts auf 32 K ist entweder CPU-Offload oder eine aggressivere Quantisierung notwendig.

Was ist der Unterschied zwischen Q4_K_M und Q4_K_S?

Beide sind 4-Bit-Quantisierungen desselben Modells. Q4_K_M („medium“) verwendet für einige kritische Gewichtsgruppen 5 Bits, wodurch es zwar etwas größer, aber deutlich qualitativ besser als Q4_K_S („small“) ist. Bei nahezu identischem VRAM-Bedarf ist Q4_K_M vorzuziehen. Q4_K_S macht nur dann Sinn, wenn Sie ein Modell gerade noch in ein enges VRAM-Budget pressen müssen.

Kann ich ein LLM ausführen, das größer ist als mein VRAM?

Ja – mithilfe von CPU-OffloadCPU-Offloading, bei dem einige Modellschichten auf der CPU unter Verwendung des Systemspeichers statt des GPU-VRAMs ausgeführt werden. Die Leistungseinbuße ist erheblich (5–10× langsamer), ermöglicht aber den Betrieb von Modellen, die andernfalls nicht passen würden. Praktisch für gelegentliche Nutzung, unangenehm als täglicher Arbeitsmodus. Sowohl llama.cpp als auch Ollama unterstützen dies standardmäßig über die Einstellung n_gpu_layers .

Spielt der KV-Cache wirklich eine Rolle bei der VRAM-Planung?

Ja, insbesondere bei langen Kontexten. Für Llama 3 70B mit einem Kontext von 32 K beträgt allein der KV-Cache etwa 5 GB. Wenn Sie bereits an der Grenze Ihres VRAM sind, führt jede längere Konversation sofort zu einem Out-of-Memory-Fehler (OOM). Planen Sie daher den KV-Cache ein und erwägen Sie die Q8-KV-Cache-Quantisierung (Option in modernen Inferenz-Engines), um dessen Größe grob zu halbieren.

Gibt es eine Möglichkeit, Llama 3 405B zu Hause auszuführen?

Ja, allerdings benötigen Sie über 200 GB Speicher bei nutzbaren Quantisierungen. Die realistischen Wege für 2026: Mac Studio M4 Ultra mit 512 GB ($12.000, langsam pro Token, funktioniert aber), 8× RTX 4090 ($13.000, komplexes Setup), Nvidia DIGITS ($3.000, speziell dafür konzipiert) oder CPU mit 256 GB DDR5-RAM und einer Mittelklasse-GPU für teilweises Offloading ($8.000, langsam). Siehe unser Anleitung zum Ausführen von Llama 3 405B zu Hause.

Gibt es neben GGUF weitere Quantisierungsformate für 2026, die ich kennen sollte?

Ja – AWQ (Activation-aware Weight Quantization) und GPTQ werden nach wie vor breit eingesetzt, insbesondere bei vLLM- und TensorRT-LLM-Bereitstellungen. In einigen Fällen bieten sie bei gleicher Bitanzahl eine leicht bessere Qualität als GGUF. Für den lokalen Einsatz von LLMs durch Endnutzer mit llama.cpp / Ollama / LM Studio bleibt GGUF 2026 jedoch dominierend, da es sich durch seine Einfachheit und breite Tooling-Unterstützung auszeichnet.

Wirkt sich Q4-Quantisierung auf die Programmierfähigkeit aus?

Weniger, als man vermuten würde – aber ja. Bei einfacher Code-Vervollständigung ist Q4_K_M praktisch identisch mit FP16. Bei komplexer, mehrstufiger Schlussfolgerung über einen gesamten Code-Basis hinweg liefert Q4 gelegentlich schlechtere Logik als Q5+. Falls Sie ernsthaft mit lokalen Modellen programmieren, bevorzugen Sie Q5_K_M und wählen Sie Ihre Hardware so, dass sie diese unterstützt.

Fazit

Die VRAM-Planung für lokale LLMs im Jahr 2026 ist nicht kompliziert, erfordert aber Präzision. Wählen Sie zunächst die Parameterklasse (die Modellgröße mit der gewünschten Funktionalität), dann die kleinste Quantisierung mit akzeptabler Qualität (Q4_K_M ist meist die richtige Wahl), addieren Sie den KV-Cache für Ihre tatsächliche Kontextlänge und dimensionieren Sie Ihre GPU entsprechend.

Wenn Sie sich nur drei Zahlen merken wollen, dann diese:

• 12 GB führt 8-B-Modelle problemlos aus.
• 24 GB führt 30-B-Modelle bei qualitativ hochwertigen Quantisierungen aus, 70-B-Modelle nur knapp.
• 32 GB führt 70-B-Modelle bei qualitativ hochwertigen Quantisierungen aus.

Alles über 32 GB gehört in den Serverbereich, alles unter 12 GB in den Smartphone-/Embedded-Bereich. Der Großteil der lokalen LLM-Aktivitäten 2026 findet im Bereich von 12–32 GB statt – genau dem Bereich der Consumer-GPUs, was keineswegs Zufall, sondern bewusstes Design ist.