{"id":264,"date":"2026-05-19T16:46:25","date_gmt":"2026-05-19T16:46:25","guid":{"rendered":"https:\/\/convly.ai\/vram-requirements-every-major-llm-2026\/"},"modified":"2026-07-03T13:40:38","modified_gmt":"2026-07-03T13:40:38","slug":"vram-requirements-every-major-llm-2026","status":"publish","type":"post","link":"https:\/\/convly.ai\/de\/vram-requirements-every-major-llm-2026\/","title":{"rendered":"VRAM-Anforderungen f\u00fcr alle wichtigen LLMs im Jahr 2026 (Quantisierungs-Cheat-Sheet)"},"content":{"rendered":"<p>Die am h\u00e4ufigsten gestellte Frage von Einsteigern in lokale LLMs im Jahr 2026 lautet nicht \u201eWelches Modell soll ich verwenden?\u201c, sondern \u201eL\u00e4uft dieses Modell auf meiner GPU?\u201c<\/p>\n<p>Dieser Leitfaden ist die Antwort darauf. Wir haben jedes bedeutende Open-Source-LLM in jeder g\u00e4ngigen Quantisierung auf Hardware getestet \u2013 von einer 12-GB-RTX-3060 bis hin zu einer 80-GB-H100 \u2013 und das Folgende ist das Cheat-Sheet, das wir uns gew\u00fcnscht h\u00e4tten, als wir begannen.<\/p>\n<p>Eine Erinnerung f\u00fcr Ungeduldige: <strong>VRAM ist die entscheidende Engstelle.<\/strong>Passt Ihr Modell samt KV-Cache und Kontext nicht vollst\u00e4ndig in den VRAM, bricht die Inferenzleistung abrupt ein. Alle Angaben unten gehen davon aus, dass Sie eine reine GPU-Inferenz w\u00fcnschen; falls Sie CPU-Offload zulassen, verringert sich die Durchsatzrate um den Faktor 5\u201310.<\/p>\n<div class=\"convly-tldr\">\n<h3>Wichtigste Erkenntnisse<\/h3>\n<ul>\n<li><strong>12 GB VRAM:<\/strong> 7\u20138-B-Modelle ab Q5+, 13-B-Modelle ab Q4. Beispiele: Llama 3 8B, Mistral 7B, Phi-4 Mini.<\/li>\n<li><strong>16 GB VRAM:<\/strong> 13\u201314 Mrd. Parameter bei Q5+. Unangenehme Stufe \u2013 zu viel f\u00fcr 8 Mrd., aber nicht genug f\u00fcr 30 Mrd.<\/li>\n<li><strong>24 GB VRAM:<\/strong> 30 Mrd. Parameter bei Q5+, 70 Mrd. Parameter bei Q3_K_S (knapp). Die ideale Wahl.<\/li>\n<li><strong>32 GB VRAM:<\/strong> 70 Mrd. Parameter bei Q4_K_M komfortabel, 30 Mrd. Parameter bei Q8.<\/li>\n<li><strong>48 GB VRAM:<\/strong> 70 Mrd. Parameter bei Q5_K_M, \u00fcber 100 Mrd. Parameter bei Q3\/Q4.<\/li>\n<li><strong>128 GB einheitlicher Speicher (M4 Max):<\/strong> 405 Mrd. Parameter bei Q4, jedoch langsamer pro Token als NVIDIA.<\/li>\n<\/ul>\n<\/div>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_84 counter-flat ez-toc-counter ez-toc-container-direction\">\n<label for=\"ez-toc-cssicon-toggle-item-6a52e25f7199a\" class=\"ez-toc-cssicon-toggle-label\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Umschalten<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #000000;color:#000000\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewbox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #000000;color:#000000\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewbox=\"0 0 24 24\" version=\"1.2\" baseprofile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/label><input type=\"checkbox\"  id=\"ez-toc-cssicon-toggle-item-6a52e25f7199a\"  aria-label=\"Umschalten\" \/><nav><ul class='ez-toc-list ez-toc-list-level-1' ><li class='ez-toc-page-1'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/convly.ai\/de\/vram-requirements-every-major-llm-2026\/#The_quick-reference_table\" >Die \u00dcbersichtstabelle<\/a><\/li><li class='ez-toc-page-1'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/convly.ai\/de\/vram-requirements-every-major-llm-2026\/#KV_cache_memory_%E2%80%94_the_part_everyone_forgets\" >KV-Cache-Speicher \u2013 der Teil, den jeder vergisst<\/a><\/li><li class='ez-toc-page-1'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/convly.ai\/de\/vram-requirements-every-major-llm-2026\/#GPU_compatibility_matrix\" >GPU-Kompatibilit\u00e4tsmatrix<\/a><\/li><li class='ez-toc-page-1'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/convly.ai\/de\/vram-requirements-every-major-llm-2026\/#Choosing_the_right_quant_for_your_hardware\" >Die richtige Quantisierung f\u00fcr Ihre Hardware w\u00e4hlen<\/a><\/li><li class='ez-toc-page-1'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/convly.ai\/de\/vram-requirements-every-major-llm-2026\/#MoE_models_%E2%80%94_the_asterisk\" >MoE-Modelle \u2013 das Sternchen<\/a><\/li><li class='ez-toc-page-1'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/convly.ai\/de\/vram-requirements-every-major-llm-2026\/#Quick-start_setups_by_budget\" >Schnellstart-Konfigurationen nach Budget<\/a><\/li><li class='ez-toc-page-1'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/convly.ai\/de\/vram-requirements-every-major-llm-2026\/#FAQ\" >H\u00e4ufig gestellte Fragen (FAQ)<\/a><\/li><li class='ez-toc-page-1'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/convly.ai\/de\/vram-requirements-every-major-llm-2026\/#Bottom_line\" >Fazit<\/a><\/li><li class='ez-toc-page-1'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/convly.ai\/de\/vram-requirements-every-major-llm-2026\/#Related_articles\" >Verwandte Artikel<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"The_quick-reference_table\"><\/span>Die \u00dcbersichtstabelle<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Jedes bedeutende offene Sprachmodell des Jahres 2026 sowie dessen VRAM-Bedarf bei g\u00e4ngigen Quantisierungsstufen. Die Angaben beziehen sich ausschlie\u00dflich auf die <strong>Modellgewichte<\/strong>, bei einem Kontextfenster von 8 K. Rechnen Sie zus\u00e4tzlich 1\u20132 GB f\u00fcr den KV-Cache-Puffer pro tats\u00e4chlich genutzte 8-K-Kontextl\u00e4nge hinzu.<\/p>\n<table class=\"convly-vs\">\n<thead>\n<tr>\n<th>Modell<\/th>\n<th>FP16<\/th>\n<th>Q8_0<\/th>\n<th>Q5_K_M<\/th>\n<th>Q4_K_M<\/th>\n<th>Q3_K_M<\/th>\n<th>IQ2_XXS<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><strong>Phi-4 Mini (3,8 Mrd.)<\/strong><\/td>\n<td>7,6 GB<\/td>\n<td>4,0 GB<\/td>\n<td>2,7 GB<\/td>\n<td>2,3 GB<\/td>\n<td>1,9 GB<\/td>\n<td>1,4 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Gemma 2 2B<\/strong><\/td>\n<td>5,0 GB<\/td>\n<td>2,7 GB<\/td>\n<td>1,8 GB<\/td>\n<td>1,6 GB<\/td>\n<td>1,3 GB<\/td>\n<td>1,0 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Llama 3 8B<\/strong><\/td>\n<td>16,1 GB<\/td>\n<td>8,5 GB<\/td>\n<td>5,7 GB<\/td>\n<td>4,9 GB<\/td>\n<td>4,0 GB<\/td>\n<td>2,9 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Mistral 7B v0.3<\/strong><\/td>\n<td>14,5 GB<\/td>\n<td>7,7 GB<\/td>\n<td>5,1 GB<\/td>\n<td>4,4 GB<\/td>\n<td>3,6 GB<\/td>\n<td>2,6 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Qwen 2.5 7B<\/strong><\/td>\n<td>15,2 GB<\/td>\n<td>8,1 GB<\/td>\n<td>5,4 GB<\/td>\n<td>4,7 GB<\/td>\n<td>3,8 GB<\/td>\n<td>2,7 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Phi-4 (14 B)<\/strong><\/td>\n<td>28,0 GB<\/td>\n<td>14,9 GB<\/td>\n<td>10,0 GB<\/td>\n<td>8,5 GB<\/td>\n<td>7,0 GB<\/td>\n<td>5,0 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Qwen 2.5 14B<\/strong><\/td>\n<td>29,5 GB<\/td>\n<td>15,7 GB<\/td>\n<td>10,5 GB<\/td>\n<td>9,0 GB<\/td>\n<td>7,4 GB<\/td>\n<td>5,3 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Mistral Nemo 12B<\/strong><\/td>\n<td>24,5 GB<\/td>\n<td>13,0 GB<\/td>\n<td>8,7 GB<\/td>\n<td>7,5 GB<\/td>\n<td>6,1 GB<\/td>\n<td>4,4 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Qwen 2.5 32B<\/strong><\/td>\n<td>65,0 GB<\/td>\n<td>34,6 GB<\/td>\n<td>23,0 GB<\/td>\n<td>19,8 GB<\/td>\n<td>16,3 GB<\/td>\n<td>11,6 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Yi-1.5 34B<\/strong><\/td>\n<td>68,5 GB<\/td>\n<td>36,4 GB<\/td>\n<td>24,3 GB<\/td>\n<td>20,7 GB<\/td>\n<td>17,1 GB<\/td>\n<td>12,2 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Llama 3 70B<\/strong><\/td>\n<td>141,0 GB<\/td>\n<td>74,9 GB<\/td>\n<td>49,9 GB<\/td>\n<td>42,5 GB<\/td>\n<td>34,7 GB<\/td>\n<td>24,9 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Qwen 2.5 72B<\/strong><\/td>\n<td>145,0 GB<\/td>\n<td>77,1 GB<\/td>\n<td>51,4 GB<\/td>\n<td>43,8 GB<\/td>\n<td>35,7 GB<\/td>\n<td>25,6 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Command R+ 104B<\/strong><\/td>\n<td>208,0 GB<\/td>\n<td>110,5 GB<\/td>\n<td>73,8 GB<\/td>\n<td>62,7 GB<\/td>\n<td>51,6 GB<\/td>\n<td>36,8 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Mistral Large 2 (123B)<\/strong><\/td>\n<td>247,0 GB<\/td>\n<td>131,4 GB<\/td>\n<td>87,5 GB<\/td>\n<td>74,5 GB<\/td>\n<td>61,0 GB<\/td>\n<td>43,6 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Mixtral 8x22B (141 B)<\/strong><\/td>\n<td>282,0 GB<\/td>\n<td>150,0 GB<\/td>\n<td>100,0 GB<\/td>\n<td>85,1 GB<\/td>\n<td>69,8 GB<\/td>\n<td>49,9 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>DeepSeek V3 (236 B MoE)<\/strong><\/td>\n<td>475,0 GB<\/td>\n<td>252,0 GB<\/td>\n<td>168,5 GB<\/td>\n<td>143,6 GB<\/td>\n<td>117,4 GB<\/td>\n<td>84,1 GB<\/td>\n<\/tr>\n<tr>\n<td><strong>Llama 3.1 405B<\/strong><\/td>\n<td>810,0 GB<\/td>\n<td>431,0 GB<\/td>\n<td>287,0 GB<\/td>\n<td>244,5 GB<\/td>\n<td>200,1 GB<\/td>\n<td>143,0 GB<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Ein praktischer Hinweis: F\u00fcr den t\u00e4glichen Einsatz wird <strong>Q4_K_M als optimales Verh\u00e4ltnis von Gr\u00f6\u00dfe und Qualit\u00e4t empfohlen.<\/strong> Der Qualit\u00e4tsverlust gegen\u00fcber FP16 ist gering (typischer Anstieg der Perplexit\u00e4t &lt; 2 %), w\u00e4hrend die Speichereinsparungen enorm sind (~3,3\u00d7 kleiner). Q5_K_M bietet eine marginal bessere Qualit\u00e4t bei etwa 17 % mehr Speicherbedarf. Q3 und IQ2 sollten nur im Notfall verwendet werden \u2013 die Qualit\u00e4t verschlechtert sich deutlich.\n\n\n\n<h2><span class=\"ez-toc-section\" id=\"KV_cache_memory_%E2%80%94_the_part_everyone_forgets\"><\/span>KV-Cache-Speicher \u2013 der Teil, den jeder vergisst<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Die obigen Werte beziehen sich ausschlie\u00dflich auf die Modellgewichte. Der <strong>KV-Cache<\/strong> \u2013 der Arbeitsspeicher f\u00fcr alle Tokens Ihres Gespr\u00e4chs \u2013 befindet sich ebenfalls im VRAM und w\u00e4chst linear mit der Kontextl\u00e4nge.<\/p>\n<p>Grobe KV-Cache-Gr\u00f6\u00dfe pro 1 K Tokens Kontextl\u00e4nge bei FP16:<\/p>\n<table class=\"convly-vs\">\n<thead>\n<tr>\n<th>Modellklasse<\/th>\n<th>KV pro 1K Tokens<\/th>\n<th>KV pro 32K Kontext<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>7\u20138-B-Modelle<\/td>\n<td>~32 MB<\/td>\n<td>~1,0 GB<\/td>\n<\/tr>\n<tr>\n<td>13\u201314-B-Modelle<\/td>\n<td>~50 MB<\/td>\n<td>~1,6 GB<\/td>\n<\/tr>\n<tr>\n<td>30\u201334-B-Modelle<\/td>\n<td>~80 MB<\/td>\n<td>~2,6 GB<\/td>\n<\/tr>\n<tr>\n<td>70\u201372-B-Modelle<\/td>\n<td>~160 MB<\/td>\n<td>~5,1 GB<\/td>\n<\/tr>\n<tr>\n<td>100\u2013123-B-Modelle<\/td>\n<td>~220 MB<\/td>\n<td>~7,0 GB<\/td>\n<\/tr>\n<tr>\n<td>405 B<\/td>\n<td>~500 MB<\/td>\n<td>~16,0 GB<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Die Quantisierung des KV-Caches (eine Option in llama.cpp und vLLM ab 2026) reduziert diesen Speicherbedarf um das ~2- bis ~4-Fache bei nur geringem Qualit\u00e4tseinbu\u00dfen. Die meisten Produktionsumgebungen verwenden mittlerweile den Q8-KV-Cache \u2013 er verursacht nahezu keine Qualit\u00e4tseinbu\u00dfen und spart bei langen Kontexten deutlich VRAM ein.<\/p>\n<p>Wenn Sie einen Kontext von 32 K oder mehr Token verwenden m\u00f6chten, <strong>ber\u00fccksichtigen Sie den KV-Cache bei der Berechnung Ihres VRAM-Bedarfs vor der Wahl einer GPU<\/strong>.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"GPU_compatibility_matrix\"><\/span>GPU-Kompatibilit\u00e4tsmatrix<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Welche Modelle passen bequem auf jede g\u00e4ngige GPU bei empfohlenen Quantisierungen und einem Kontext von 8 K? \u201eBequem\u201c bedeutet: Modell + KV-Cache + 1 GB System-Puffer.<\/p>\n<table class=\"convly-vs\">\n<thead>\n<tr>\n<th>GPU<\/th>\n<th>VRAM<\/th>\n<th>Beste Passform (Q4_K_M)<\/th>\n<th>Beste Passform (Q5_K_M)<\/th>\n<th>Maximal (beliebige Quantisierung)<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>RTX 3060 12 GB<\/td>\n<td>12 GB<\/td>\n<td>8 B<\/td>\n<td>8 B<\/td>\n<td>14 B bei Q3<\/td>\n<\/tr>\n<tr>\n<td>RTX 4060 Ti 16 GB<\/td>\n<td>16 GB<\/td>\n<td>13 B<\/td>\n<td>13 B<\/td>\n<td>30 B bei IQ2<\/td>\n<\/tr>\n<tr>\n<td>RTX 5080 \/ 5070 Ti<\/td>\n<td>16 GB<\/td>\n<td>13 B<\/td>\n<td>13 B<\/td>\n<td>30 B bei IQ2<\/td>\n<\/tr>\n<tr>\n<td>RTX 3090 \/ 4090<\/td>\n<td>24 GB<\/td>\n<td>30 B (Qwen 32B)<\/td>\n<td>30 B<\/td>\n<td>70 B bei Q3_K_S<\/td>\n<\/tr>\n<tr>\n<td>RX 7900 XTX<\/td>\n<td>24 GB<\/td>\n<td>30 B<\/td>\n<td>30 B<\/td>\n<td>70 B bei Q3_K_S<\/td>\n<\/tr>\n<tr>\n<td>RTX 5090<\/td>\n<td>32 GB<\/td>\n<td>70 B<\/td>\n<td>70 B (knapp)<\/td>\n<td>70 B bei Q5_K_M<\/td>\n<\/tr>\n<tr>\n<td>2\u00d7 RTX 3090 \/ 4090<\/td>\n<td>48 GB<\/td>\n<td>70 B<\/td>\n<td>70 B<\/td>\n<td>104 B bei Q3<\/td>\n<\/tr>\n<tr>\n<td>RTX A6000 \/ 6000 Ada<\/td>\n<td>48 GB<\/td>\n<td>70 B<\/td>\n<td>70 B<\/td>\n<td>104 B bei Q3<\/td>\n<\/tr>\n<tr>\n<td>Mac Studio M4 Max 64 GB<\/td>\n<td>64 GB Unified Memory<\/td>\n<td>70 B<\/td>\n<td>70 B<\/td>\n<td>123 B bei Q3<\/td>\n<\/tr>\n<tr>\n<td>H100 80 GB<\/td>\n<td>80 GB<\/td>\n<td>70 B (FP16-\u00e4hnlich)<\/td>\n<td>104 B<\/td>\n<td>123 B bei Q4<\/td>\n<\/tr>\n<tr>\n<td>Mac Studio M4 Max 128 GB<\/td>\n<td>128 GB Unified Memory<\/td>\n<td>104 B<\/td>\n<td>123 B<\/td>\n<td>405 B bei IQ2 (langsam)<\/td>\n<\/tr>\n<tr>\n<td>H200 \/ DIGITS<\/td>\n<td>141 GB \/ 128 GB unified<\/td>\n<td>123 B<\/td>\n<td>123 B<\/td>\n<td>405 B bei Q3 (langsam)<\/td>\n<\/tr>\n<tr>\n<td>B200<\/td>\n<td>192 GB<\/td>\n<td>123 B<\/td>\n<td>123 B<\/td>\n<td>405 B bei Q4 (knapp)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Die zu verinnerlichenden Muster:<\/p>\n<p>1. <strong>12 GB ist die Einstiegsschwelle.<\/strong> Darunter sind Sie auf winzige Modelle beschr\u00e4nkt, die keine dedizierte GPU rechtfertigen.<br \/>\n2. <strong>24 GB ist der Wendepunkt.<\/strong> Es ist die g\u00fcnstigste Stufe, bei der Llama 3 70B m\u00f6glich wird (bei eingeschr\u00e4nkten Quantisierungen).<br \/>\n3. <strong>32 GB erm\u00f6glichen den ordnungsgem\u00e4\u00dfen Betrieb von 70B.<\/strong> Dies ist der einzige Grund, sich f\u00fcr die RTX 5090 statt der 4090 zu entscheiden.<br \/>\n4. <strong>48 GB ist komfortabler Bereich.<\/strong> Die meisten Aufgaben, die Sie ausf\u00fchren m\u00f6chten, passen sauber hinein.<br \/>\n5. <strong>128 GB einheitlicher Speicher stellt die Obergrenze f\u00fcr Verbraucherhardware dar.<\/strong> Dar\u00fcber hinaus erwerben Sie Server-Hardware.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Choosing_the_right_quant_for_your_hardware\"><\/span>Die richtige Quantisierung f\u00fcr Ihre Hardware w\u00e4hlen<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Die richtige Quantisierung ist nicht immer \u201edie gr\u00f6\u00dfte, die noch passt\u201c. Qualit\u00e4t z\u00e4hlt \u2013 und manchmal \u00fcbertrifft ein kleineres Modell mit einer besseren Quantisierung ein gr\u00f6\u00dferes Modell mit einer schlechteren.<\/p>\n<p>Rangfolge der Qualit\u00e4t (basierend auf Perplexit\u00e4t, niedriger ist besser):<\/p>\n<ul>\n<li><strong>FP16 \/ BF16<\/strong> \u2014 Original. Qualit\u00e4tsreferenz-Basislinie.<\/li>\n<li><strong>Q8_0<\/strong> \u2014 ~0,3 % Perplexit\u00e4tsanstieg. Praktisch nicht unterscheidbar.<\/li>\n<li><strong>Q6_K<\/strong> \u2014 ~0,5 % Anstieg. In der Praxis nicht unterscheidbar.<\/li>\n<li><strong>Q5_K_M<\/strong> \u2014 ~1,0 % Anstieg. Leichter Qualit\u00e4tsverlust, dennoch sehr hohe Qualit\u00e4t.<\/li>\n<li><strong>Q4_K_M<\/strong> \u2014 ~1,5\u20132,5 % Anstieg. Empfohlen f\u00fcr die meisten Nutzer.<\/li>\n<li><strong>Q4_K_S<\/strong> \u2014 ~3 % Anstieg. Deutlich schlechtere Qualit\u00e4t als Q4_K_M bei vergleichbarer Gr\u00f6\u00dfe.<\/li>\n<li><strong>Q3_K_M<\/strong> \u2014 ~5\u20138 % Anstieg. Sichtbar beeintr\u00e4chtigte Ausgabe.<\/li>\n<li><strong>Q3_K_S<\/strong> \u2014 ~10 % Anstieg. Nur verwenden, wenn Q4 nicht passt.<\/li>\n<li><strong>IQ2_XXS<\/strong> \u2014 ~15\u201325 % Anstieg. Letzte M\u00f6glichkeit.<\/li>\n<\/ul>\n<p>Allgemeine Regel: <strong>Bevorzugen Sie ein Modell mit weniger Parametern in Q5_K_M gegen\u00fcber einem gr\u00f6\u00dferen Modell in Q3_K_S<\/strong> f\u00fcr allt\u00e4gliche Aufgaben. Ein Qwen 32B in Q5 schneidet bei realen Benchmarks im Allgemeinen besser ab als ein Llama 3 70B in IQ2_XXS \u2013 obwohl letzteres auf dem Papier beeindruckender klingt.<\/p>\n<p>Ausnahme: <strong>Programmier- und Schlussfolgerungsaufgaben<\/strong> Bei diesen profitiert das gr\u00f6\u00dfere Modell oft von seinem Wissensvorteil, selbst bei starker Quantisierung. Bei Codegenerierung kann sogar Q3_K_S eines 70B-Modells eine Q5_K_M-Version eines 30B-Modells \u00fcbertreffen.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"MoE_models_%E2%80%94_the_asterisk\"><\/span>MoE-Modelle \u2013 das Sternchen<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Mixture-of-Experts-(MoE)-Modelle wie <strong>Mixtral 8x22B<\/strong> und <strong>DeepSeek V3<\/strong> weisen eine Asymmetrie auf, die Neueinsteiger verwirrt:<\/p>\n<ul>\n<li><strong>Ben\u00f6tigter VRAM<\/strong> = Gesamtanzahl der Parameter (da alle Experten gehalten werden m\u00fcssen)<\/li>\n<li><strong>Genutzte Rechenleistung<\/strong> = Aktive Parameter pro Token (deutlich weniger)<\/li>\n<\/ul>\n<p>Mixtral 8x22B umfasst insgesamt 141 Mrd. Parameter, davon 39 Mrd. aktiv. F\u00fcr den Betrieb werden \u00fcber 80 GB VRAM ben\u00f6tigt, doch die Geschwindigkeit pro Token liegt n\u00e4her an der eines dichten 40-B-Modells.<\/p>\n<p>DeepSeek V3 umfasst insgesamt 236 Mrd. Parameter, davon 21 Mrd. aktiv. F\u00fcr den Betrieb werden \u00fcber 150 GB VRAM ben\u00f6tigt, doch die Token-Geschwindigkeit n\u00e4hert sich der eines dichten 20-B-Modells. Daher gilt DeepSeek V3 als \u201eschnell f\u00fcr seine Gr\u00f6\u00dfe\u201c \u2013 Sie zahlen die VRAM-\u201eSteuer\u201c, erhalten aber einen Rabatt bei der Rechenleistung.<\/p>\n<p>Wenn Ihre Hardware ein MoE-Modell halten kann, ist dies oft die beste Wahl. Falls nicht, sollten Sie stattdessen das dichte Modell mit vergleichbarer Parameteranzahl w\u00e4hlen.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Quick-start_setups_by_budget\"><\/span>Schnellstart-Konfigurationen nach Budget<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>F\u00fcr Nutzer, die eine konkrete Empfehlung w\u00fcnschen, hier getestete Konfigurationen an f\u00fcnf Budgetstufen im Jahr 2026:<\/p>\n<table class=\"convly-vs\">\n<thead>\n<tr>\n<th>Budget<\/th>\n<th>GPU<\/th>\n<th>Bestes Modell<\/th>\n<th>Token\/s<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>$300<\/td>\n<td>RTX 3060 12 GB<\/td>\n<td>Llama 3 8B Q5_K_M<\/td>\n<td>~48<\/td>\n<\/tr>\n<tr>\n<td>$700<\/td>\n<td>Gebrauchte RTX 3090<\/td>\n<td>Qwen 2.5 32B Q5_K_M<\/td>\n<td>~28<\/td>\n<\/tr>\n<tr>\n<td>$1,300<\/td>\n<td>Gebrauchte RTX 4090<\/td>\n<td>Llama 3 70B Q3_K_S<\/td>\n<td>~13<\/td>\n<\/tr>\n<tr>\n<td>$1,400<\/td>\n<td>2\u00d7 Gebrauchte RTX 3090 + NVLink<\/td>\n<td>Llama 3 70B Q4_K_M<\/td>\n<td>~15<\/td>\n<\/tr>\n<tr>\n<td>$2,400<\/td>\n<td>RTX 5090<\/td>\n<td>Llama 3 70B Q5_K_M<\/td>\n<td>~18<\/td>\n<\/tr>\n<tr>\n<td>$5,000<\/td>\n<td>Mac Studio M4 Max 128 GB<\/td>\n<td>Mistral Large 2 Q4<\/td>\n<td>~6<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Die \u201ebeste Preis-Leistungs-Stufe\u201c im Jahr 2026 bleibt die gebrauchte RTX 3090 \/ 4090 \u2013 dies sind die einzigen Consumer-GPUs, bei denen das Verh\u00e4ltnis Preis-zu-VRAM g\u00fcnstig ist; beide bleiben mindestens bis 2028 leistungsf\u00e4hig.<\/p>\n<p>F\u00fcr eine ausf\u00fchrliche Analyse zur Auswahl der richtigen GPU siehe <a href=\"\/de\/best-gpus-for-local-llms-2026\/\">beste GPUs f\u00fcr lokale LLMs im Jahr 2026<\/a>.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"FAQ\"><\/span>H\u00e4ufig gestellte Fragen (FAQ)<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<h3>Wie viel VRAM ben\u00f6tige ich, um Llama 3 70B lokal im Jahr 2026 auszuf\u00fchren?<\/h3>\n<p>Mindestens 24 GB f\u00fcr Llama 3 70B in Q3_K_S (was eine grobe Qualit\u00e4t bedeutet). Mit 32 GB k\u00f6nnen Sie Q4_K_M problemlos betreiben (die empfohlene Quantisierung). F\u00fcr Q5_K_M sind 40+ GB erforderlich. Mit 24 GB und einem Kontextfenster von 8 K bleibt praktisch kein Spielraum mehr; bei Erweiterung des Kontexts auf 32 K ist entweder CPU-Offload oder eine aggressivere Quantisierung notwendig.<\/p>\n<h3>Was ist der Unterschied zwischen Q4_K_M und Q4_K_S?<\/h3>\n<p>Beide sind 4-Bit-Quantisierungen desselben Modells. Q4_K_M (\u201emedium\u201c) verwendet f\u00fcr einige kritische Gewichtsgruppen 5 Bits, wodurch es zwar etwas gr\u00f6\u00dfer, aber deutlich qualitativ besser als Q4_K_S (\u201esmall\u201c) ist. Bei nahezu identischem VRAM-Bedarf ist Q4_K_M vorzuziehen. Q4_K_S macht nur dann Sinn, wenn Sie ein Modell gerade noch in ein enges VRAM-Budget pressen m\u00fcssen.<\/p>\n<h3>Kann ich ein LLM ausf\u00fchren, das gr\u00f6\u00dfer ist als mein VRAM?<\/h3>\n<p>Ja \u2013 mithilfe von <strong>CPU-Offload<\/strong>CPU-Offloading, bei dem einige Modellschichten auf der CPU unter Verwendung des Systemspeichers statt des GPU-VRAMs ausgef\u00fchrt werden. Die Leistungseinbu\u00dfe ist erheblich (5\u201310\u00d7 langsamer), erm\u00f6glicht aber den Betrieb von Modellen, die andernfalls nicht passen w\u00fcrden. Praktisch f\u00fcr gelegentliche Nutzung, unangenehm als t\u00e4glicher Arbeitsmodus. Sowohl llama.cpp als auch Ollama unterst\u00fctzen dies standardm\u00e4\u00dfig \u00fcber die Einstellung <code>n_gpu_layers<\/code> .<\/p>\n<h3>Spielt der KV-Cache wirklich eine Rolle bei der VRAM-Planung?<\/h3>\n<p>Ja, insbesondere bei langen Kontexten. F\u00fcr Llama 3 70B mit einem Kontext von 32 K betr\u00e4gt allein der KV-Cache etwa 5 GB. Wenn Sie bereits an der Grenze Ihres VRAM sind, f\u00fchrt jede l\u00e4ngere Konversation sofort zu einem Out-of-Memory-Fehler (OOM). Planen Sie daher den KV-Cache ein und erw\u00e4gen Sie die Q8-KV-Cache-Quantisierung (Option in modernen Inferenz-Engines), um dessen Gr\u00f6\u00dfe grob zu halbieren.<\/p>\n<h3>Gibt es eine M\u00f6glichkeit, Llama 3 405B zu Hause auszuf\u00fchren?<\/h3>\n<p>Ja, allerdings ben\u00f6tigen Sie \u00fcber 200 GB Speicher bei nutzbaren Quantisierungen. Die realistischen Wege f\u00fcr 2026: Mac Studio M4 Ultra mit 512 GB ($12.000, langsam pro Token, funktioniert aber), 8\u00d7 RTX 4090 ($13.000, komplexes Setup), Nvidia DIGITS ($3.000, speziell daf\u00fcr konzipiert) oder CPU mit 256 GB DDR5-RAM und einer Mittelklasse-GPU f\u00fcr teilweises Offloading ($8.000, langsam). Siehe unser <a href=\"\/de\/running-llama-3-405b-at-home-real-cost\/\">Anleitung zum Ausf\u00fchren von Llama 3 405B zu Hause<\/a>.<\/p>\n<h3>Gibt es neben GGUF weitere Quantisierungsformate f\u00fcr 2026, die ich kennen sollte?<\/h3>\n<p>Ja \u2013 <strong>AWQ<\/strong> (Activation-aware Weight Quantization) und <strong>GPTQ<\/strong> werden nach wie vor breit eingesetzt, insbesondere bei vLLM- und TensorRT-LLM-Bereitstellungen. In einigen F\u00e4llen bieten sie bei gleicher Bitanzahl eine leicht bessere Qualit\u00e4t als GGUF. F\u00fcr den lokalen Einsatz von LLMs durch Endnutzer mit llama.cpp \/ Ollama \/ LM Studio bleibt GGUF 2026 jedoch dominierend, da es sich durch seine Einfachheit und breite Tooling-Unterst\u00fctzung auszeichnet.<\/p>\n<h3>Wirkt sich Q4-Quantisierung auf die Programmierf\u00e4higkeit aus?<\/h3>\n<p>Weniger, als man vermuten w\u00fcrde \u2013 aber ja. Bei einfacher Code-Vervollst\u00e4ndigung ist Q4_K_M praktisch identisch mit FP16. Bei komplexer, mehrstufiger Schlussfolgerung \u00fcber einen gesamten Code-Basis hinweg liefert Q4 gelegentlich schlechtere Logik als Q5+. Falls Sie ernsthaft mit lokalen Modellen programmieren, bevorzugen Sie Q5_K_M und w\u00e4hlen Sie Ihre Hardware so, dass sie diese unterst\u00fctzt.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Bottom_line\"><\/span>Fazit<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Die VRAM-Planung f\u00fcr lokale LLMs im Jahr 2026 ist nicht kompliziert, erfordert aber Pr\u00e4zision. W\u00e4hlen Sie zun\u00e4chst die Parameterklasse (die Modellgr\u00f6\u00dfe mit der gew\u00fcnschten Funktionalit\u00e4t), dann die kleinste Quantisierung mit akzeptabler Qualit\u00e4t (Q4_K_M ist meist die richtige Wahl), addieren Sie den KV-Cache f\u00fcr Ihre tats\u00e4chliche Kontextl\u00e4nge und dimensionieren Sie Ihre GPU entsprechend.<\/p>\n<p>Wenn Sie sich nur drei Zahlen merken wollen, dann diese:<\/p>\n<ul>\n<li><strong>12 GB<\/strong> f\u00fchrt 8-B-Modelle problemlos aus.<\/li>\n<li><strong>24 GB<\/strong> f\u00fchrt 30-B-Modelle bei qualitativ hochwertigen Quantisierungen aus, 70-B-Modelle nur knapp.<\/li>\n<li><strong>32 GB<\/strong> f\u00fchrt 70-B-Modelle bei qualitativ hochwertigen Quantisierungen aus.<\/li>\n<\/ul>\n<p>Alles \u00fcber 32 GB geh\u00f6rt in den Serverbereich, alles unter 12 GB in den Smartphone-\/Embedded-Bereich. Der Gro\u00dfteil der lokalen LLM-Aktivit\u00e4ten 2026 findet im Bereich von 12\u201332 GB statt \u2013 genau dem Bereich der Consumer-GPUs, was keineswegs Zufall, sondern bewusstes Design ist.<\/p>\n<p><!--related-block--><\/p>\n<div class=\"convly-related\">\n<h2><span class=\"ez-toc-section\" id=\"Related_articles\"><\/span>Verwandte Artikel<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<ul>\n<li><a href=\"https:\/\/convly.ai\/de\/claude-opus-4-8-vs-claude-sonnet-4-6\/\">Claude Opus 4.8 vs Claude Sonnet 4.6: Specs, Pricing &amp; Which to Choose (2026)<\/a><\/li>\n<li><a href=\"https:\/\/convly.ai\/de\/open-source-llm-leaderboard-hardware-2026\/\">Open-Source-LLM-Benchmark 2026: Hardware, die f\u00fcr jedes Top-Modell ben\u00f6tigt wird<\/a><\/li>\n<li><a href=\"https:\/\/convly.ai\/de\/claude-5-new-ai-models-june-2026\/\">Gibt es einen Claude 5? Claude Fable 5 und alle wichtigen KI-Modelle im Juni 2026<\/a><\/li>\n<li><a href=\"https:\/\/convly.ai\/de\/veo-3-vs-kling-3-for-ai-video-2026\/\">Veo 3.1 vs. Kling 3.0 f\u00fcr KI-Videos im Jahr 2026: Welches Modell \u00fcberzeugt bei Realismus?<\/a><\/li>\n<\/ul>\n<\/div>","protected":false},"excerpt":{"rendered":"<p>The complete VRAM cheat sheet for every major open LLM in 2026 \u2014 at every common quantization level \u2014 plus a matrix showing which models fit on 12, 16, 24, 32, 48, and 80 GB GPUs.<\/p>","protected":false},"author":1,"featured_media":271,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[247],"tags":[289,290,288,287,285,286],"class_list":["post-264","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-benchmarks","tag-ggml","tag-gguf","tag-gpu-vram-for-ai","tag-llama-3-vram","tag-llm-vram","tag-quantization"],"_links":{"self":[{"href":"https:\/\/convly.ai\/de\/wp-json\/wp\/v2\/posts\/264","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/convly.ai\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/convly.ai\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/convly.ai\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/convly.ai\/de\/wp-json\/wp\/v2\/comments?post=264"}],"version-history":[{"count":2,"href":"https:\/\/convly.ai\/de\/wp-json\/wp\/v2\/posts\/264\/revisions"}],"predecessor-version":[{"id":1458,"href":"https:\/\/convly.ai\/de\/wp-json\/wp\/v2\/posts\/264\/revisions\/1458"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/convly.ai\/de\/wp-json\/wp\/v2\/media\/271"}],"wp:attachment":[{"href":"https:\/\/convly.ai\/de\/wp-json\/wp\/v2\/media?parent=264"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/convly.ai\/de\/wp-json\/wp\/v2\/categories?post=264"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/convly.ai\/de\/wp-json\/wp\/v2\/tags?post=264"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}