11,2 Token\/s<\/span><\/div>\n<\/div>\nDie RTX 3090 ist mittlerweile f\u00fcnf Jahre alt \u2013 und bleibt trotzdem 2026 der beste Dollar-pro-VRAM-Kauf. 24 GB Speicher f\u00fcr 700 US-Dollar am Gebrauchtmarkt erm\u00f6glichen tausenden unabh\u00e4ngigen ML-Forschern erstmalig, 70B-Klasse-Modelle \u00fcberhaupt auszuf\u00fchren.<\/p>\n
Die Geschwindigkeit liegt bei etwa 60 % der einer 4090 \u2013 doch f\u00fcr Inferenz erreichen Sie nach wie vor brauchbare Token\/Sekunde bei allen relevanten Modellen. Die Hauptnachteile sind ein h\u00f6herer Stromverbrauch pro Rechenleistung sowie das Risiko, eine f\u00fcnf Jahre alte Karte vom Sekund\u00e4rmarkt zu erwerben.<\/p>\n
Der klassische Enthusiasten-Trick im Jahr 2026: zwei gebrauchte RTX 3090<\/strong> mit einem hochwertigen 1200-W-Netzteil und einer NVLink-Br\u00fccke \u2013 insgesamt 1.400 US-Dollar \u2013 liefern Ihnen 48 GB VRAM und \u00fcbertreffen eine einzelne 4090 bei jedem Modell gr\u00f6\u00dfer als 30B. Der Aufbau ist l\u00e4stig, funktioniert aber zuverl\u00e4ssig.<\/p>\nKaufen Sie sie, wenn:<\/strong> Sie verf\u00fcgen \u00fcber ein Budget von 700 US-Dollar, m\u00f6chten lokal mit LLMs beginnen und f\u00fchlen sich beim Kauf gebrauchter Hardware wohl.<\/p>\n\u00dcberspringen Sie sie, wenn:<\/strong> Sie neue Hardware mit Garantie ben\u00f6tigen oder Ihr PC eng begrenzte Leistungs- bzw. Platzressourcen bietet.<\/p>\n4. RTX 3060 12 GB \u2013 der Einstieg<\/h3>\n\n
VRAM<\/strong>12 GB GDDR6<\/span><\/div>\nBandbreite<\/strong>360 GB\/s<\/span><\/div>\nTDP<\/strong>170 W<\/span><\/div>\nNeupreis<\/strong>$280<\/span><\/div>\nLlama 3 8B Q4<\/strong>48 Token\/s<\/span><\/div>\nLlama 3 8B Q8<\/strong>32 Token\/s<\/span><\/div>\n<\/div>\nF\u00fcnf Jahre nach ihrem Erscheinen wird die RTX 3060 mit 12 GB immer noch produziert und bleibt die richtige Antwort auf die Frage: \u201eWie steige ich m\u00f6glichst kosteng\u00fcnstig in lokale LLMs ein?\u201c Zw\u00f6lf Gigabyte reichen f\u00fcr jedes 7\u201313-B-Modell bei solider Quantisierung aus; Llama 3 8B erreicht 48 Token\/s (schneller, als Sie lesen k\u00f6nnen) \u2013 und die gesamte Karte kostet neu nur 280 US-Dollar.<\/p>\n
Was Sie aufgeben: alles ab 30 Mrd. Parameter. Die 3060 wird Llama 3 70B in keiner Quantisierung mit nutzbarer Geschwindigkeit ausf\u00fchren k\u00f6nnen. Sie ist eindeutig eine GPU f\u00fcr \u201akleine Modelle\u2018.<\/p>\n
Kaufen Sie sie, wenn:<\/strong> Sie sind neu bei lokalen LLMs und m\u00f6chten erst lernen, bevor Sie \u00fcber 1.000 US-Dollar investieren.<\/p>\n\u00dcberspringen Sie sie, wenn:<\/strong> Sie wissen bereits, dass Sie Modelle der 70B-Klasse ausf\u00fchren m\u00f6chten.<\/p>\n5. Radeon RX 7900 XTX \u2013 der AMD-Kompromiss<\/h3>\n\n
VRAM<\/strong>24 GB GDDR6<\/span><\/div>\nBandbreite<\/strong>960 GB\/s<\/span><\/div>\nTDP<\/strong>355 W<\/span><\/div>\nNeupreis<\/strong>$900<\/span><\/div>\nLlama 3 8B Q4<\/strong>98 t\/s (ROCm)<\/span><\/div>\nLlama 3 70B Q4<\/strong>13,6 t\/s (ROCm)<\/span><\/div>\n<\/div>\nROCm 6.3 zusammen mit der 7900 XTX ist endlich ab 2026 leistungsf\u00e4hig genug, sodass diese Empfehlung ernst gemeint und keine Absicherung mehr ist. Sie erhalten 24 GB VRAM zum Neupreis von 900 US-Dollar, eine Leistung zwischen RTX 3090 und RTX 4090 sowie vollst\u00e4ndige Unterst\u00fctzung f\u00fcr PyTorch und llama.cpp.<\/p>\n
Die Hindernisse bleiben jedoch real: Einige Frameworks (z. B. TensorRT-LLM, bestimmte CUDA-only-Inferenz-Engines oder einige Forschungs-Implementierungen) laufen einfach nicht. Spitzentechnische Forschungscode-Basen richten sich prim\u00e4r auf CUDA aus; AMD-Unterst\u00fctzung folgt oft erst Wochen oder Monate sp\u00e4ter.<\/p>\n
Kaufen Sie sie, wenn:<\/strong> Sie haben grunds\u00e4tzliche Bedenken gegen\u00fcber Nvidia, sind preissensitiv, m\u00f6chten aber ein neues Ger\u00e4t mit Garantie, oder Sie besitzen bereits einen stark AMD-basierten Rechner.<\/p>\n\u00dcberspringen Sie sie, wenn:<\/strong> Sie wollen keinerlei Komplikationen oder betreiben Forschung mit brandneuen Modellversionen.<\/p>\n6. Apple M4 Max (Mac Studio \/ MacBook Pro) \u2013 der unified-memory-Ansatz<\/h3>\n\n
Einheitlicher Arbeitsspeicher<\/strong>bis zu 128 GB<\/span><\/div>\nBandbreite<\/strong>546 GB\/s<\/span><\/div>\nTDP<\/strong>ca. 75 W<\/span><\/div>\nNeupreis<\/strong>3.499\u20134.999 US-Dollar (Mac Studio)<\/span><\/div>\nLlama 3 8B Q4 (MLX)<\/strong>78 t\/s<\/span><\/div>\nLlama 3 70B Q4 (MLX)<\/strong>9,4 t\/s<\/span><\/div>\n<\/div>\nDer M4 Max ist pro Token nicht so schnell wie Nvidias GPUs. Was er bietet, ist Arbeitsspeicher, den Sie an keiner anderen Stelle zu Konsumentenpreisen erhalten<\/strong>. Ein 128-GB-M4-Max speichert problemlos Llama 3 405B in Q4 \u2013 etwas, das eine einzelne RTX 5090 schlichtweg nicht leisten kann.<\/p>\nF\u00fcr inferenzlastige Workflows, bei denen Ihnen die Modellgr\u00f6\u00dfe wichtiger ist als die Geschwindigkeit (z. B. Analyse langer Dokumente, Agentensysteme, Forschung), ist der M4 Max tats\u00e4chlich das richtige Werkzeug. F\u00fcr Training, Fine-Tuning, Bildgenerierung oder jeglichen Workflow, der auf CUDA-only-Software angewiesen ist, stellt er dagegen eine frustrierende Wahl dar.<\/p>\n
Kaufen Sie sie, wenn:<\/strong> Sie m\u00fcssen Modelle mit \u00fcber 100 Mrd. Parametern lokal ausf\u00fchren, leben im Mac-\u00d6kosystem oder legen Wert auf ger\u00e4uschlose Betriebsweise.<\/p>\n\u00dcberspringen Sie sie, wenn:<\/strong> Sie fine-tunen Modelle, generieren Bilder oder nutzen t\u00e4glich LLMs unterhalb der 70B-Grenze (Sie zahlen also f\u00fcr Speicher, den Sie gar nicht ben\u00f6tigen).<\/p>\n7. RTX 5070 Ti \/ RTX 5080 \u2013 die mittlere Variante, die nicht funktioniert<\/h3>\n\n
VRAM<\/strong>16 GB GDDR7 (beide)<\/span><\/div>\nBandbreite<\/strong>896 \/ 960 GB\/s<\/span><\/div>\nTDP<\/strong>300 \/ 360 W<\/span><\/div>\nUVP<\/strong>$749 \/ $999<\/span><\/div>\n<\/div>\nBeide Grafikkarten sind schnell und modern, doch 16 GB VRAM sind 2026 f\u00fcr LLMs eine ungl\u00fcckliche Gr\u00f6\u00dfe: Zu viel f\u00fcr 7B-Modelle (\u00dcberdimensionierung), zu wenig f\u00fcr 70B-Modelle (passt in keiner nutzbaren Quantisierung hinein). Sie eignen sich hervorragend als Gaming- und leichte KI-Grafikkarten, doch wenn lokale LLM-Inferenz Ihre Priorit\u00e4t ist, sind gebrauchte RTX 3090 (700 US-Dollar, 24 GB) oder RTX 4090 (1.200 US-Dollar, 24 GB) die bessere Wahl.<\/p>\n
Kaufen Sie sie, wenn:<\/strong> Sie sind Gamer und m\u00f6chten gelegentlich auch mit kleineren LLMs experimentieren.<\/p>\n\u00dcberspringen Sie sie, wenn:<\/strong> Lokale LLM-Inferenz ist Ihr Hauptanwendungsfall.<\/p>\n