Lokale LLM-Modelle: Vollständiger Leitfaden zum Ausführen von KI-Modellen auf Ihrer Hardware

Lokale LLM-Modelle sind KI-Sprachmodelle, die vollständig auf Ihrer Hardware – Desktop, Laptop oder Server – ausgeführt werden, ohne Daten an externe APIs zu senden. Sie laden die Modellgewichte herunter, laden sie in den Arbeitsspeicher und führen die Inferenz lokal durch. Damit erhalten Sie vollständige Datenschutzgarantie, keine Kosten pro Token, Offline-Funktionalität und volle Kontrolle über das Verhalten des Modells. Der Nachteil ist die anfängliche Hardware-Investition sowie die langsamere Inferenz im Vergleich zu Cloud-Anbietern, die auf optimierter Infrastruktur laufen.

Beliebt Lokales LLM Modelle

Stand 2026 bieten diese Modelle das beste Verhältnis aus Qualität und Hardware-Zugänglichkeit für den lokalen Einsatz:

Modell	Parameter	VRAM (4-Bit)	VRAM (16-Bit)	Am besten geeignet für
Llama 3.1	8B / 70B / 405B	6 GB / 40 GB / 240 GB	16 GB / 140 GB / 810 GB	Allzweckanwendungen, Programmierung, Schlussfolgern
Mistral 7B v0.3	7B	5 GB	14 GB	Schnelle Inferenz, gutes Verhältnis von Qualität zu Größe
Phi-3-medium	14B	9 GB	28 GB	Effizientes Schlussfolgern, passt auf Consumer-GPUs
Gemma 2	9B / 27B	6 GB / 18 GB	18 GB / 54 GB	Anweisungsbefolgung, sicherheitsoptimiert
Qwen 2.5	7B / 72B	5 GB / 42 GB	14 GB / 144 GB	Mehrsprachigkeit, starke Leistung in Mathematik/Programmierung
DeepSeek-Coder-V2	16B / 236B	10 GB / 140 GB	32 GB / 472 GB	Codegenerierung und -verständnis

Die VRAM-Schätzungen sind ungefähr und variieren je nach Kontextlänge und Batch-Größe. Nutzen Sie den VRAM-Rechner für präzise Anforderungen basierend auf Ihrer Konfiguration oder schauen Sie bei VRAM-Anforderungen nach Modell für detaillierte Spezifikationen zu über 37 Modellen nach.

Hardware-Anforderungen

Lokale LLM-Modelle werden während der Inferenz vollständig in den Arbeitsspeicher geladen. Sie können sie entweder ausschließlich auf der GPU (VRAM), ausschließlich im System-RAM oder in einer Kombination aus beiden ausführen:

GPU (schnellste Variante)

NVIDIA-GPUs mit CUDA-Unterstützung bieten die beste Leistung. AMD-GPUs funktionieren über ROCm, verfügen aber über weniger Tooling-Unterstützung. Apple Silicon (M1/M2/M3) nutzt einen einheitlichen Speicher und führt Modelle effizient über Metal aus.

• Einsteigerklasse: RTX 3060 mit 12 GB oder RTX 4060 Ti 16 GB führt 7–8B-Modelle mit 4-Bit-Quantisierung aus
• Mittelklasse: RTX 4090 mit 24 GB bewältigt quantisierte 30B-Modelle oder 13B-Modelle mit voller Präzision
• High-End: A6000 mit 48 GB oder zwei Consumer-GPUs führen 70B-Modelle mit 4-Bit-Quantisierung aus

Weitere Details finden Sie im beste GPUs für lokale LLMs Leitfaden für Leistungsbenchmarks und Preis-Leistungs-Verhältnisse.

CPU (Langsamer, aber zugänglich)

Jede moderne CPU kann lokale LLM-Modelle unter Verwendung des Systemspeichers ausführen – allerdings 10- bis 50-mal langsamer als GPU-Inferenz. Dies ist praktikabel für kleine Modelle (7–8 Milliarden Parameter) oder wenn Datenschutz wichtiger ist als Geschwindigkeit.

• Mindestanforderung: 16 GB RAM für 7B-Modelle mit 4-Bit-Quantisierung
• Empfohlen: 32 GB+ RAM für komfortablen Betrieb mit größeren Kontextfenstern
• Server: 128 GB+ RAM ermöglichen den Einsatz von 70B-Modellen auf rein CPU-basierten Systemen

Hybrid (GPU + CPU)

Die meisten Frameworks unterstützen Offloading: Einige Schichten werden auf der GPU geladen, der Rest wird in den Arbeitsspeicher ausgelagert. Ein 70B-Modell könnte beispielsweise 24 GB VRAM und 32 GB RAM nutzen und damit eine 3- bis 5-mal schnellere Inferenz als bei reinem CPU-Betrieb ermöglichen.

Ausführen lokaler LLM-Modelle

Ollama (Einfachste Lösung)

Ollama stellt llama.cpp über eine einfache CLI und eine Modellregistrierung bereit. Es ist der schnellste Einstieg:

# Installation unter macOS/Linux
curl -fsSL https://ollama.ai/install.sh | sh

# Windows: Installer von ollama.ai herunterladen

# Modell ausführen (wird automatisch heruntergeladen)
ollama run llama3.1

# Verfügbare Modelle auflisten
ollama list

# Ein bestimmtes Modell herunterladen
ollama pull mistral:7b-instruct-q4_0

Ollama wählt automatisch zwischen GPU und CPU, verwaltet die Quantisierung und übernimmt das Herunterladen der Modelle. Weitere Details zur Einrichtung und Konfiguration finden Sie in der Kompletter Ollama-Leitfaden Dokumentation So installieren Sie Ollama oder wechseln Sie direkt zu den

100+ verfügbaren Modellen im Ollama-ModelllisteModellkatalog beste lokale Modelle für Ollama.

LM Studio (GUI)

LM Studio bietet eine Desktop-Anwendung für Windows, macOS und Linux mit Chat-Oberfläche und Modellbrowser. Laden Sie sie von lmstudio.ai herunter, starten Sie die Anwendung, suchen Sie im Reiter „Discover“ nach Modellen und klicken Sie auf „Download“. Die Modelle verwenden das GGUF-Format und werden mit einstellbarer Quantisierung geladen.

LM Studio zeigt die aktuelle VRAM-Auslastung und die Inferenzgeschwindigkeit in Echtzeit an, wodurch die Feinabstimmung der Einstellungen erleichtert wird. Außerdem startet es einen lokalen OpenAI-kompatiblen API-Server unter http://localhost:1234/v1 http://localhost:1234 LM Studio – umfassende Anleitung für erweiterte Funktionen.

llama.cpp (Fortgeschritten)

llama.cpp ist die zugrundeliegende Engine für Ollama und LM Studio und bietet Entwicklern maximale Kontrolle:

# Klonen und Kompilieren
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

# Mit CUDA-Unterstützung
make LLAMA_CUDA=1

# Inferenz ausführen
./main -m models/llama-3.1-8b-instruct-q4_0.gguf -p "Erkläre Quantencomputing" -n 512 --gpu-layers 35

Der --gpu-layers steuert, wie viele Transformer-Schichten auf der GPU statt im Arbeitsspeicher geladen werden. Höhere Werte beanspruchen mehr VRAM, führen aber zu schnellerer Ausführung. Beginnen Sie mit der Hälfte der Gesamtanzahl der Schichten des Modells und passen Sie den Wert anschließend an.

Weitere Tools

• text-generation-webui: Web-Oberfläche mit Erweiterungen und Unterstützung verschiedener Backends
• vLLM: Optimierter Inferenzserver für hochdurchsatzfähige Produktionsumgebungen
• LocalAI: Direkter Ersatz für die OpenAI-API mit Unterstützung mehrerer Modellformate
• Jan: Desktop-Anwendung ähnlich LM Studio mit Fokus auf Datenschutz

Modellformate und Quantisierung

Quantisierung reduziert die numerische Genauigkeit eines Modells von 16-Bit- oder 32-Bit-Gleitkommazahlen auf 8-Bit-, 4-Bit- oder Mischpräzision und senkt so den Speicherbedarf um 50–75 % bei einem Qualitätsverlust von nur 2–5 %. Verschiedene Formate sind jeweils für unterschiedliche Hardware optimiert:

GGUF (Ollama, LM Studio, llama.cpp)

GGUF ist das Standardformat für lokale Bereitstellung. Gängige Quantisierungsstufen:

• Q4_0: 4-Bit, kleinste Dateigröße, 5–10 % Qualitätsverlust
• Q4_K_M: 4-Bit mit Mischpräzision, gutes Verhältnis aus Größe und Qualität
• Q5_K_M: 5-Bit, bessere Qualität als Q4, immer noch kompakt
• Q8_0: 8-Bit, minimaler Qualitätsverlust, größere Dateien
• F16: Vollständige 16-Bit-Präzision, keine Quantisierung

Für die meisten Anwendungsfälle bieten Q4_K_M oder Q5_K_M das beste Verhältnis aus Qualität und Dateigröße. Nutzen Sie Q8_0 oder F16 nur dann, wenn Sie über ausreichend VRAM verfügen und höchste Genauigkeit benötigen.

GPTQ (Python-Inferenz)

GPTQ quantisiert auf 4-Bit oder 3-Bit und ist speziell für GPU-Inferenz optimiert – z. B. mithilfe von Bibliotheken wie AutoGPTQ oder ExLlama. GPTQ wird häufig in Hugging Face Transformers-Workflows eingesetzt. GPTQ-Modelle laden schneller als GGUF-Modelle, erfordern jedoch eine Python-Umgebung.

AWQ (Schnelle GPU-Inferenz)

AWQ (Activation-aware Weight Quantization) bewahrt bei 4-Bit-Quantisierung mehr Genauigkeit als GPTQ, indem besonders wichtige Gewichte geschützt werden. AWQ erfordert kompatible Inferenz-Engines wie vLLM oder TGI.

Auswahl eines lokalen LLM-Modells

Wählen Sie die Modellgröße entsprechend Ihrer Hardware und Ihrem Anwendungsfall:

• 7–8B-Modelle: Passen auf Consumer-GPUs (12–16 GB VRAM), schnelle Antworten, gut geeignet für Chats und einfache Aufgaben
• 13–14B-Modelle: Benötigen 20–24 GB VRAM, deutlich besseres Schlussfolgern und Befolgen von Anweisungen
• 30–34B-Modelle: Erfordern 40 GB+ VRAM oder hybriden GPU+RAM-Betrieb und nähern sich der Qualität von GPT-3.5
• Modelle mit 70 Milliarden oder mehr Parametern: Erfordern Server-Hardware oder aggressive Quantisierung, konkurrieren auf vielen Aufgaben mit GPT-4

Durchsuchen Sie die Spezifikationen und Benchmark-Werte für 37 Modelle im Datenbank für KI-Modelle, oder vergleichen Sie die Platzierungen im LLM-Leaderboard sortiert nach Intelligenz, Preis und Kontextlänge.

Verwenden Sie für die Kostenanalyse den Selbsthosting vs. API-Rechner um den Break-even-Point zwischen lokaler Hardware und Cloud-API-Kosten zu ermitteln. Lokale Modelle verursachen höhere Anschaffungskosten, aber keine zusätzlichen Kosten pro Token – bei hohem Volumen sind sie daher günstiger.

Häufig gestellte Fragen

Kann ich lokale LLM-Modelle auf einem Laptop ausführen?

Ja, sofern Sie über 16 GB oder mehr einheitlichen Arbeitsspeicher (Apple Silicon) oder 16 GB oder mehr RAM sowie eine dedizierte GPU mit mindestens 8 GB VRAM verfügen. MacBook Pros mit M1 Max/Ultra, M2 Pro/Max oder M3 Max führen 7–13B-Modelle effizient aus. Windows-/Linux-Laptops mit mobilen RTX 4060–4090-GPUs bewältigen je nach VRAM 7–30B-Modelle. Die Inferenz allein auf der CPU funktioniert auf jedem Laptop mit 16 GB oder mehr RAM, ist jedoch 10–50-mal langsamer.

Wie viel langsamer sind lokale LLM-Modelle im Vergleich zu API-Anbietern?

Das hängt von der Hardware ab. Ein 7B-Modell auf einer RTX 4090 generiert 80–120 Tokens pro Sekunde – vergleichbar mit der Latenz über APIs. Dasselbe Modell auf der CPU erzeugt nur 5–15 Tokens pro Sekunde. Größere Modelle (70B+) erzeugen selbst mit GPU-Beschleunigung auf Consumer-Hardware lediglich 2–10 Tokens pro Sekunde. Cloud-Anbieter nutzen optimierte H100-Cluster für hohe Durchsatzraten; lokale Modelle hingegen eliminieren die Netzwerklatenz – das erste Token erhalten Sie sofort.

Benötigen lokale LLM-Modelle Internetzugang?

Nein, sobald sie einmal heruntergeladen sind. Sie laden die Modellgewichte einmalig herunter (1–150 GB, je nach Modellgröße); danach läuft die Inferenz vollständig offline. Ollama, LM Studio und llama.cpp speichern Modelle lokal im Cache. Dadurch eignen sich lokale LLMs besonders für air-gapped-Umgebungen, unterwegs oder für datenschutzkritische Anwendungen, bei denen keinerlei Daten Ihr Netzwerk verlassen dürfen.

Wie groß ist der Qualitätsunterschied zwischen quantisierten und vollpräzisen Modellen?

Eine 4-Bit-Quantisierung (Q4_K_M) führt bei den meisten Benchmarks zu einem Qualitätseinbuße von 2–5 % gegenüber 16-Bit-Präzision, wobei vor allem komplexe Schlussfolgerungen und faktisches Abrufen beeinträchtigt werden. Bei 8-Bit-Quantisierung liegt der Verlust unter 1 %. Für Chat-Anwendungen, Programmierhilfe und Dokumentverarbeitung können die meisten Nutzer Q4_K_M nicht von F16 unterscheiden. Für kritische Anwendungen mit höchsten Genauigkeitsanforderungen (Medizin, Rechtswesen, Wissenschaft) empfehlen wir Q8_0 oder F16 – sofern ausreichend VRAM zur Verfügung steht.

Kann ich lokale LLM-Modelle feinjustieren?

Ja, mithilfe von Bibliotheken wie Axolotl, Ludwig oder Hugging Face TRL. Für das Fine-Tuning ist deutlich mehr VRAM erforderlich als für die reine Inferenz: Bei vollständigem Fine-Tuning eines 7B-Modells sollten Sie mindestens 24 GB VRAM einplanen; bei parameter-effizienten Methoden wie LoRA genügen 12–16 GB. Die feinjustierten Gewichte ersetzen oder ergänzen die Basis-Modellgewichte, sodass Sie das angepasste Modell nach Konvertierung in das GGUF- oder ein anderes Inferenzformat mit denselben Tools (Ollama, LM Studio, llama.cpp) bereitstellen können.

Welches lokale LLM-Modell kommt der Qualität von ChatGPT am nächsten?

Llama 3.1 70B nähert sich der Qualität von GPT-4 bei Schlussfolgerungen und Befolgung von Anweisungen an, während Llama 3.1 405B bei vielen Benchmarks GPT-4 erreicht oder sogar übertrifft. Für eine Qualität auf GPT-3.5-Niveau reichen Llama 3.1 8BPhi-4, Mistral 7B oder Qwen 2.5 14B aus. Kein lokales Modell repliziert das Verhalten von ChatGPT vollständig, da ChatGPT Retrieval-Augmentation, mehrere Modelle und Nachbearbeitungsschritte nutzt – doch die reinen Modellfähigkeiten sind mittlerweile bei der 70B+-Klasse vergleichbar.