LM Studio: Vollständiger Leitfaden zum Ausführen lokaler KI-Modelle

LM Studio ist eine Desktop-Anwendung, mit der Sie große Sprachmodelle auf Ihrem eigenen Computer herunterladen, ausführen und interaktiv nutzen können. Sie bietet eine grafische Benutzeroberfläche für Aufgaben, die andernfalls Kommandozeilentools erfordern würden, und macht lokale KI so für Entwickler und technisch versierte Nutzer zugänglich, die volle Kontrolle über ihre Modelle behalten möchten – ohne Daten an externe APIs zu senden. Die Anwendung übernimmt automatisch die Modellentdeckung, den Download, die Auswahl der Quantisierung sowie die Hardwarebeschleunigung.

Im Gegensatz zu cloudbasierten KI-Diensten LM Studio läuft LM Studio vollständig offline, sobald Sie ein Modell heruntergeladen haben. Ihre Konversationen, Dokumente und Prompts verlassen niemals Ihren Rechner. Damit eignet es sich besonders für sensible Aufgaben, Experimente ohne API-Kosten sowie Umgebungen mit eingeschränkter oder keiner Internetverbindung.

Installation

Windows

Laden Sie das Installationsprogramm von lmstudio.ai. Der .exe Der Installer umfasst typischerweise 200–400 MB. Führen Sie ihn aus und folgen Sie dem Installationsassistenten. LM Studio wird standardmäßig unter C:\Users\[IhrBenutzername]\AppData\Local\LM-Studio installiert. Modelle werden standardmäßig nach C:\Users\[IhrBenutzername]\.cache\lm-studio\models heruntergeladen, sofern Sie im Einstellungsmenü keinen anderen Pfad festlegen.

Für GPU-Beschleunigung unter Windows benötigen Sie NVIDIA-Treiber ab Version 522.06, um CUDA zu unterstützen. LM Studio erkennt Ihre GPU automatisch und nutzt sie, falls verfügbar.

macOS

Laden Sie das .dmg Datei von lmstudio.aiherunter. Öffnen Sie sie und ziehen Sie LM Studio in Ihren Ordner „Anwendungen“. Modelle werden standardmäßig nach ~/Library/Application Support/LMStudio/models heruntergeladen.

Apple-Silicon-Macs (M1, M2, M3, M4) profitieren von automatischer Metal-Beschleunigung. Intel-Macs verwenden CPU-Inferenz, was deutlich langsamer ist, aber für kleinere Modelle durchaus funktionsfähig bleibt.

Linux

Laden Sie das .AppImage Datei. Machen Sie sie ausführbar mit chmod +x LM-Studio-*.AppImage, und führen Sie sie anschließend mit ./LM-Studio-*.AppImageaus. Modelle werden standardmäßig nach ~/.cache/lm-studio/models.

heruntergeladen. Für NVIDIA-GPU-Beschleunigung installieren Sie das CUDA-Toolkit ab Version 11.8 und stellen sicher, dass nvidia-smi Ihre GPU anzeigt. LM Studio erkennt CUDA automatisch.

Herunterladen und Laden von Modellen

LM Studio verwendet das GGUF-Format, ein quantisiertes Modellformat, das den Speicherbedarf senkt, ohne wesentlich an Qualität einzubüßen. Wenn Sie LM Studio öffnen, klicken Sie auf das Suchsymbol in der linken Seitenleiste, um Modelle zu durchsuchen. Die integrierte Suche greift auf Hugging Face zurück und filtert nach kompatiblen GGUF-Dateien.

Suchen Sie nach einem Modell nach Namen (z. B. „llama 3.1“, „mistral“, „phi“). Jedes Ergebnis zeigt mehrere Quantisierungsstufen an, gekennzeichnet wie etwa Q4_K_M, Q5_K_S, oder Q8_0. Die Zahl gibt die Bit-Tiefe an – Q4 verwendet 4 Bit pro Gewicht, Q8 verwendet 8 Bit. Kleinere Zahlen bedeuten geringere Dateigröße und schnellere Inferenz, allerdings mit leicht reduzierter Qualität.

Für die meisten Anwendungsfälle bietet Q4_K_M oder Q5_K_M das beste Verhältnis aus Geschwindigkeit und Qualität. Nutzen Sie unseren VRAM-Rechner um abzuschätzen, wie viel Speicher ein bestimmtes Modell und eine bestimmte Quantisierung benötigen. Als grobe Orientierung:

Klicken Sie auf das Download-Symbol neben Ihrer gewählten Quantisierungsstufe. Die Modellgrößen reichen je nach Variante von 3 GB bis über 50 GB. Sobald der Download abgeschlossen ist, klicken Sie im Bibliotheksbereich auf den Modellnamen, um es zu laden. LM Studio zeigt die aktuelle GPU- und RAM-Auslastung rechts unten an. Passt das Modell nicht vollständig in den VRAM, werden einzelne Schichten in den Arbeitsspeicher (RAM) ausgelagert – dies verlangsamt die Inferenz erheblich.

Verwenden der Chat-Benutzeroberfläche

Nach dem Laden eines Modells erscheint die Chat-Benutzeroberfläche im Hauptfenster. Geben Sie Ihre Eingabeaufforderung (Prompt) in das Textfeld am unteren Bildschirmrand ein und drücken Sie Enter oder klicken Sie auf das Sendesymbol. Das Modell generiert die Antwort lokal – sobald es geladen ist, ist keine Internetverbindung mehr erforderlich.

Wichtige Steuerelemente:

• Temperaturschieberegler (rechte Seitenleiste): steuert die Zufälligkeit. 0,1–0,3 für faktenbasierte Aufgaben, 0,7–1,0 für kreatives Schreiben
• Maximale Tokenanzahl: begrenzt die Länge der Antwort. Der Standardwert liegt meist bei 2048; erhöhen Sie diesen Wert für längere Ausgaben
• System-Prompt: legt das Verhalten und die Persönlichkeit des Modells fest. Klicken Sie in der oberen Leiste auf „Bearbeiten“, um ihn anzupassen
• Stop-Sequenzen: Token, die die Generierung vorzeitig beenden – nützlich bei strukturierten Ausgabeformaten

LM Studio unterstützt Mehrfachrunden-Dialoge. Jede Nachricht bleibt im Kontext, bis Sie auf „Neuer Chat“ klicken oder das Kontextfenster voll ist. Die meisten Modelle verfügen über ein Kontextfenster von 4k–32k Token – prüfen Sie die Modellkarte für konkrete Angaben.

Ausführen eines lokalen API-Servers

LM Studio enthält einen OpenAI-kompatiblen API-Server, sodass Sie lokale Modelle als direkten Ersatz für GPT-4 oder GPT-3.5 in bestehenden Anwendungen nutzen können. Klicken Sie auf das -Symbol in der linken Seitenleiste, um die Registerkarte „Lokaler Server“ zu öffnen.

Wählen Sie ein geladenes Modell aus dem Dropdown-Menü und klicken Sie auf „Server starten“. Der Server läuft standardmäßig unter http://localhost:1234 . Die Benutzeroberfläche zeigt ein Codebeispiel an:

curl http://localhost:1234/v1/chat/completions 
  -H "Content-Type: application/json" 
  -d '{
    "model": "local-model",
    "messages": [{"role": "user", "content": "Hallo"}]
  }'

Jedes Tool, das das OpenAI-API-Format unterstützt, funktioniert mit dem LM Studio-Server. Legen Sie die Basis-URL auf http://localhost:1234/v1 fest und verwenden Sie eine beliebige nicht-leere Zeichenkette als API-Schlüssel (LM Studio validiert diesen nicht). Dazu gehören:

• LangChain (Python/JS): setzen Sie openai_api_base auf localhost
• OpenAI Python SDK: openai.api_base = "http://localhost:1234/v1"
• Texteditoren mit KI-Funktionen (Cursor, Continue, Cody): geben Sie localhost in den Einstellungen an
• Benutzerdefinierte Skripte: ersetzen Sie https://api.openai.com/v1 mit http://localhost:1234/v1

Der Server unterstützt Streaming-Antworten und Funktionsaufrufe (sofern das Modell dafür trainiert wurde). Prüfen Sie die Logs in der Registerkarte „Server“, um Anfragen zu debuggen.

Konfiguration und Hardwareeinstellungen

Klicken Sie auf das Zahnradsymbol (Einstellungen) in der unteren linken Ecke, um Folgendes anzupassen:

• Modellordnerpfad: ändern Sie den Speicherort, von dem aus Modelle heruntergeladen und geladen werden
• GPU-Offload-Ebenen: steuert, wie viele Netzwerkebenen auf der GPU statt auf der CPU ausgeführt werden. Die automatische Erkennung funktioniert gut, doch manuelle Anpassungen helfen, wenn mehrere Programme gleichzeitig laufen
• Kontextlängen-Überschreibung: erhöhen Sie diesen Wert, falls das Modell dies unterstützt und Sie längere Dialoge benötigen. Eine größere Kontextlänge beansprucht mehr VRAM
• Inferenz-Threads: Anzahl der CPU-Threads für die Inferenz. Der Standardwert ist „automatisch“, doch die Festlegung auf die Anzahl physischer Kerne (nicht Hyperthreading) kann die Geschwindigkeit verbessern

Für beste Leistung schließen Sie andere GPU-intensiv laufende Anwendungen (Spiele, Videobearbeitung, 3D-Rendering), bevor Sie große Modelle laden. Bei Laptops sollten Sie das Gerät ans Netz anschließen und den Energiesparmodus auf „Hohe Leistung“ stellen – CPU-/GPU-Throttling beeinträchtigt die Inferenzgeschwindigkeit erheblich.

LM Studio vs. Ollama

LM Studio und Ollama führen beide lokale Modelle aus, unterscheiden sich jedoch in Benutzeroberfläche und Arbeitsablauf:

Verwenden Sie LM Studio, wenn Sie eine visuelle Oberfläche wünschen, direkte Kontrolle über Modell-Dateien haben möchten und keine Terminal-Befehle eingeben möchten. Nutzen Sie Ollama, wenn Sie CLI-Workflows bevorzugen, einen schlanken Server benötigen oder in automatisierte Pipelines integrieren möchten. Beide Tools sind kostenlos und handhaben GPU-Beschleunigung ähnlich. Weitere Empfehlungen finden Sie in unserem Leitfaden zu lokalen Modellen für Modelle, die mit beiden Tools kompatibel sind.

Auswahl geeigneter Modelle für LM Studio

Das gewählte Modell hängt von Ihrer Hardware und Ihrem Anwendungsfall ab. Prüfen Sie unseren Datenbank für KI-Modelle für technische Spezifikationen und VRAM-Anforderungen von über 37 Modellen.

Für 8–16 GB VRAM: Llama 3.1 8B, Mistral 7BQwen2.5, Phi-3 Medium (14B). Diese eignen sich gut für allgemeine Gespräche, Programmierhilfe und Zusammenfassungen.

Für 24 GB VRAM: Llama 3.1 70B (Q3-Quantisierung), Mixtral 8x7B, Command R+ 35B (Q4). Deutlicher Qualitätssprung bei Schlussfolgerungsaufgaben und komplexen Anweisungen.

Für 48 GB+ VRAM: Llama 3.1 405B (Q3), Qwen 2.5 72B (Q5). Nahezu Spitzenleistung für die meisten Aufgaben.

Falls Sie unsicher sind, ob ein Modell auf Ihre Hardware passt, nutzen Sie den VRAM-Rechner bevor Sie es herunterladen. Ein Modell, das gerade so in den VRAM passt, wird teilweise in den Arbeitsspeicher ausgelagert und läuft 5–10-mal langsamer als ein Modell, das vollständig im VRAM geladen ist.

Häufig gestellte Fragen

Funktioniert LM Studio offline?

Ja, vollständig. Zum ersten Herunterladen der Modelle benötigen Sie eine Internetverbindung; danach läuft LM Studio jedoch komplett ohne Netzwerkanschluss. Modelle, Inferenz und der lokale API-Server funktionieren alle offline. Damit eignet sich LM Studio auch für abgeschottete Umgebungen oder den Betrieb ohne Internetzugang.

Kann ich LM-Studio-Modelle in meinen eigenen Anwendungen verwenden?

Ja. Starten Sie den lokalen API-Server in LM Studio und richten Sie Ihre Anwendung auf http://localhost:1234/v1aus. Jeder Code, der das OpenAI-API-Format nutzt, funktioniert unverändert. Außerdem können Sie GGUF-Dateien direkt in Ihrem Code mit Bibliotheken wie llama.cpp, llama-cpp-python, oder ctransformersladen – die von LM Studio heruntergeladenen Modelle sind standardisierte GGUF-Dateien, die im Cache-Ordner gespeichert werden.

Wie viel kostet LM Studio?

LM Studio ist kostenlos. Es fallen weder Abonnementgebühren, API-Gebühren noch Nutzungsbeschränkungen an. Auch die Modelle selbst sind kostenlos – die meisten sind Open-Source-Modelle mit großzügigen Lizenzen (MIT, Apache 2.0, Llama 3.1 Community License). Ihre einzigen Kosten entstehen für Hardware und Stromverbrauch. Nutzen Sie unseren Selbsthosting vs. API-Rechner um die Kosten für lokale Inferenz mit Cloud-API-Preisen zu vergleichen.

Warum ist die Inferenz auf meinem Rechner langsam?

Drei häufige Ursachen: (1) Das Modell passt nicht vollständig in den VRAM und wird daher in den Arbeitsspeicher ausgelagert – prüfen Sie die Speicheranzeige in LM Studio und probieren Sie eine geringere Quantisierung oder ein kleineres Modell aus. (2) Die GPU wird nicht erkannt – überprüfen Sie die Treiber (Windows/Linux) oder stellen Sie sicher, dass Sie Apple Silicon verwenden (macOS). (3) CPU-Drosselung bei Laptops – schließen Sie das Gerät an die Stromversorgung an und wählen Sie den Hochleistungsmodus. Die Inferenzgeschwindigkeit skaliert in etwa mit der VRAM-Bandbreite; ältere oder mobile GPUs sind daher selbst bei ausreichendem Speicher langsamer als Desktop-GPUs.

Kann ich Modelle in LM Studio feinjustieren oder trainieren?

Nein. LM Studio unterstützt ausschließlich Inferenz – es lädt und führt vortrainierte Modelle aus, bietet aber keine Funktionen zum Training oder zur Feinjustierung. Dafür benötigen Sie spezielle Trainings-Frameworks wie Axolotl, Hugging Face Transformers oder MLX (für Apple Silicon). Sie können ein Modell extern feinjustieren, es ins GGUF-Format exportieren und anschließend das feinjustierte GGUF-Modell in LM Studio laden.

Was ist der Unterschied zwischen Bezeichnungen wie Q4_K_M, Q5_K_S und anderen Quantisierungslabels?

Die Zahl (Q4, Q5, Q8) gibt die Bitanzahl pro Gewicht an – niedrigere Werte bedeuten kleinere Dateigrößen und schnellere Ausführung, höhere Werte mehr Genauigkeit. Die Endung beschreibt die Quantisierungsmethode: K_M (mittel, ausgewogen), K_S (klein, stärker komprimiert), K_L (groß, bewahrt mehr Genauigkeit). Für die meisten Nutzer stellt Q4_K_M oder Q5_K_M den optimalen Kompromiss dar. Verwenden Sie nur Q2 oder Q3, wenn der VRAM extrem begrenzt ist – die Qualität verschlechtert sich dabei deutlich. Q8 liegt nahe an voller Präzision, bringt jedoch bei den meisten Aufgaben kaum einen Qualitätsvorteil gegenüber Q5, während der VRAM-Bedarf sich verdoppelt.