Was ist Ollama? Der umfassende Leitfaden zum lokalen Ausführen von LLMs im Jahr 2026

Wenn Sie sich in den letzten zwei Jahren mit lokaler KI beschäftigt haben, sind Ihnen der Name und die Funktionsweise bereits bekannt. Ollama ist das Werkzeug, das aus dem Ziel ‚eine große Sprachmodell auf dem eigenen Rechner auszuführen‘ – einst ein Wochenende voller CUDA-Fehler – einen einzigen Befehl gemacht hat: ollama run llama3.3.

Dieser Leitfaden erklärt präzise, was Ollama ist, wie es intern funktioniert, welche Aufgaben es bewältigen kann – und welche nicht – sowie ob es 2026 das richtige Werkzeug für Sie ist.

Schnelle Antwort: Was ist Ollama und wie funktioniert es?

Ollama ist ein kostenloses, quelloffenes Tool, das große Sprachmodelle (LLMs) herunterlädt, verwaltet und lokal auf Mac, Windows oder Linux mit einem einzigen Befehl ausführt – ohne Cloud, ohne API-Schlüssel und ohne dass Ihre Daten Ihr Gerät verlassen. Im Hintergrund nutzt es die llama.cpp -Engine (sowie Apples MLX auf Mac seit Version v0.19) und übernimmt das Herunterladen der Modelle, die Quantisierung sowie die GPU-Zuweisung; zudem stellt es eine REST-API auf Port 11434 zur Verfügung, die OpenAI-kompatibel ist unter /v1. Ein einzelner Befehl wie ollama run llama3.3 lädt ein Modell herunter und bringt Sie von der Installation bis zum lauffähigen Modell in etwa zwei Minuten.

• Wie es funktioniert: umhüllt llama.cpp (sowie Apple MLX auf Mac seit v0.19) und stellt Modelle über eine lokale REST-API bereit – http://localhost:11434, OpenAI-kompatibel unter /v1.
• So führen Sie ein Modell aus: ollama run llama3.3 lädt das Modell herunter und startet es innerhalb von rund zwei Minuten – weitere beliebte Modelle sind gemma4 und qwen3.
• Benötigte Hardware: Die optimale Konfiguration liegt bei etwa 16 GB VRAM oder gemeinsamem Arbeitsspeicher; rechnen Sie grob mit 0,6 GB Speicher pro Milliarde Parameter bei Q4_K_M-Quantisierung.
• Was es ausführen kann: über 100 quelloffene Modelle, von ca. 5 GB großen 7B-Modellen bis hin zu ca. 43 GB großen 70B-Modellen.
• Kosten und Einschränkungen: 0 USD und MIT-lizenziert, vollständig privat und offline – allerdings nicht für Hochlast-Szenarien mit hoher Parallelität konzipiert, wo vLLM unter Last etwa 16–20-mal schneller ist.

Was Ollama eigentlich ist

Ollama ist eine quelloffene Laufzeitumgebung für große Sprachmodelle, die auf Ihrem eigenen Computer – Mac, Windows oder Linux – läuft. Man kann sie sich als ‚Docker für LLMs‘ vorstellen: Statt sich mit Python-Umgebungen, Modellgewichten und Grafiktreibern herumschlagen zu müssen, geben Sie einfach einen Befehl ein – und schon läuft ein Modell.

Die Kernbotschaft ist simpel: Halten Sie Ihre Daten auf Ihrem Gerät, zahlen Sie pro Token nichts und arbeiten Sie offline. Wenn Sie ausführen ollama run gemma4, ausführen, lädt Ollama das Modell herunter, lädt es in den GPU-Speicher Ihres Rechners (oder in den Arbeitsspeicher, falls keine GPU vorhanden ist) und versetzt Sie direkt in eine Chat-Eingabeaufforderung. Das war’s schon.

Hinter dieser Einfachheit erledigt Ollama zahlreiche Aufgaben für Sie:

• Modellverwaltung – Abrufen, Versionsverwaltung und Speichern von Modellen aus seiner Registry, ähnlich wie ein Paketmanager Software verwaltet.
• Quantisierung – automatische Nutzung komprimierter (GGUF-)Modellversionen, sodass ein Modell mit 27 Milliarden Parametern auch in den Arbeitsspeicher eines Consumer-Geräts passt.
• Zuweisung von GPU-Schichten — Entscheidung, wie viel vom Modell auf Ihrer GPU und wie viel auf der CPU gespeichert wird, basierend auf Ihrem verfügbaren VRAM.
• Verwaltung des Kontexts und des KV-Caches — Verwaltung des Speichers, der mit zunehmender Gesprächslänge wächst.
• Eine REST-API — macht alle Funktionen über http://localhost:11434 verfügbar, sodass Ihre eigenen Anwendungen mit ihr kommunizieren können.

Wie es intern funktioniert

Ollama ist selbst keine Inferenz-Engine. Es ist eine Erlebnisschicht um eine solche herum. Im Hintergrund nutzt es llama.cpp, die C++-Engine, die die eigentliche Mathematik beim effizienten Ausführen eines quantisierten Modells auf CPUs und GPUs übernimmt. Ab Version v0.19 (März 2026) verwendet Ollama zudem Apples MLX-Backend auf Apple Silicon – eine Änderung, die enorme Geschwindigkeitssteigerungen brachte (auf einem M5 Max mit Qwen 3.5 verdoppelte sich die Dekodier-Durchsatzrate nahezu).

Der Workflow sieht folgendermaßen aus:

1. Sie führen den Befehl — ollama run qwen3 im Terminal aus oder senden eine Anfrage an die API.
2. Ollama löst das Modell auf — falls es noch nicht heruntergeladen ist, lädt es die GGUF-Gewichte aus dem Registry-Server herunter.
3. Es lädt das Modell in den Arbeitsspeicher — dabei werden die Schichten je nach verfügbarem VRAM zwischen GPU und CPU aufgeteilt.
4. Es liefert Antworten — entweder interaktiv im Terminal oder als JSON über die REST-API.

Diese REST-API ist der Teil, der Entwickler am meisten interessiert. Jede Anwendung, die HTTP-Anfragen stellen kann, kann über Ollama ein lokales Modell nutzen – und da Ollama einen OpenAI-kompatiblen Endpunkt hinzugefügt hat, funktioniert viel bestehender Code bereits nach einer einfachen Änderung der Basis-URL.

Was Sie damit entwickeln können

Ollama ist die treibende Kraft hinter einer breiten Palette lokaler KI-Projekte im Jahr 2026:

• Private Chatbots , die niemals ein Wort in die Cloud senden.
• Programmierassistenten — der neuere Befehl ollama launch verknüpft Tools wie Claude Code, OpenCodeund Codex nahtlos mit einem lokalen oder cloudbasierten Modell – ohne Konfigurationsdateien.
• RAG-Systeme , die Ollamas Batch-Embedding-API nutzen, um Ihre eigenen Dokumente zu indexieren.
• Agenten und Automatisierungen , die lokale Modelle für Klassifizierung, Extraktion oder Zusammenfassung ohne zusätzliche Grenzkosten aufrufen.
• Strukturierte Ausgabepipelines — Ollama kann nun die Ausgabe eines Modells auf ein JSON-Schema beschränken, wodurch es für programmatische Zwecke zuverlässig wird.

Wo Ollama im Vergleich zu Alternativen steht

Ollama ist nicht die einzige Möglichkeit, Modelle lokal auszuführen, und es ist nicht immer die beste. Hier ist die ehrliche Übersicht – und falls Sie sich für eine der anderen Alternativen entscheiden, die saubere Deinstallation von Ollama dauert nur eine Minute:

Tool	Ideal für	Abwägung
Ollama	Prototyping durch eine Person auf jedem Betriebssystem	Langsam bei hoher Parallelität
LM Studio	Eine polierte GUI zum Durchsuchen und Chatten mit Modellen	Weniger skriptfähig; desktop-zentriert
vLLM	Produktiver Mehrbenutzer-Betrieb auf GPUs	Komplexes Setup; nicht lokal-first
llama.cpp	Maximale Geschwindigkeit und eingebettete/Edge-Hardware	Niedrigste Ebene; du stellst es selbst zusammen

Wenn du eine Person bist, die experimentiert, gewinnt Ollama durch pure Bequemlichkeit. Sobald du viele Benutzer gleichzeitig bedienen musst, solltest du unseren vollständigen Vergleich von Ollama im Vergleich zu LM Studio vs. vLLM vs. llama.cpp.

Loslegen in zwei Minuten

Die Einstiegshürde ist wirklich winzig:

1. Installiere es — lade die App für dein Betriebssystem herunter (siehe unseren Schritt-für-Schritt-Installationsanleitung, oder führen Sie es in einem Docker-Container aus (um es vom Host-System zu isolieren).
2. Ziehe ein Modell und führe es aus — ollama run gemma4 für einen starken Allrounder, oder ollama run qwen3 zum Programmieren.
3. Sprich mit ihm — chatte im Terminal, oder verweise deine App auf http://localhost:11434.

Bevor du ein Modell auswählst, überprüfe, ob deine Maschine es bewältigen kann — unser Leitfaden zu Ollamaas Systemanforderungen ordnet Modellgrößen dem RAM und VRAM zu, die du tatsächlich brauchst.

Welche Hardware brauchst du wirklich?

Ollama startet auf fast jeder Maschine mit einer CPU und 8 GB RAM, aber „startet“ und „fühlt sich nutzbar an“ sind unterschiedliche Fragen. Die einzelne Zahl, die dein Erlebnis entscheidet, ist, wie viel Speicher das Modell passt, weil das gesamte Modell in RAM (oder idealerweise GPU VRAM) sitzen muss, während es läuft. Eine verlässliche Faustregel ist ungefähr 0,6 GB Speicher pro Milliarde Parameter bei der Standard-Quantisierung Q4_K_M plus ein wenig Spielraum für den Kontext.

Diese Mathematik gibt dir einen schnellen Größenleitfaden für die häufigsten Modellklassen:

Modellklasse	Ungefähr. Download (Q4_K_M)	Komfortabler Speicher
7–8B (Llama 3.x, Mistral)	~5 GB	8 GB+
13–14B (Qwen, Phi)	~9 GB	16 GB+
32B	~20 GB	24 GB+
70B (Llama 3.3)	~43 GB	64 GB+

Für die meisten Menschen liegt der praktische optimale Punkt bei einer GPU oder einem Mac mit etwa 16 GB VRAM oder einheitlichem Speicher — genug, um 7B–14B-Modelle mit Geschwindigkeiten auszuführen, die sich sofort anfühlen. Eine 16 GB RTX-Klasse-Karte oder ein 16 GB Apple Silicon Mac liegen beide genau in dieser Zone.

Zwei architektonische Besonderheiten sind bei der Auswahl wichtig. Eine diskrete NVIDIA GPU gewinnt deutlich, wann immer das Modell in seinen VRAM passt und liefert die schnellsten Token pro Sekunde. Apple Silicon vereinigter Arbeitsspeicher ist der gegenteilige Kompromiss: Sie teilt sich den gesamten Systemspeicher mit der GPU, daher kann ein 64 GB oder 128 GB Mac 32B–70B-Modelle ausführen, die einfach nicht auf einer Consumer-Grafikkarte geladen werden — nur mit niedrigerem Durchsatz. Der Crossover liegt bei etwa der 24 GB Modellmarke.

Sie kann können Ollama ohne GPU ausführen. Eine moderne Multi-Core-CPU verarbeitet ein 7B-Modell mit einer praktischen niedrigen bis niedrigen zweistelligen Anzahl von Token pro Sekunde, aber große 70B-Modelle auf CPU fallen unter ein Token pro Sekunde — fein für nächtliche Batch-Jobs, schmerzhaft für Chat. Wenn interaktive Geschwindigkeit wichtig ist, ist GPU- oder Apple Silicon-Beschleunigung der entscheidende Faktor.

Zwei verwandte Anleitungen: GGUF-Modelle erklärt (das Dateiformat, das Ollama herunterlädt) und was LM Studio ist falls Sie eine grafische Anwendung der Kommandozeile vorziehen.

Was hat sich in Ollama 0.34 (September 2026) geändert

Die aktuelle Version ist v0.34.2, veröffentlicht am 15. September 2026. Drei Änderungen in der 0.34er-Version sind relevant, wenn Sie Ollama zuletzt früher in diesem Jahr genutzt haben – laut den offiziellen Veröffentlichungshinweisen:

• Ein Erststart-Setup-Schritt (0.34.2). Beim Starten von Ollama wird Ihnen nun angeboten, sich entweder anzumelden oder offline fortzufahren – eine Information, die vor dem Schreiben eines automatisierten, unbeaufsichtigten Installations-Skripts hilfreich ist. Dieselbe Version führte zudem einen ollama://apps Deep Link für die Desktop-App unter macOS und Windows ein.
• ChatGPT Desktop kann lokale Modelle steuern (0.34.0). Open-Weight-Modelle, die in Ollama laufen, können über diese Oberfläche genutzt werden – ergänzt durch schnellere strukturierte Ausgaben auf Apple Silicon sowie OpenAI-kompatible Tool-Erkennung.
• Eine deutlich schnellere Modellliste (0.34.1). Der /api/tags Der Endpunkt, der hinter dem Befehl ollama ls und den meisten Dashboards steht, wurde etwa zehnmal schneller; zudem verließ die MLX-basierte safetensors Modell-Erstellung den experimentellen Status.

Das Upgrade erfolgt unter macOS und Windows durch eine Neuinstallation, unter Linux durch erneutes Ausführen des Installations-Skripts; unsere Anleitung zum Aktualisieren von Ollama erläutert, wie Sie Ihre Modelle dabei behalten können.

Die Ollama-Befehle im Überblick – in einer Tabelle

Dies sind die Befehle, die in der offiziellen CLI-Referenz von Ollama dokumentiert sind. Beachten Sie, dass der List-Befehl in der aktuellen Dokumentation als ollama ls angegeben ist; ollama list führt dieselbe Funktion aus.

Weitere Ollama-Anleitungen auf Convly

• Einrichtung und Plattformen: Installationsanleitung · Ollama unter Windows · Ollama in Docker · Systemvoraussetzungen
• Effizientes Ausführen: Modellliste · die besten Modelle zum Ausführen · wenn Ollama Ihre GPU ignoriert · den Port ändern
• Bereitstellung und Sicherheit: API-Schlüssel-Authentifizierung · Ist Ollama sicher? · Cloud-Modelle
• Wartungsaufgaben: Aktualisieren · Deinstallieren · Alternativen

Häufig gestellte Fragen (FAQ)

Ist Ollama kostenlos?

Ja. Ollama ist Open-Source unter der MIT-Lizenz und völlig kostenlos. Die einzigen „Kosten“ sind die Hardware, auf der du es betreibst, und der Strom, den es verbraucht — es gibt keine Pro-Token-Gebühren, weil nichts zu einem Cloud-Anbieter geht.

Sendet Ollama meine Daten irgendwohin?

Nein. Von Natur aus findet Inferenz vollständig auf deiner Maschine statt. Der einzige Netzwerkverkehr ist das Herunterladen eines Modells beim ersten Mal, wenn du es holst. Das ist der Hauptgrund, warum Teams im Gesundheitswesen, in der Rechtswissenschaft und im Finanzsektor es nutzen — sensible Anfragen verlassen das Gebäude nie.

Brauche ich eine GPU, um Ollama auszuführen?

Nein, aber es hilft sehr. Ollama läuft allein auf der CPU für kleinere Modelle (ein 2–3B-Modell ist auf einem modernen Laptop komfortabel) und nutzt deine GPU automatisch, wenn eine verfügbar ist. Für Modelle über ~13B-Parameter macht eine GPU oder Apple Silicon mit einheitlichem Speicher einen großen Unterschied. Siehe unseren Leitfaden zu den Systemanforderungen für Details.

Welche Modelle kann Ollama ausführen?

Über 100 offene Modelle, darunter Metas Llama 3.3 und Llama 4, Googles Gemma 4, Alibabas Qwen 3-Serie, DeepSeek V3 und R1, Mistral und Microsofts Phi-4. Unsere Auswahl der besten lokalen LLMs zum Ausführen auf Ollama zeigt auf, welche für welche Aufgabe verwendet werden.

Ist Ollama besser als ChatGPT?

Unterschiedliche Tools. ChatGPT gibt dir ein Frontier-Modell ohne Setup, sendet aber deine Daten in die Cloud und berechnet ein Abonnement. Ollama führt kleinere offene Modelle lokal aus, kostenlos und privat, aber ein Top-Lokalmodell bleibt bei den schwierigsten Aufgaben immer noch hinter den besten Cloud-Modellen zurück. Für Datenschutz, Kosten und Offline-Nutzung gewinnt Ollama; für reine Fähigkeit bei komplexem Reasoning ist die Cloud-Frontier immer noch vorne.

Welcher ist der Ollama-API-Port?

Ollama stellt seine REST-API auf http://localhost:11434 standardmäßig zur Verfügung. Es bietet auch einen OpenAI-kompatiblen Endpunkt, daher funktioniert eine Menge vorhandener OpenAI-SDK-Code einfach durch Änderung der Basis-URL auf deine lokale Ollama-Instanz.

Kann Ollama die OpenAI API in meiner bestehenden App ersetzen?

Für die meisten Anwendungen ja. Ollama stellt einen OpenAI-kompatiblen Endpunkt unter http://localhost:11434/v1, einschließlich der /v1/chat/completions Route bereit, die die meisten Tools aufrufen. Richten Sie die base_url Ihres OpenAI-Clients darauf aus, übergeben Sie einen beliebigen Platzhalter-API-Schlüssel und legen Sie das Feld „model“ auf ein installiertes Ollama-Tag fest. Auch Embeddings, Multimodalität (Vision) und Tool-calling werden unterstützt, sodass viele Projekte lediglich durch zwei Zeilen Code wechseln können. Ollama deckt Teile der OpenAI-API ab, nicht jedoch jeden einzelnen Parameter – prüfen Sie daher gegebenenfalls exotische Felder, auf die Ihre Anwendung angewiesen ist.

Kann ich Ollama ohne GPU ausführen?

Ja. Ollama läuft vollständig auf der CPU, wenn keine kompatible GPU vorhanden ist – Sie benötigen lediglich genügend Systemarbeitsspeicher (RAM), um das Modell aufzunehmen. Eine aktuelle Mehrkern-CPU verarbeitet ein 7B-Modell mit brauchbaren Geschwindigkeiten, doch die Durchsatzrate sinkt stark mit zunehmender Modellgröße; 70B-Modelle auf der CPU sind für interaktive Nutzung zu langsam. Für den täglichen Chat macht eine GPU oder ein Apple-Silicon-Mac den Unterschied zwischen träge und flott.

Wie viel Speicherplatz benötigen Ollama-Modelle, und wo werden sie gespeichert?

Planen Sie die oben genannten Downloadgrößen: Ein 7B-Modell belegt etwa 5 GB Festplattenspeicher, ein 70B-Modell rund 43 GB; das Herunterladen mehrerer Modelle summiert sich daher rasch. Standardmäßig werden sie unter ~/.ollama/models (bzw. C:Users.ollamamodels unter Windows) gespeichert. Sie können dieses Verzeichnis mithilfe der Umgebungsvariablen OLLAMA_MODELS umziehen und alle nicht mehr benötigten Dateien mit dem Befehl ollama rm .

Fazit

Ollama gewann den lokalen-LLM-Raum 2026, indem es eine Sache extrem gut machte: Reibung abbauen. Es ist kostenlos, privat, läuft auf Hardware, die du bereits hast, und bringt dich von „Ich möchte ein lokales Modell ausprobieren“ zu einem laufenden Modell in etwa zwei Minuten. Es ist nicht die schnellste Option unter hoher Last, und ein lokales Modell wird nicht gegen die besten Cloud-Frontiers bei den schwierigsten Problemen gewinnen — aber als Rampe zu lokalem AI kommt nichts sonst in die Nähe. Wenn du anfängst, fang hier an.