Wird ausgeführt Ollama in Docker ist der sauberste Weg, einen lokalen Modellserver reproduzierbar zu halten: Der gleiche Befehl funktioniert auf einem Laptop, einem Heimserver und einer gemieteten GPU-Instanz – und nichts dringt in das Host-System ein. Die Einrichtung ist kurz, doch zwei Details – GPU-Passthrough und Volumenpersistenz – verursachen den größten Teil der unnötig verlorenen Zeit.
Quick answer
Laden Sie das offizielle Image herunter und führen Sie es mit einem benannten Volume aus, damit Modelle über Neustarts hinweg erhalten bleiben: docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama. Für eine NVIDIA-GPU installieren Sie das „NVIDIA Container Toolkit“ auf dem Hostsystem, starten Docker neu und fügen --gpus=allhinzu. Laden Sie dann Modelle innerhalb des Containers mit docker exec -it ollama ollama pull llama3.1herunter. Die API ist exakt wie bei einer nativen Installation über Port 11434 erreichbar.
Die drei entscheidenden Befehle
| Ziel | Befehl |
|---|---|
| Nur CPU | docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama |
| Mit NVIDIA-GPU | docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama |
| Modell herunterladen | docker exec -it ollama ollama pull llama3.1 |
GPU-Passthrough: Der Teil, der häufig scheitert
Ein Container kann standardmäßig nicht auf Ihre GPU zugreifen. Unter Linux installieren Sie das NVIDIA Container Toolkit auf dem Hostsystem, starten Docker neu und fügen --gpus=allhinzu. Überprüfen Sie die korrekte Funktion innerhalb des Containers mit docker exec -it ollama nvidia-smi – falls dieser Befehl fehlschlägt, läuft Ollama zwar, aber stillschweigend auf der CPU; Sie könnten dann fälschlicherweise zu dem Schluss kommen, Ihre GPU sei langsam, obwohl sie schlicht nicht genutzt wird. Unter Windows ist der empfohlene Weg Docker Desktop mit WSL2-Backend und aktuellen NVIDIA-Treibern. AMD-Nutzer benötigen das ROCm-getaggte Image statt des Standard-Images; Apple-Silicon-GPUs können hingegen überhaupt nicht an Docker weitergegeben werden – unter macOS führen Sie Ollama daher nativ aus.
Behalten Sie Ihre Modelle zwischen Neustarts bei
Modell-Dateien sind groß und langsam beim erneuten Herunterladen; ein Container ohne Volume verwirft sie sofort beim Entfernen. Die Option -v ollama:/root/.ollama in jedem obigen Befehl erstellt ein benanntes Volume, das über Neustarts, Upgrades und Image-Änderungen hinweg bestehen bleibt. Falls Sie die Dateien lieber an einem Ort speichern möchten, den Sie direkt einsehen können, binden Sie stattdessen ein Host-Verzeichnis ein: -v /srv/ollama:/root/.ollama.
docker compose – für eine dauerhafte Einrichtung
Für dauerhafte Einrichtungen ist eine docker-compose-Datei besser als ein langer Ausführungs-Befehl: Sie dokumentiert die GPU-Zuweisung, das Volume und den Port an einer Stelle, startet den Dienst automatisch neu und ermöglicht später die einfache Integration einer Web-Oberfläche. Der Container stellt denselben OpenAI-kompatiblen Endpunkt unter http://localhost:11434, bereit, sodass Anwendungen keinen Unterschied zwischen containerisierter und nativer Installation feststellen können.
Convly’s take
Containerisieren Sie Ollama, wenn die Maschine ein Server ist, und verzichten Sie auf Docker, wenn es sich um Ihren Laptop handelt. Auf einem Heimserver oder einer gemieteten GPU-Instanz ist die Kombination aus Volume und docker-compose tatsächlich überlegen: reproduzierbar, aktualisierbar und einfach zu migrieren. Auf einem persönlichen Rechner – insbesondere einem Mac, bei dem GPU-Passthrough unmöglich ist – fügt Docker eine Leistungseinbuße verursachende Schicht hinzu, die kaum Nutzen bringt. Das häufigste selbstverschuldete Problem, das wir beobachten, ist ein Container, der stillschweigend auf der CPU läuft, weil das Toolkit nie installiert wurde; führen Sie daher vor jeder Benchmark-Tests „nvidia-smi“ innerhalb des Containers aus.
Häufig gestellte Fragen
Unterstützt Ollama in Docker GPUs?
Ja – bei NVIDIA mit dem NVIDIA Container Toolkit und --gpus=all, sowie bei AMD mit dem ROCm-Image. Apple-Silicon-GPUs können Docker nicht zur Verfügung gestellt werden – führen Sie Ollama unter macOS daher nativ aus.
Wo werden Modelle in der Docker-Einrichtung gespeichert?
Innerhalb des Containers unter /root/.ollama. Ordnen Sie diesen Pfad einem benannten Volume oder einem Host-Verzeichnis zu – andernfalls gehen die Modelle beim Entfernen des Containers verloren.
Ist Ollama in Docker langsamer?
Nahezu nicht unter Linux bei ordnungsgemäßem GPU-Passthrough. Eine wahrgenommene Langsamkeit bedeutet fast immer, dass der Container auf der CPU läuft, weil die GPU nicht korrekt weitergegeben wurde.
Kann ich mehrere Modelle in einem Container ausführen?
Ja – laden Sie beliebig viele herunter; Ollama lädt sie bei Bedarf nach. Die Grenze ist der Arbeitsspeicher: Nur aktiv geladene Modelle beanspruchen RAM oder VRAM.
Neu bei diesem Tool? Beginnen Sie mit der Installationsanleitung für Ollama, prüfen Sie die Hardware-Anforderungen in den Ollama-Systemvoraussetzungen, oder die Größe eines Modells mit dem VRAM-Rechner.
