Ollama-Cloud-Modelle: Ollama auf Cloud-Infrastruktur ausführen

Ollama stellt keine cloudbasierten Modelle als verwalteten API-Dienst zur Verfügung. Ollama ist eine lokale Inferenz-Engine, die Open-Source-Modelle auf Ihrer eigenen Hardware ausführt. Sie können Ollama jedoch auf Cloud-Infrastruktur – etwa AWS EC2, Google Cloud, Azure-VMs oder spezialisierten GPU-Anbietern – bereitstellen, um Rechenleistung aus der Cloud zu nutzen und gleichzeitig die einfache Benutzeroberfläche von Ollama beizubehalten. Dieser Ansatz bietet Ihnen volle Kontrolle über die Laufzeitumgebung und kann bei hohem Nutzungsvolumen kostengünstiger sein als kommerzielle APIs.

Was Ollama ist (und was nicht)

Ollama ist eine Open-Source-Inferenz-Engine, die große Sprachmodelle lokal ausführt. Sie übernimmt das Herunterladen von Modellen, deren Quantisierung sowie die Inferenz über eine einfache CLI und eine REST-API. Gemäß dem offiziellen Ollama-Repositoryunterstützt sie Modelle aus den Familien Llama, Mistral, Gemma, Qwen und DeepSeek sowie weitere.

Ollama fungiert nicht als Cloud-Anbieter. Es hostet keine Modelle auf eigenen Servern und berechnet keine Preise pro Token. Wenn Sie ollama run llama3.3ausführen, läuft das Modell auf dem jeweiligen Gerät, auf dem der Befehl ausgeführt wird – Ihrem Laptop, einem Server im Rechenzentrum oder einer Cloud-VM, für die Sie separat bezahlen.

Der Begriff „ollama cloud models“ bezieht sich typischerweise auf eines von drei Bereitstellungsmustern:

• Ausführung von Ollama auf einer GPU-beschleunigten Cloud-VM
• Bereitstellung von Ollama in einer Container-Orchestrierungsplattform (Kubernetes, ECS)
• Einsatz von Ollama auf einer dedizierten GPU-Cloud-Instanz für bedarfsgesteuerte Skalierung

Ollama auf großen Cloud-Anbietern betreiben

AWS EC2-GPU-Instanzen

AWS bietet GPU-fähige EC2-Instanzen in den Serien G, P und Inf. Für Ollama-Workloads beginnt die g5.xlarge (1× NVIDIA A10G, 24 GB VRAM) bei etwa 1,01 $/Stunde On-Demand in us-east-1, während die g5.12xlarge (4× A10G, 96 GB VRAM) etwa 5,67 $/Stunde kostet.

So stellen Sie Ollama auf EC2 bereit:

# Ubuntu-22.04-Instanz vom Typ g5.xlarge mit Deep-Learning-AMI starten
# Per SSH mit der Instanz verbinden
sudo apt update
curl -fsSL https://ollama.com/install.sh | sh

# Überprüfen, ob die GPU erkannt wird
nvidia-smi

# Ein Modell ausführen
ollama run llama3.3:70b

A Llama 3.3 70B Das Modell benötigt bei 4-Bit-Quantisierung etwa 40 GB VRAM – dafür ist daher mindestens eine g5.12xlarge oder größer erforderlich. Llama 3.1 8B benötigt bei 4-Bit-Quantisierung rund 5 GB VRAM und läuft problemlos auf einer g5.xlarge.

Google Cloud Platform

GCP stellt GPU-Instanzen über die Compute-Engine-Maschinenfamilien N1 und A2 bereit. Eine n1-standard-4 mit 1× NVIDIA T4 (16 GB VRAM) kostet etwa 0,62 $/Stunde, während eine a2-highgpu-1g mit 1× A100 (40 GB VRAM) in us-central1 etwa 3,67 $/Stunde kostet.

# Instanz mit GPU erstellen
gcloud compute instances create ollama-instance 
  --zone=us-central1-a 
  --machine-type=n1-standard-4 
  --accelerator=type=nvidia-tesla-t4,count=1 
  --image-family=ubuntu-2204-lts 
  --image-project=ubuntu-os-cloud 
  --maintenance-policy=TERMINATE

# Per SSH verbinden und installieren
gcloud compute ssh ollama-instance --zone=us-central1-a
curl -fsSL https://ollama.com/install.sh | sh
ollama run mistral:7b

Microsoft Azure

Azures NC-Serie-VMs bietet NVIDIA-GPUs für Inferenz-Workloads. Eine NC6s_v3 (1× V100, 16 GB VRAM) kostet etwa 3,06 $/Stunde, während die NC24ads_A100_v4 (1× A100, 80 GB VRAM) in der Region East US etwa 3,67 $/Stunde kostet.

Die Installation folgt dem gleichen Muster: Bereitstellung einer GPU-fähigen Ubuntu-VM, Installation der NVIDIA-Treiber (sofern kein vorkonfiguriertes Image verwendet wird) und Ausführung des Ollama installieren Skripts.

GPU-fokussierte Cloud-Anbieter

Spezialisierte GPU-Cloud-Anbieter bieten für Ollama-Bereitstellungen häufig ein besseres Preis-Leistungs-Verhältnis als die großen Cloud-Anbieter:

Anbieter	GPU	VRAM	Kosten/Stunde	Geeignet für
Lambda Labs	A100	40 GB	$1.10	DeepSeek R1 Distill Llama 70B, Llama 3.3 70B
Vast.ai	RTX 4090	24 GB	$0.34-$0.54	Mistral 7B, Llama 3.1 8B, Phi-4
RunPod	A40	48 GB	$0.79	Mistral Large 3 (Single-Instanz), Llama 3.3 70B
Paperspace	A4000	16 GB	$0.76	Kleinere Modelle bis ca. 14 Milliarden Parameter

Lambda Labs bietet die einfachste Einrichtung – Instanzen werden mit vorinstallierten NVIDIA-Treibern und CUDA geliefert. Nach dem Start einer Instanz über das Dashboard:

ssh ubuntu@
curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen3:32b

Vast.ai agiert als Marktplatz für ungenutzte GPU-Kapazität und bietet die niedrigsten Preise – allerdings mit wechselnder Verfügbarkeit. Sie bieten Instanzen über die Web-Oberfläche entweder per Gebot oder als Miete an und installieren dann nach der SSH-Verbindung Ollama.

Kostenvergleich: Ollama in der Cloud vs. API-Dienste

Ob eine cloudbasierte Ollama-Bereitstellung wirtschaftlich sinnvoll ist, hängt von Ihrem Nutzungsvolumen ab. Nutzen Sie den Selbsthosting vs. API-Rechner um Ihren Break-Even-Punkt zu ermitteln.

Modell	API-Kosten (pro 1 Mio. Tokens)	Cloud-GPU	Kosten pro Instanz pro Stunde	Tokens pro Stunde bei der Break-Even-Menge
Llama 3.3 70B	0,10 USD Einzahlung / 0,32 USD Auszahlung	Lambda A100 40 GB	$1.10	~3,4 Mio. Ausgabetokens
Mistral Large 3	2,00 USD Einzahlung / 6,00 USD Auszahlung	RunPod 4×A40	$3.16	~530.000 Ausgabetokens
Qwen3 32B	0,08 USD Einzahlung / 0,28 USD Auszahlung	Vast.ai RTX 4090	$0.54	~1,9 Mio. Ausgabetokens
DeepSeek R1	0,50 USD Einzahlung / 2,15 USD Auszahlung	Lambda 4×A100	$4.40	~2 Mio. Ausgabetokens

Wenn Sie pro Stunde mehr Tokens als die Break-Even-Menge verarbeiten, wird Ollama in der Cloud kostengünstiger. Für stark schwankende Arbeitslasten oder geringe Volumina bieten APIs wie Claude Sonnet 5 (2,00 USD Einzahlung / 10,00 USD Auszahlung pro 1 Mio. Tokens) oder Gemini 3.6 Flash (1,50 USD Einzahlung / 7,50 USD Auszahlung pro 1 Mio. Tokens) bessere Wirtschaftlichkeit ohne Kosten für ungenutzte Zeit.

Bereitstellungsmuster

On-Demand-Instanzen

Starten Sie eine GPU-Instanz nach Bedarf, führen Sie Ihre Arbeitslast aus und beenden Sie sie anschließend. Dies eignet sich gut für Batch-Verarbeitung, Entwicklung oder gelegentliche Inferenz. Alle großen Cloud-Anbieter und GPU-Provider unterstützen On-Demand-Preismodelle.

Spot-/Präemptible-Instanzen

AWS Spot Instances, GCP Preemptible VMs und Azure Spot VMs bieten Rabatte von 60–90 %, können jedoch mit einer Vorwarnzeit von 30 Sekunden bis 2 Minuten beendet werden. Sie eignen sich für fehlertolerante Batch-Arbeitslasten, bei denen Fortschritte regelmäßig gesichert („checkpointed“) werden können.

Bei Vast.ai laufen unterbrechbare Instanzen zu Marktpreisen ohne Beendigungsgarantie – dies bietet die niedrigsten Preise, erfordert aber robuste Fehlerbehandlung.

Container-Orchestrierung

Für Produktionsbereitstellungen führen Sie Ollama in Kubernetes mit GPU-fähigen Knotenpools aus. Dadurch ermöglichen Sie automatisches Skalieren, Lastverteilung und hohe Verfügbarkeit. Verwenden Sie das offizielle Ollama-Docker-Image :

docker pull ollama/ollama
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 ollama/ollama

Stellen Sie es dann in Ihrem Cluster bereit, wobei GPU-Ressourcenanforderungen in Ihrer Pod-Spezifikation definiert sind.

Modellauswahl für Cloud-Bereitstellungen

Wählen Sie Modelle entsprechend Ihrem GPU-VRAM-Budget aus. Nutzen Sie den VRAM-Rechner zur Abschätzung des Ressourcenbedarfs:

• 16–24 GB VRAM (T4, RTX 4090, A10G): Mistral 7B (~4,5 GB bei 4-Bit), Llama 3.1 8B (~5 GB), Phi-4 (~9 GB), Qwen3 14B (~9 GB), Gemma 3 12B (~8 GB)
• 40–48 GB VRAM (A100 40 GB, A40): Llama 3.3 70B (~40 GB), DeepSeek R1 Distill Llama 70B (~40 GB), Mistral NeMo 12B mit Platz für größeren Kontext
• 80+ GB VRAM (A100 80 GB, H100): Llama 4 Scout (~65 GB), DeepSeek R1 (~400 GB – benötigt 4×A100 oder vergleichbar), Mistral Large 3 (~400 GB)

Modelle mit einem VRAM-Bedarf von über 80 GB erfordern Mehr-GPU-Konfigurationen oder Tensor-Parallelisierung – Funktionen, die Ollama ab Version 0.3 nicht nativ unterstützt. Für solche Modelle sollten Sie stattdessen Frameworks wie vLLM oder TGI oder kommerzielle APIs in Betracht ziehen.

Leistungsoptimierung

Mehrere Einstellungen beeinflussen die Inferenzgeschwindigkeit von Ollama auf Cloud-GPUs:

• QuantisierungQuantisierung: Ollama verwendet standardmäßig 4-Bit-Quantisierung (Q4_0). Verwenden Sie ollama pull model:q8_0 für 8-Bit (bessere Qualität, doppelt so viel VRAM) oder model:q2_K für 2-Bit (schneller, geringere Qualität).
• KontextfensterKontextlänge: Festgelegt über den num_ctx Parameter. Größere Kontexte beanspruchen mehr VRAM – ein Kontext von 32 K Tokens benötigt deutlich mehr Speicher als ein 4-K-Context beim selben Modell.
• Batch-Größe: Erhöhen Sie den Wert von num_batch , um den Durchsatz bei latenzunempfindlichen Arbeitslasten zu steigern, bei denen Tokens pro Sekunde wichtiger ist als Reaktionszeit.
• GPU-Schichten: Ollama lädt standardmäßig alle Schichten auf die GPU. Bei Instanzen mit begrenztem VRAM wechselt es automatisch auf die CPU für Schichten, die nicht in den GPU-Speicher passen – was die Geschwindigkeit drastisch reduziert.

Häufig gestellte Fragen

Bietet Ollama eigene Cloud-Hosting-Dienste an?

Nein. Ollama ist eine selbstgehostete Software, die Modelle auf Ihrer eigenen Infrastruktur ausführt. Es gibt keinen offiziellen Ollama-Cloud-Service oder eine verwaltete API. Wenn Personen von „Ollama-Cloud-Modellen“ sprechen, meinen sie damit, dass die Ollama-Software auf Cloud-Infrastruktur ausgeführt wird, die sie selbst über AWS, GCP, Azure oder GPU-Cloud-Anbieter bereitgestellt haben.

Kann ich das Ollama-API-Format mit Cloud-Modellen verwenden?

Ja. Sobald Ollama auf einer Cloud-VM läuft, stellt es eine REST-API an Port 11434 bereit, die mit dem OpenAI-API-Format kompatibel ist. Sie können jeden OpenAI-kompatiblen Client auf die IP-Adresse und den Port Ihrer Cloud-Instanz ausrichten. Damit lassen sich Ollama-basierte Modelle in vielen Anwendungen als direkter Ersatz für kommerzielle APIs nutzen – allerdings tragen Sie selbst die Verantwortung für Verfügbarkeit, Skalierung und Sicherheit.

Welcher Cloud-Anbieter ist am kostengünstigsten für den Betrieb von Ollama?

GPU-fokussierte Anbieter wie Lambda Labs (1,10 $/Stunde für A100 mit 40 GB VRAM) und Vast.ai (0,34–0,54 $/Stunde für RTX 4090) liegen deutlich unter AWS, GCP und Azure bei vergleichbarer GPU-Speicherausstattung. Lambda bietet höhere Zuverlässigkeit und besseren Support; Vast.ai bietet die niedrigsten Preise, allerdings mit wechselnder Verfügbarkeit. Für Produktionsworkloads mit SLA-Anforderungen bieten die großen Cloud-Anbieter zwar bessere Garantien – allerdings zu höheren Kosten.

Wie hoch sind die Kosten für den Betrieb von Llama 3.3 70B in der Cloud im Vergleich zu APIs?

Llama 3.3 70B benötigt bei 4-Bit-Quantisierung etwa 40 GB VRAM. Eine Lambda Labs A100-40-GB-Instanz kostet 1,10 USD pro Stunde. Wenn Sie pro Stunde 3,4 Millionen Ausgabetokens generieren (~945 Tokens/Sekunde kontinuierlich), erreichen Sie die Break-Even-Menge gegenüber dem API-Preis von 0,32 USD pro Million Tokens. Darunter sind APIs günstiger; darüber lohnt sich die Cloud-Instanz. Die meisten realen Arbeitslasten sind jedoch eher sprunghaft als kontinuierlich – daher bevorzugt die Preisgestaltung über APIs die Mehrheit der Szenarien, es sei denn, Sie führen kontinuierlich Batch-Verarbeitungsaufgaben aus.

Kann Ollama in der Cloud über mehrere GPUs skaliert werden?

Ollama erkennt automatisch mehrere GPUs auf einer einzigen Instanz und nutzt sie auch – allerdings führt es jeweils ein eigenes Modell pro GPU aus, statt ein einzelnes Modell über mehrere GPUs zu verteilen (Tensor-Parallelisierung). Das bedeutet: Eine 4×A100-Instanz kann vier separate Modellinstanzen ausführen oder vier gleichzeitige Anfragen effizient verarbeiten, aber kein einzelnes 400-GB-Modell wie Mistral Large 3 laden, das die Kapazität einer einzelnen GPU übersteigt. Für Multi-GPU-Modellparallelisierung verwenden Sie stattdessen vLLM, TensorRT-LLM oder Text Generation Inference.

Ist der Betrieb von Ollama in der Cloud sicher?

Standardmäßig bindet Ollama an 0.0.0.0:11434 und macht seine API damit für beliebige Netzwerkclients zugänglich. Auf Cloud-Instanzen mit öffentlichen IPs bedeutet dies, dass Ihr Inferenz-Endpunkt ohne zusätzliche Konfiguration von Firewallregeln, Sicherheitsgruppen oder VPN-Zugang öffentlich erreichbar ist. Setzen Sie OLLAMA_HOST=127.0.0.1:11434 , um den Zugriff auf localhost einzuschränken, und nutzen Sie dann SSH-Tunneling, einen Reverse-Proxy mit Authentifizierung oder ein VPN, um den Remote-Zugriff abzusichern. Cloud-Bereitstellungen sollten zudem Protokollierung eingehender Anfragen, Rate-Limiting und Eingabevalidierung implementieren, um Missbrauch zu verhindern.