- Ollama Cloud bezieht sich darauf, Ollama auf Cloud-Infrastruktur (AWS, GCP, Azure) statt auf lokaler Hardware auszuführen – dieselbe Befehlszeilenschnittstelle (CLI) und dieselbe API, aber mit Remote-Ausführung.
- Alle Modelle in der Ollama-Bibliothek funktionieren auf Cloud-Instanzen; Sie zahlen stattdessen stündlich für GPU-Rechenleistung anstatt Hardware zu kaufen.
- Der Break-even-Punkt variiert je nach Nutzung: Der Selbsthosting vs. API-Rechner zeigt an, ab wann Cloud-GPUs kostengünstiger sind als der Kauf lokaler Hardware.
- Datenschutzkompromiss: Bei Cloud-Hosting durchlaufen Ihre Eingaben und Antworten das Netzwerk und werden auf der Infrastruktur des Anbieters verarbeitet – im Gegensatz zur vollständig lokalen Inferenz.
Ollama-Cloud-Bereitstellungen führen denselben Ollama-Server aus, den Sie auch lokal installieren würden, jedoch auf gemieteten GPU-Instanzen von AWS, Google Cloud, Azure oder anderen Anbietern. Sie erhalten dieselbe Modellbibliothek, dieselben ollama run Befehle und dieselbe REST-API – allerdings erfolgt die Inferenz auf entfernter Hardware, für die Sie stündlich bezahlen, anstatt auf Hardware, die Ihnen gehört. Dieser Leitfaden erläutert, wann Cloud-Hosting sinnvoll ist, wie sich die Preise mit lokalen GPUs vergleichen und welche Nachteile hinsichtlich Datenschutz und Kontrolle damit verbunden sind.
Was Ollama Cloud bedeutet
Es gibt bis Anfang 2026 kein eigenständiges Produkt namens „Ollama Cloud“. Wenn Entwickler von „Ollama Cloud“ sprechen, meinen sie eines von zwei Dingen:
- Selbst gehostetes Ollama auf Cloud-VMs: Sie mieten eine virtuelle Maschine mit GPU von AWS EC2, Google Compute Engine, Azure, Lambda Labs oder RunPod, installieren Ollama selbst und führen Modelle dort aus. Sie verwalten die Instanz selbst, kaufen jedoch keine Hardware.
- Verwaltete Ollama-Dienste: Drittanbieterplattformen, die Ollama vorinstalliert bereitstellen, das Skalieren übernehmen und Ihnen pro Anfrage oder pro Minute in Rechnung stellen. Solche Dienste sind seltener und basieren in der Regel auf Ansatz #1.
Beide Varianten stehen im Gegensatz zum Betrieb von Ollama lokal auf Ihrem eigenen Desktop- oder Serverrechner. Die Ollama-Binärdatei, die Modellbibliothek, die Befehlszeilenschnittstelle (CLI) und die API bleiben identisch – lediglich der Ausführungsort ändert sich.
Wie sich Cloud-Ollama von lokalem Ollama unterscheidet
| Dimension | Lokales Ollama | Cloud-basiertes Ollama |
|---|---|---|
| Hardwarekosten | Einmaliger GPU-Kauf (500–2500 US-Dollar) | Stündliche Miete (0,50–5 US-Dollar/Stunde je nach GPU) |
| Inferenzgeschwindigkeit | Hängt von Ihrer GPU ab; keine Netzwerklatenz | Hängt von der gemieteten GPU ab; zusätzliche Netzwerk-Round-Trip-Zeit von 20–100 ms |
| Datenschutz | Eingabeaufforderungen verlassen niemals Ihren Rechner | Eingabeaufforderungen und Antworten werden über das Netzwerk übertragen; der Cloud-Anbieter sieht Metadaten des Datenverkehrs |
| Skalierung | Durch Ihre Hardware fest vorgegeben | Größere oder zusätzliche Instanzen bei Bedarf starten |
| Wartung | Sie verwalten Betriebssystem, Treiber und Ollama-Updates | Sie verwalten die VM (bei selbst gehosteter Lösung) oder die Plattform übernimmt dies (bei verwalteten Diensten) |
| Verfügbarkeit | An die Betriebszeit Ihres Rechners gebunden | Immer aktiv, solange Sie die Instanz laufen lassen; Sie bezahlen auch für Leerlaufzeit |
Die funktionale Erfahrung ist identisch. Ein Skript, das curl http://localhost:11434/api/generate aufruft, funktioniert unverändert, wenn Sie localhost durch die IP-Adresse Ihrer Cloud-Instanz ersetzen.
Kompatibilität von CLI und API
Ollamas CLI und REST-API sind transportunabhängig. Um die CLI auf eine Cloud-Instanz statt auf einen lokalen Server auszurichten:
export OLLAMA_HOST=http://203.0.113.42:11434
ollama run llama3.1:8bErsetzen Sie 203.0.113.42 durch die öffentliche IP-Adresse Ihrer Cloud-VM. Das Modell wird auf die Cloud-Instanz heruntergeladen und die Inferenz erfolgt dort. Ihr Terminal streamt die Antworten über das Netzwerk zurück.
Für API-Clients ändern Sie die Basis-URL:
curl http://203.0.113.42:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Erkläre neuronale Netze in einem Satz."
}'Alle Endpunkte (/api/generate, /api/chat, /api/embeddings) verhalten sich identisch. Client-Bibliotheken (Python, JavaScript, Go) akzeptieren einen benutzerdefinierten Host-Parameter:
import ollama
client = ollama.Client(host='http://203.0.113.42:11434')
response = client.chat(model='llama3.1:8b', messages=[...])Es sind keine Codeänderungen erforderlich – außer der Anpassung der Endpunkt-URL.
Welche Modelle verfügbar sind
Jedes Modell aus der Ollama-Bibliothek funktioniert auch auf Cloud-Instanzen. Die Ollama-Modellliste umfasst Llama 3.1, Mistral, Gemma 2, Qwen, Phi, DeepSeekund Dutzende weitere Modelle. Die Verfügbarkeit von Modellen ist nicht davon abhängig, wo Ollama ausgeführt wird.
Die einzige Einschränkung ist der GPU-VRAM. Eine Cloud-Instanz mit einer NVIDIA L4 (24 GB VRAM) kann dieselben quantisierten Modelle ausführen wie eine lokale RTX 4090. Eine kleinere Instanz mit 16 GB VRAM ist auf kleinere Modelle oder stärker quantisierte Versionen beschränkt – genau wie bei lokaler Hardware. Nutzen Sie den VRAM-Rechner um den geeigneten Instanztyp für ein bestimmtes Modell und Quantisierungslevel zu ermitteln.
Preisgestaltung: Cloud versus lokal versus API-Dienste
Die Preise für Cloud-GPUs variieren je nach Anbieter und GPU-Typ. Beispielhafte stündliche Kosten ab Anfang 2026:
| Anbieter | GPU | VRAM | Kosten/Stunde | Geeignet für |
|---|---|---|---|---|
| AWS EC2 g5.xlarge | NVIDIA A10G | 24 GB | ~$1.00 | Llama 3.1 8B, Mistral 7B |
| GCP n1 + T4 | NVIDIA T4 | 16 GB | ~$0.50 | Kleinere Modelle, quantisierte 7B-Modelle |
| Lambda Labs A10 | NVIDIA A10 | 24 GB | ~$0.60 | Llama 3.1 8B, Mistral 7B |
| RunPod RTX 4090 | RTX 4090 | 24 GB | ~$0.69 | Llama 3.1 8B, Mistral 7B |
| Azure NC6s v3 | NVIDIA V100 | 16 GB | ~$3.00 | Veraltete Option; oft existieren günstigere Alternativen |
Wenn Sie eine Cloud-Instanz rund um die Uhr betreiben, kostet eine Instanz für 0,60 USD pro Stunde 432 USD pro Monat bzw. 5.184 USD pro Jahr. Eine lokale RTX 4090 (ca. 1.600 USD) amortisiert sich bei kontinuierlichem Betrieb in weniger als vier Monaten. Die Selbsthosting vs. API-Rechner analysiert dies für verschiedene Nutzungsprofile.
Der Break-even-Punkt verschiebt sich je nach Auslastung:
- Intensive Nutzung (8+ Stunden/Tag): Lokale Hardware amortisiert sich innerhalb weniger Monate.
- Gelegentliche Nutzung (einige Stunden/Woche): Cloud-Instanzen sind hier günstiger; Sie zahlen nur für die tatsächlich genutzten Stunden.
- Spitzenlasten (Burst workloads): Mit der Cloud können Sie kurzfristig eine High-End-GPU mieten, ohne sie kaufen zu müssen.
Vergleichen Sie dies mit gehosteten API-Diensten wie OpenAI, Anthropic oder Groq, die pro Token berechnen. Für Llama 3.1 8B eine Nutzung über eine gehostete API liegen die typischen Preise bei 0,10–0,30 USD pro Million Eingabetokens und 0,30–0,60 USD pro Million Ausgabetokens. Ob dies günstiger ist als Cloud-basiertes Ollama, hängt von Ihrem Anfragenvolumen und der durchschnittlichen Antwortlänge ab. Die API-Kostenrechner gliedert die Kosten nach Modell und monatlichem Verbrauch auf.
Datenschutz und Datenkontrolle
Wenn Sie Ollama lokal ausführen, verlassen Ihre Eingabeaufforderungen (Prompts), Modellausgaben und alle verarbeiteten Dokumente niemals Ihren Rechner. Dies ist entscheidend für regulierte Branchen (Gesundheitswesen, Rechtswesen, Finanzdienstleistungen) oder proprietäre Daten.
Der Betrieb von Ollama auf einer Cloud-VM birgt folgende Risiken:
- Netzwerkübertragung: Prompts und Antworten werden zwischen Ihrem Client und der Cloud-Instanz übertragen – möglicherweise über das öffentliche Internet, es sei denn, Sie nutzen ein VPN oder ein privates Netzwerk.
- Zugriff des Cloud-Anbieters: AWS, Google und Azure haben technischen Zugriff auf den Arbeitsspeicher und den Datenträger Ihrer VM. Zwar verpflichten sie sich vertraglich dazu, Kundendaten nicht zu prüfen, doch bleibt die Möglichkeit theoretisch bestehen.
- Protokolle und Metadaten: Cloud-Anbieter protokollieren Netzwerkverbindungen, API-Aufrufe an ihre Verwaltungs-APIs sowie Abrechnungsereignisse. Diese Protokolle offenbaren, wann Sie Inferenzvorgänge durchführen und wie viel Rechenleistung Sie nutzen – selbst wenn der Inhalt der Prompts nicht erfasst wird.
- Datenresidenz: Ihre VM läuft in einer bestimmten AWS-Region oder GCP-Zone. Falls Ihr Compliance-Rahmen die physische Lage Ihrer Daten einschränkt, müssen Sie entsprechend eine passende Region wählen.
Falls Ihr Bedrohungsmodell staatliche Akteure oder gerichtliche Vorladungen an Cloud-Anbieter umfasst, ist lokale Inferenz die einzige sichere Option. Wenn Sie hingegen primär Kosten und Komfort optimieren und Ihre Daten nicht sensibel sind, stellt Cloud-Hosting eine durchaus praktikable Alternative dar.
Wann Cloud statt lokaler Hardware wählen
Auswählen Cloud-basiertes Ollama wenn:
- Sie Zugriff auf Sprachmodelle benötigen, aber keine GPU besitzen und die Anschaffungskosten einer leistungsstarken GPU nicht rechtfertigen können ($800+).
- Ihre Nutzung ist gelegentlich – einige Stunden pro Woche oder Monat – und Sie bevorzugen es, nur für die tatsächlich genutzte Rechenleistung zu bezahlen.
- Sie benötigen vorübergehend mehr Rechenkapazität für einen umfangreichen Batch-Job und wollen danach wieder herunterskalieren.
- Sie befinden sich in der Prototyp-Phase und möchten verschiedene GPU-Typen (16 GB, 24 GB, 40 GB) testen, bevor Sie sich für eine Hardwareentscheidung festlegen.
- Sie entwickeln einen Dienst, der eine durchgängige Verfügbarkeit (24/7) und Redundanz erfordert, wobei der Betrieb eigener Serverhardware nicht machbar ist.
Auswählen Lokales Ollama wenn:
- Sie besitzen bereits eine GPU mit mindestens 12 GB VRAM oder sind bereit, eine solche anzuschaffen.
- Sie führen täglich mehrere Stunden lang Inferenzvorgänge durch; die Hardware amortisiert sich daher rasch.
- Datenschutz ist unverzichtbar – Ihre Daten dürfen Ihren lokalen Standort nicht verlassen.
- Sie möchten keine Kosten pro Anfrage und stattdessen planbare, vorhersehbare Ausgaben.
- Sie arbeiten offline oder in einem Netzwerk mit eingeschränktem ausgehenden Zugriff.
Der Selbsthosting vs. API-Rechner ermöglicht es Ihnen, Ihre erwartete monatliche Nutzung (Inferenzstunden, Anzahl der Anfragen, durchschnittliche Tokenanzahl pro Anfrage) einzugeben und die Kosten für den Kauf einer GPU, die Miete einer Cloud-Instanz oder die Nutzung eines gehosteten API-Dienstes miteinander zu vergleichen. Für die meisten Entwickler, die Modelle einige Stunden täglich betreiben, lohnt sich die lokale Hardware nach 3–6 Monaten.
Einrichten von Ollama auf einer Cloud-Instanz
Der Vorgang ist bei allen Anbietern identisch: Starten Sie eine GPU-Instanz, stellen Sie per SSH eine Verbindung her, installieren Sie Ollama und öffnen Sie Port 11434.
AWS EC2
- Starten Sie eine
g5.xlargeoderg5.2xlarge-Instanz (Ubuntu 22.04 LTS, NVIDIA A10G-GPU). - Stellen Sie per SSH eine Verbindung zur Instanz her:
ssh -i your-key.pem ubuntu@<instance-ip> - Installieren Sie Ollama:
curl -fsSL https://ollama.com/install.sh | sh - Starten Sie Ollama:
ollama serve(oder richten Sie es als systemd-Service ein). - Laden Sie ein Modell herunter:
ollama pull llama3.1:8b - Konfigurieren Sie die Sicherheitsgruppe so, dass eingehender TCP-Verkehr auf Port 11434 von Ihrer IP-Adresse zugelassen wird.
Google Cloud Platform
- Erstellen Sie eine Compute Engine-VM mit einer T4- oder A100-GPU (wählen Sie eine GPU-fähige Maschinenfamilie aus).
- Stellen Sie per SSH über die GCP-Konsole oder
gcloud compute ssh. - Installieren Sie Ollama:
curl -fsSL https://ollama.com/install.sh | sh - Starten Sie Ollama:
ollama serve - Aktualisieren Sie die Firewall-Regeln, um TCP 11434 aus Ihrem IP-Bereich zuzulassen.
Lambda Labs oder RunPod
- Mieten Sie eine Instanz mit einer RTX 4090 oder einer A10.
- Stellen Sie über SSH eine Verbindung mit den bereitgestellten Anmeldedaten her.
- Installieren Sie Ollama:
curl -fsSL https://ollama.com/install.sh | sh - Starten Sie Ollama und laden Sie Modelle wie oben beschrieben herunter.
Für den Produktiveinsatz führen Sie Ollama als systemd-Dienst aus, damit er nach einem Neustart automatisch neu gestartet wird, und verwenden Sie bei öffentlicher Erreichbarkeit einen Reverse-Proxy (Nginx oder Caddy) mit TLS.
Leistungsaspekte
Cloud-Instanzen fügen Netzwerklatenz hinzu. Ein lokaler Ollama-Server antwortet innerhalb von weniger als 5 ms mit dem ersten Token (nach dem Laden des Modells). Eine Cloud-Instanz erhöht diese Zeit um die Round-Trip-Zeit zwischen Ihrem Rechner und dem Rechenzentrum – typischerweise 20–50 ms innerhalb derselben Region, 80–150 ms zwischen Kontinenten. Bei interaktiven Chats ist dieser Unterschied spürbar, aber nicht behindernd; bei Batch-Arbeitslasten ist er vernachlässigbar.
Die Geschwindigkeit der Tokengenerierung hängt von der GPU ab, nicht vom Standort. Eine A10G in AWS generiert Tokens genauso schnell wie eine A10G auf Ihrem Schreibtisch. Allerdings können sogenannte „noisy neighbors“ (andere virtuelle Maschinen auf demselben physischen Host) die Leistung beeinträchtigen. Dedizierte Instanzen oder Bare-Metal-GPU-Mietverträge eliminieren diesen Effekt, sind jedoch teurer.
Häufig gestellte Fragen
Gibt es einen offiziellen Ollama-Cloud-Service?
Stand Anfang 2026 bietet Ollama keinen verwalteten Cloud-Service an. Der Begriff „Ollama Cloud“ bezieht sich darauf, den Open-Source-Ollama-Server auf von Ihnen gemieteter und selbst verwalteter Cloud-Infrastruktur auszuführen oder eine Drittanbieterplattform zu nutzen, die Ollama für Sie hostet. Das Ollama-Projekt stellt die Software bereit; Sie oder Ihr Hosting-Anbieter stellen die Rechenleistung.
Kann ich dieselben Modelle in der Ollama Cloud verwenden wie lokal?
Ja. Die Modellbibliothek ist identisch. Jedes Modell, das Sie lokal mit ollama pull herunterladen, funktioniert auch auf einer Cloud-Instanz. Die einzige Einschränkung ist der VRAM: Stellen Sie sicher, dass Ihre Cloud-GPU ausreichend Speicher für das gewünschte Modell und dessen Quantisierungsstufe bietet. Prüfen Sie VRAM-Anforderungen nach Modell , um Modelle passenden Instanztypen zuzuordnen.
Wie sichere ich Ollama auf einer Cloud-Instanz ab?
Standardmäßig lauscht Ollama auf 127.0.0.1:11434, was von außerhalb der VM nicht zugänglich ist. Um Ollama extern zugänglich zu machen, setzen Sie OLLAMA_HOST=0.0.0.0:11434 vor dem Starten des Servers. Beschränken Sie anschließend den Zugriff über die Firewall-Regeln Ihres Cloud-Anbieters (AWS-Sicherheitsgruppen, GCP-Firewall-Regeln), sodass nur Ihre IP-Adresse oder Ihr VPN Zugriff erhalten. Für den Produktiveinsatz platzieren Sie Ollama hinter einem Reverse-Proxy mit TLS und Authentifizierung (HTTP-Basic-Auth, API-Schlüssel oder OAuth). Exponieren Sie niemals einen nicht authentifizierten Ollama-Server gegenüber dem öffentlichen Internet – dies würde jedem ermöglichen, beliebige Modelle auf Ihre Kosten auszuführen.
Was ist kostengünstiger: Ollama auf einer Cloud-GPU oder die Nutzung der OpenAI-API?
Das hängt von der Nutzung ab. Für ein Modell mit 7 Milliarden Parametern kostet eine Cloud-GPU etwa 0,50–1,00 USD pro Stunde. Bei einer Generierung von 10 Millionen Tokens pro Stunde entspricht das 0,05–0,10 USD pro Million Tokens – günstiger als die meisten gehosteten APIs für Modelle vergleichbarer Größe. Generieren Sie jedoch nur eine Million Tokens pro Stunde, zahlen Sie 0,50–1,00 USD pro Million Tokens, was teurer ist als API-Dienste. Gehostete APIs übernehmen zudem Skalierung, Verfügbarkeit und Modellaktualisierungen für Sie. Nutzen Sie den Selbsthosting vs. API-Rechner , um Ihre spezifische Arbeitslast zu modellieren.
Verringert der Betrieb von Ollama in der Cloud meine Datensicherheit?
Ja, im Vergleich zur vollständig lokalen Inferenz. Ihre Eingabeprompts und Modellausgaben werden über das Netzwerk übertragen und landen auf einer VM, auf die der Cloud-Anbieter Root-Zugriff hat. Falls Datenschutz kritisch ist – etwa bei HIPAA-geschützten Gesundheitsdaten, rechtlichen Dokumenten unter Anwaltsgeheimnis oder proprietärem Quellcode – führen Sie Ollama lokal aus. Falls Ihre Daten nicht sensibel sind oder Sie den vertraglichen Zusicherungen Ihres Cloud-Anbieters vertrauen, stellt der Cloud-Betrieb einen angemessenen Kompromiss aus Kosten und Komfort dar.
Kann ich mehrere Modelle auf einer Cloud-Instanz gleichzeitig ausführen?
Ja, solange die Instanz genügend VRAM besitzt, um alle Modelle gleichzeitig im Speicher zu halten. Ollama lädt Modelle bei Bedarf und behält sie im VRAM, bis Speicherdruck sie wieder entfernt. Eine 24-GB-Instanz kann beispielsweise Llama 3.1 8B (ca. 8 GB bei Q8-Quantisierung) und Mistral 7B (ähnliche Größe) gleichzeitig halten. Der Wechsel zwischen bereits geladenen Modellen erfolgt sofort; das Laden eines neuen Modells von der Festplatte dauert einige Sekunden.
