Ist Ollama sicher? Eine praktische Sicherheitsbewertung

Ollama ist sicher für die Zwecke, zu denen die meisten Nutzer es verwenden. Wenn Sie ein Modell lokal ausführen, erfolgt die Inferenz vollständig auf Ihrem Gerät: Ihre Prompts und die Ausgaben des Modells verlassen es niemals, und Sie können dies selbst überprüfen, indem Sie die Netzwerkverbindung trennen – alles funktioniert weiterhin. Die Software ist Open Source (MIT-lizenziert) und verfügt über eine solide Sicherheitsbilanz.

Die tatsächlichen Risiken sind betrieblicher Natur und nicht dem Tool an sich inhärent: die Offenlegung der nicht authentifizierten Ollama-API im Netzwerk sowie das Herunterladen von Modellgewichten aus nicht geprüften Quellen. Beides lässt sich durch wenige Minuten Konfigurationsaufwand vermeiden. Dieser Leitfaden erläutert genau, welche Daten Ollama überträgt, wo sich die eigentliche Angriffsfläche befindet und wie Sie das System auf jeder Plattform absichern können. (Falls Sie neu mit dem Tool sind, beginnen Sie am besten mit unserem Umfassender Ollama-Leitfaden.)

Was Ollama überträgt und was lokal bleibt

Während der Inferenz mit einem lokal gespeicherten Modell verlässt nichts Ihr Gerät. Es gibt keine Telemetrie-Pipeline, die Ihre Prompts irgendwohin sendet. Da Ollama Open Source ist, lässt sich dies überprüfen – und Sie können es selbst mithilfe einer Firewall oder eines Tools zur Überwachung ausgehenden Datenverkehrs wie Little Snitch unter macOS bestätigen.

Ollama stellt jedoch in bestimmten, vorhersehbaren Situationen Netzwerkverbindungen her:

Die Cloud-Modell-Option verdient besondere Aufmerksamkeit: Neuere Ollama-Versionen können große Modelle auf der eigenen Infrastruktur von Ollama ausführen. Diese Funktion ist ausdrücklich opt-in – sie erfordert eine Anmeldung, und Cloud-Modelle sind entsprechend gekennzeichnet – doch falls Sie Ollama speziell gewählt haben, um Ihre Daten lokal zu halten, sollten Sie wissen, dass diese Funktion existiert, und sie einfach nicht nutzen. Alles, was Sie ohne Anmeldung ausführen, bleibt lokal.

Das eigentliche Risiko: Eine offengelegte, nicht authentifizierte API

Ollama stellt eine HTTP-API am Port 11434zur Verfügung. Standardmäßig bindet sie an 127.0.0.1, sodass nur Prozesse auf Ihrem eigenen Rechner darauf zugreifen können. Diese Standardeinstellung ist sicher.

Das Problem beginnt, wenn Nutzer OLLAMA_HOST=0.0.0.0 festlegen – meist, um einer Web-Oberfläche oder einem anderen Gerät im Netzwerk den Zugriff zu ermöglichen. Die Ollama-API verfügt über keine integrierte Authentifizierungkeine Authentifizierung. Es gibt weder API-Schlüssel noch Passwörter. Jeder, der auf den Port zugreifen kann, darf Folgendes tun:

• Ihre installierten Modelle auflisten (/api/tags) und unbegrenzt Generierungen auf Ihrer GPU durchführen – auf Ihre Kosten
• Neue Modelle herunterladen, um Ihre Festplatte zu füllen, oder bereits vorhandene Modelle löschen
• Bei veralteten Versionen könnte es noch schlimmer sein: CVE-2024-37032 („Probllama“) war eine Path-Traversal-Sicherheitslücke beim Herunterladen von Modellen, die bei offengelegten Servern zu einer Ausführung beliebigen Codes führen konnte. Sie wurde bereits in Version 0.1.34 im Jahr 2024 behoben, illustriert aber eindrucksvoll, wozu „offengelegt und nicht authentifiziert“ eskalieren kann

Dies ist keine rein hypothetische Gefahr. Internetweite Scans haben wiederholt Tausende von Ollama-Instanzen gefunden, die offen auf Port 11434 antworten – fast alle davon vermutlich unbeabsichtigt. Wenn Sie sich nur eine Sache aus diesem Artikel merken: portforwarden Sie niemals Port 11434 ins Internet, und binden Sie ausschließlich an 0.0.0.0 , sofern eine Firewall oder ein Proxy davor geschaltet ist.

Eine weitere, subtilere Einstellung: OLLAMA_ORIGINS steuert, welche Browser-Originien die API aufrufen dürfen. Der Standardwert ist restriktiv und begrenzt somit, dass bösartige Websites über Ihren Browser mit Ihrer lokalen Instanz interagieren können. Legen Sie diesen Wert nicht auf * fest, es sei denn, Sie verstehen den damit verbundenen Sicherheitskompromiss.

Herkunft der Modelle: Woher Ihre Gewichte stammen

Das zweite echte Risiko betrifft nicht das Tool, das herunterlädt, sondern vielmehr das, was Sie herunterladen. Einige Fakten helfen dabei, dieses Risiko einzuschätzen:

• Ollama-Modelle verwenden das GGUF-Format, das Gewichte als reine Daten – nicht als ausführbaren Code – speichert. Damit sind sie grundsätzlich sicherer als ältere, auf Pickle basierende PyTorch-Checkpoints, die beim Laden beliebigen Code ausführen konnten.
• „Daten statt Code“ ist jedoch keine Garantie absoluter Sicherheit – in der Vergangenheit wurden bereits Fehler in GGUF-Parsern entdeckt, sodass eine gezielt manipulierte Datei nicht risikofrei ist. Durch regelmäßiges Aktualisieren von Ollama wird dieses Risiko abgedeckt.
• Vom offiziellen Modell-Repository heruntergeladene Modelle werden anhand ihrer SHA-256-Prüfsummen in den Manifestdateien verifiziert, sodass das Empfangene exakt dem entspricht, was das Registry-System bereitstellt.
• Ein Modell kann zudem auf Inhaltsebene fehlerhaft agieren: Die integrierte System-Prompt- oder Chat-Vorlage eines Community-Uploads könnte die Ausgaben in Richtungen lenken, die Sie nicht selbst gewählt haben. Dies stellt zwar ein Risiko geringer Schwere dar, ist aber wichtig zu wissen, wenn Sie auf unbekannten Modellen aufbauen.

Praktische Regel: Bevorzugen Sie gut bekannte Modelle aus der offiziellen Bibliothek gegenüber anonymen Community-Uploads und wenden Sie bei GGUF-Dateien, die Sie von anderer Seite importieren, die übliche Vorsicht beim Herunterladen an. Unser Beste lokale Modelle für Ollama Überblick sowie der vollständige Ollama-Modellliste beziehen sich beide ausschließlich auf etablierte, weit verbreitete Modelle.

Absicherung nach Plattform

macOS

Die Desktop-App aktualisiert sich automatisch, wodurch auch das Patchen abgedeckt ist. Ollama bindet standardmäßig an localhost, sofern Sie dies nicht manuell geändert haben – die dokumentierte Methode zum Ändern dieser Bindung lautet launchctl setenv OLLAMA_HOST "0.0.0.0" gefolgt von einem Neustart der App; wenn Sie diesen Befehl nie ausgeführt haben, befinden Sie sich also in der sicheren Standardkonfiguration. Modelle werden unter ~/.ollama/modelsgespeichert. Falls Sie den Port für ein anderes Gerät freigegeben haben, beschränken Sie den Zugriff mithilfe der macOS-Firewall (Systemeinstellungen → Netzwerk → Firewall) oder betreiben Sie Ollama hinter einem Proxy, wie weiter unten beschrieben.

Windows

Ollama läuft über die Taskleiste und aktualisiert sich automatisch. Umgebungsvariablen wie OLLAMA_HOST werden über Einstellungen → System → Info → Erweiterte Systemeinstellungen → Umgebungsvariablen festgelegt; anschließend muss Ollama über die Taskleiste neu gestartet werden. Modelle werden unter %USERPROFILE%.ollamamodelsgespeichert. Falls Sie den Port für die Nutzung innerhalb des lokalen Netzwerks freigegeben haben, überprüfen Sie die Windows Defender-Firewall und stellen Sie sicher, dass die eingehende Regel für Ollama nur für private Netzwerke – nicht jedoch für öffentliche Netzwerke – gilt.

Linux

Das Installations-Skript richtet Ollama als systemd-Service ein. Die Konfiguration erfolgt über systemctl edit ollama.service, wobei Zeilen wie Environment="OLLAMA_HOST=0.0.0.0" unter dem Abschnitt [Service] hinzugefügt werden – dies sollte jedoch nur bewusst und gezielt geschehen. Falls Sie tatsächlich an allen Schnittstellen lauschen müssen, beschränken Sie den Port mithilfe Ihrer Firewall, beispielsweise mit folgendem Befehl: ufw allow from 192.168.1.0/24 to any port 11434. Beachten Sie, dass Linux-Installationen nicht sich nicht automatisch aktualisieren; stattdessen führen Sie das offizielle Installations-Skript erneut aus, um ein Update durchzuführen. Details zu den genauen Befehlen pro Distribution finden Sie in unserem Ollama-Installationsanleitung .

Docker und Reverse Proxies

Der Betrieb von Ollama in Docker bietet zusätzliche Dateisystem-Isolation und macht die Netzwerkexposition explizit. Das entscheidende Detail ist, wie Sie den Port veröffentlichen. Folgende Konfiguration ist sicher – die API ist ausschließlich vom Host-Rechner aus erreichbar:

docker run -d --name ollama 
  -v ollama:/root/.ollama 
  -p 127.0.0.1:11434:11434 
  ollama/ollama

Wohingegen -p 11434:11434 auf alle Host-Schnittstellen – und Docker manipuliert iptables direkt, weshalb dies auf vielen Systemen die ufw-Regeln vollständig umgeht. Diese Kombination (Docker plus einer angenommenen, aber inaktiven Firewall) ist die häufigste Ursache für versehentlich ins Internet exponierte Ollama-Instanzen. Hinzufügen von --gpus=all für den Zugriff auf NVIDIA-GPUs ändert das Sicherheitsrisiko nicht.

Falls Sie wirklich Remote-Zugriff benötigen, stellen Sie einen authentifizierenden Reverse-Proxy davor und lassen Sie Ollama selbst ausschließlich auf localhost laufen. Ein minimales nginx-Beispiel mit HTTP-Basic-Authentifizierung:

server {
    listen 443 ssl;
    server_name ollama.example.com;
    # ssl_certificate-Zeilen hier

    location / {
        auth_basic "Ollama";
        auth_basic_user_file /etc/nginx/.htpasswd;
        proxy_pass http://127.0.0.1:11434;
    }
}

Eine noch einfachere Option für den privaten Gebrauch ist ein Mesh-VPN wie Tailscale oder WireGuard, sodass der Port nur innerhalb Ihres privaten Netzwerks erreichbar ist und niemals das öffentliche Internet berührt.

Absicherungs-Checkliste

• Halten Sie Ollama stets auf dem neuesten Stand – die Desktop-Anwendungen übernehmen dies automatisch; unter Linux führen Sie das Installations-Skript regelmäßig erneut aus.
• Belassen Sie OLLAMA_HOST auf der Standardeinstellung (127.0.0.1) – es sei denn, ein anderes Gerät benötigt tatsächlich Zugriff.
• Wenn Sie an 0.0.0.0binden, beschränken Sie den Firewall-Zugriff auf Port 11434 auf vertrauenswürdige IPs oder Subnetze.
• Leiten Sie Port 11434 niemals direkt ins Internet weiter. Verwenden Sie stattdessen einen authentifizierten Reverse-Proxy oder ein VPN.
• In Docker veröffentlichen Sie mit -p 127.0.0.1:11434:11434, und beachten Sie, dass Docker ufw umgehen kann.
• Laden Sie Modelle ausschließlich aus der offiziellen Bibliothek herunter; prüfen Sie Community- und Drittanbieter-GGUF-Dateien sorgfältig, bevor Sie sie importieren.
• Erweitern Sie OLLAMA_ORIGINS nicht über das hinaus, was Sie tatsächlich benötigen.
• Melden Sie sich nicht an bzw. verwenden Sie keine Cloud-Modelle, wenn Ihr Ziel ausschließlich die lokale Verarbeitung sensibler Daten ist.

Häufig gestellte Fragen

Sendet Ollama meine Eingaben oder Unterhaltungen an die Cloud?

Nein – während der lokalen Inferenz verbleiben Eingaben, Ausgaben und Dokumente, die Sie dem Modell übergeben, vollständig auf Ihrem Rechner. Die einzigen Ausnahmen sind explizit: Beim Herunterladen eines Modells werden Gewichte aus der Ollama-Registry bezogen, und bei den optionalen Cloud-Modellen (die eine Anmeldung voraussetzen) erfolgt die Verarbeitung der Eingaben auf Ollamas Servern. Solange Sie sich nicht anmelden, läuft alles lokal.

Kann Ollama vollständig offline betrieben werden?

Ja. Sobald ein Modell heruntergeladen wurde, können Sie die Internetverbindung vollständig trennen – die Inferenz funktioniert dann weiterhin normal. Dies stellt die stärkste Datenschutzgarantie dar: Keine Konfiguration kann Daten über eine Verbindung preisgeben, die gar nicht existiert. Air-Gapped-Umgebungen sind ein durchaus legitimer Anwendungsfall für Ollama.

Gab es bei Ollama bereits schwerwiegende Sicherheitslücken?

Die bekannteste war CVE-2024-37032 („Probllama“), eine Path-Traversal-Schwachstelle, die potenziell Remote-Code-Ausführung auf Servern ermöglichte, die Angreifern ausgesetzt waren; sie wurde in Version 0.1.34 im Jahr 2024 behoben. Wie bei jedem aktiv weiterentwickelten Projekt treten auch hier gelegentlich Schwachstellen zutage, die jedoch stets zeitnah gepatcht werden – alle bisher entdeckten Schwachstellen setzten allerdings einen Netzwerkzugriff auf die API voraus, was ein weiteres Argument dafür ist, diese ausschließlich an localhost zu binden und stets auf dem neuesten Stand zu bleiben.

Ist es sicher, Ollama direkt dem Internet auszusetzen?

Nein – die API bietet keinerlei Authentifizierung, weshalb eine direkt exponierte Instanz jedem beliebigen Nutzer Zugriff auf Ihre GPU, Ihre Modelle sowie die Möglichkeit zum Auffinden ungepatchter Schwachstellen gewährt. Falls Remote-Zugriff erforderlich ist, platzieren Sie Ollama hinter einem authentifizierten Reverse-Proxy mit TLS-Verschlüsselung oder greifen Sie über ein VPN wie Tailscale darauf zu. Das direkte Weiterleiten von Port 11434 ist die schlechteste Entscheidung, die Sie im Umgang mit Ollama treffen können.

Sind die Modelle auf ollama.com sicher zum Herunterladen?

Die gängigen Modelle der offiziellen Bibliothek (Llama, Qwen, Mistral, Gemma und ähnliche) entsprechen denselben weit verbreiteten und intensiv überprüften Gewichten, die von der gesamten Community genutzt werden, und werden mit Prüfsummenverifikation bereitgestellt. GGUF ist ein reines Datenformat und kein ausführbarer Code – dadurch entfällt das größte historische Risiko beim Herunterladen von Modellen. Community-Uploads bedürfen hingegen einer eingehenderen Prüfung, da jeder Nutzer in seinem eigenen Namensraum Modelle veröffentlichen kann; für kritische Anwendungsfälle sollten daher bevorzugt etablierte Modelle verwendet werden.

Ist der lokale Betrieb von Ollama sicherer als die Nutzung einer Cloud-API?

Was den Datenschutz betrifft, ja: Nichts schlägt Eingaben, die niemals Ihre Hardware verlassen – besonders wichtig bei regulierten Daten oder vertraulichem Quellcode. Cloud-APIs verlagern die Verantwortung auf die Sicherheits- und Aufbewahrungsrichtlinien des Anbieters, im Austausch gegen wartungsfreien Betrieb und kein Risiko durch eigene Fehlkonfigurationen. Falls Kosten – und nicht Datenschutz – Ihr entscheidendes Kriterium sind, zeigt unsere Rechner zur Break-even-Analyse zwischen Self-Hosting und API-Nutzung Analyse, ab welchem Punkt lokale Hardware wirtschaftlich lohnenswert wird. Und falls Sie lokale Laufzeitumgebungen vergleichen: LM Studio weist eine vergleichbare Sicherheitslage auf: standardmäßig lokal, wobei eine Exposition bewusst gewählt werden muss.