Ollama-Modell entfernen: Lokale LLMs unter jedem Betriebssystem löschen

Die kurze Antwort: nutzen ollama rm. Ollama stellt eine einzige, plattformübergreifende CLI zum Löschen lokaler Modelle bereit, die sich identisch unter Windows, macOS und Linux verhält. Dieser Leitfaden behandelt den exakten Befehl, wie Sie Ihre installierten Modelle auflisten, wo die Dateien gespeichert sind, wie Sie Modelle in großen Mengen löschen und wie Sie überprüfen können, ob der Speicherplatz tatsächlich freigegeben wurde.

Der Befehl: ollama rm

Listen Sie zunächst die installierten Modelle auf, um den richtigen Tag zu verwenden:

ollama list

Die Ausgabe sieht folgendermaßen aus:

NAME                    ID              SIZE      MODIFIED
llama3.1:8b             42182419e950    4.7 GB    vor 2 Tagen
qwen3:8b                a1b2c3d4e5f6    5.2 GB    vor 1 Woche
gemma3:4b               f6e5d4c3b2a1    3.3 GB    vor 3 Wochen

Entfernen Sie dann das Modell anhand von Name und Tag:

ollama rm llama3.1:8b

Sie sollten die Meldung 'llama3.1:8b' wurde gelöschtsehen. Wenn Sie den Tag weglassen, verwendet Ollama standardmäßig :latest, was möglicherweise nicht mit Ihrer tatsächlich installierten Version übereinstimmt – kopieren Sie den Tag daher stets aus der Ausgabe von ollama list. Der rm Befehl ist in der offiziellen CLI-Referenz im Ollama-GitHub-Repository.

Entfernen mehrerer Modelle

ollama rm akzeptiert mehrere Argumente:

ollama rm llama3.1:8b qwen3:8b gemma3:4b

Dies ist der sicherste Ansatz für Massenlöschungen, da Ollama die Blob-Dereferenzierung für Sie übernimmt.

Alle Modelle auf einmal entfernen

Unter macOS oder Linux (bash/zsh):

ollama list | tail -n +2 | awk '{print $1}' | xargs -r -n1 ollama rm

Unter Windows PowerShell:

ollama list | Select-Object -Skip 1 | ForEach-Object { ($_ -split '\s+')[0] } | ForEach-Object { ollama rm $_ }

Falls die Schleife aufgrund Ihrer Shell-Version Probleme bereitet, führen Sie die Löschung stattdessen einzeln durch – die CLI-Syntax ist stabil, Pipelines hingegen nicht.

Wo Ollama Modelle speichert

Die Kenntnis der Speicherstruktur ist wichtig, wenn Sie bestätigen möchten, dass Speicherplatz freigegeben wurde, Modelle auf ein anderes Laufwerk migrieren wollen oder nach einer fehlerhaften Installation aufräumen müssen.

Betriebssystem	Standard-Modellverzeichnis
macOS	~/.ollama/models
Linux	~/.ollama/models (Benutzerinstallation) oder /usr/share/ollama/.ollama/models (Installation als systemd-Dienst)
Windows	%USERPROFILE%.ollamamodels (typischerweise C:\Users<Sie>\.ollama\models)

In diesem Verzeichnis finden Sie zwei Unterordner: blobs/ enthält die Rohdaten der Gewichte und Konfigurationschunks (inhaltsgesteuert adressiert mittels SHA256), und manifests/ enthält die kleinen JSON-Dateien, die einen Namen wie llama3.1:8b einer Gruppe von Blobs zuordnen. Wenn Sie ollama rmausführen, wird zunächst das Manifest gelöscht und anschließend jedes Blob, das von keinem anderen Manifest mehr referenziert wird, entfernt. Daher kann die Entfernung eines Modells, das Layer mit einem anderen Modell teilt, weniger Speicherplatz freigeben, als Sie erwarten würden.

Ollamas Speicherpfade sind in der Dokumentationsseite des Projekts auf GitHub, einschließlich der OLLAMA_MODELS Umgebungsvariable festlegen, um das Verzeichnis an einen anderen Ort zu verschieben.

Plattformspezifische Hinweise

Windows

Die CLI ist identisch: Öffnen Sie PowerShell oder Eingabeaufforderung und führen Sie ollama rm <Modell>aus. Falls ein Modell scheinbar gesperrt ist, beenden Sie zunächst das Ollama-Symbol in der Taskleiste (Rechtsklick → „Ollama beenden“) – der Hintergrunddienst könnte weiterhin eine Dateihandle halten, falls Sie zuvor versucht haben, das Verzeichnis manuell zu löschen. Für eine vollständige Bereinigung: Beenden Sie Ollama über das Symbol in der Taskleiste und löschen Sie dann %USERPROFILE%.ollamamodelsWiederinstallationsanweisungen finden Sie in unserem Ollama-Installationsanleitung.

macOS

Ausführen ollama rm <Modell> im Terminal. Falls Sie die Ollama.app installiert haben, beenden Sie sie bitte über die Menüleiste, bevor Sie manuell in ~/.ollama/modelsentfernen. Ollama vollständig entfernen, ziehen Sie die App in den Papierkorb und löschen Sie ~/.ollama.

Linux

Bei einer Benutzerinstallation ollama rm funktioniert wie erwartet. Bei der systemd-Service-Installation (die Standardmethode des curl-Installers) befinden sich die Modelle im Verzeichnis des Ollama Service-Benutzers, typischerweise /usr/share/ollama/.ollama/models. Führen Sie die CLI als derselbe Benutzer aus, der auch den Service ausführt, oder verwenden Sie sudo -u ollama ollama rm . Beenden Sie den Dienst vor der manuellen Bereinigung des Dateisystems:

sudo systemctl stop ollama
sudo rm -rf /usr/share/ollama/.ollama/models
sudo systemctl start ollama

Überprüfung, ob der Speicherplatz freigegeben wurde

Nach dem Entfernen eines Modells prüfen Sie bitte zwei Dinge:

1. ollama list zeigt es nicht mehr an.
2. Das Modelldatenverzeichnis ist kleiner geworden. Unter macOS/Linux: du -sh ~/.ollama/models. Unter Windows PowerShell: (Get-ChildItem $env:USERPROFILE\.ollama\models -Recurse | Measure-Object -Property Length -Sum).Sum / 1GB.

Grobe Plausibilitätsprüfungen für bekannte Modelle (nur Gewichte, aus der Convly-Modell-Datenbank, 4-Bit-Quantisierung auf Datenträger entspricht annähernd dem VRAM-Verbrauch):

Modell	Ungefähre Größe auf Datenträger (4-Bit)
Gemma 3 4B	ca. 3 GB
Mistral 7B	~4,5 GB
Llama 3.1 8B	~5 GB
Qwen3 8B	~5 GB
Phi-4	~9 GB
Gemma 3 27B	~16 GB
Qwen3 32B	~20 GB
Llama 3.3 70B	~40 GB

Falls der freigegebene Speicherplatz gering erscheint, prüfen Sie, ob noch ein anderer Tag installiert ist – beispielsweise bleibt bei Entfernung von llama3.1:8b jedoch llama3.1:8b-instruct-q4_K_M weiterhin vorhanden ist, teilen beide möglicherweise Blobs. Um den benötigten Speicherplatz vor der Installation eines Ersatzmodells einzuschätzen, nutzen Sie den Convly-VRAM-Rechner.

Modellentfernung über die REST-API

Ollama stellt zudem einen Lösch-Endpunkt auf seinem lokalen HTTP-Server zur Verfügung (Standard-URL http://localhost:11434):

curl -X DELETE http://localhost:11434/api/delete -d '{"name": "llama3.1:8b"}'

Der Endpunkt gibt bei Erfolg HTTP 200 zurück und HTTP 404, falls das Modell nicht installiert ist. Dies ist nützlich zum Skripten von Bereinigungsaufgaben auf Remote-Hosts oder CI-Runnern. Die API-Oberfläche ist in der Ollama-Dokumentation.

Häufige Fehler

• Manuelles Löschen von Dateien während des Betriebs von Ollama. Insbesondere unter Windows kann dies zu hängenden Manifestdateien führen. Verwenden Sie stets bevorzugt ollama rmund beenden Sie den Dienst, bevor Sie das Verzeichnis bearbeiten.
• Verwechslung des Tags. ollama rm llama3.1 zielt auf llama3.1:latest. Wenn Sie jedoch llama3.1:8bheruntergeladen haben, handelt es sich um ein anderes Manifest, das dadurch nicht entfernt wird.
• Erwartung einer Änderung des VRAM-Verbrauchs. Das Entfernen eines Modells befreit Speicherplatz auf der Festplatte, nicht aber GPU-Speicher. VRAM wird nur belegt, solange ein Modell geladen ist; verwenden Sie ollama ps um aktuell geladene Modelle anzuzeigen, und ollama stop um es zu entladen.
• Vergessen benutzerdefinierter Modelfile-Erstellungen. Modelle, die Sie mit ollama create mymodel -f Modelfile werden wie alle anderen Modelle angezeigt und mit ollama list entfernt. ollama rm mymodel.

Falls Sie neu überlegen, welche Modelle Sie behalten möchten, sind die beste lokale Modelle für Ollama und das LLM-Leaderboard hilfreich, um Ersatzmodelle nach Größe und Leistungsfähigkeit auszuwählen. Falls knapper Festplattenspeicher Sie stattdessen zur Nutzung einer API-Inferenz bewegt, berechnen Sie die Kosten mit dem Selbsthosting vs. API-Rechner.

Häufig gestellte Fragen

Lädt ollama rm sofort freier Festplattenspeicher?

Ja. Sobald das letzte Manifest, das auf ein Blob verweist, gelöscht wird, entfernt Ollama das Blob unverzüglich aus models/blobs/ . Sie können dies durch einen Vergleich von du -sh ~/.ollama/models vor und nach der Löschung bestätigen. Falls zwei installierte Modelle Schichten gemeinsam nutzen, werden nur diejenigen Schichten freigegeben, die ausschließlich dem entfernten Modell zugeordnet sind.

Wie entferne ich alle Ollama-Modelle auf einmal?

Der sauberste Weg besteht darin, Ollama zu stoppen und das models/ Verzeichnis unter ~/.ollama (bzw. %USERPROFILE%.ollama unter Windows) zu löschen. Starten Sie Ollama danach neu, und ollama list wird leer sein. Alternativ können Sie ollama list in den Ordner xargs ollama rm verwenden, um die Modelle nacheinander über die CLI zu entfernen.

Kann ich ein Modell entfernen, das aktuell im Arbeitsspeicher geladen ist?

Nicht, solange es gerade eine Anfrage verarbeitet. Führen Sie ollama ps aus, um die geladenen Modelle anzuzeigen, ollama stop um das Modell zu entladen, und anschließend ollama rm <Modell>. Wenn ein Client das Modell ständig erneut lädt, beenden Sie diesen Client zunächst.

Wo speichert Ollama Modelle unter Windows?

Unter %USERPROFILE%.ollamamodels, was normalerweise C:\Users\\.ollama\modelsist. Sie können diesen Speicherort ändern, indem Sie die Umgebungsvariable OLLAMA_MODELS auf einen anderen Pfad setzen – nützlich, wenn Ihr Systemlaufwerk klein ist und Sie Modelle stattdessen auf einer zweiten SSD speichern möchten. Starten Sie Ollama neu, damit die Änderung wirksam wird.

Entfernt das Löschen eines Modells in Ollama dieses auch aus LM Studio oder anderen Tools?

Nein. Ollama, LM Studiound llama.cpp verwalten jeweils eigene Modellverzeichnisse. Das Entfernen von llama3.1:8b aus Ollama hat keinerlei Auswirkung auf eine separat für LM Studio heruntergeladene GGUF-Datei.

Gibt es eine Möglichkeit, nur alte oder ungenutzte Modelle zu entfernen?

Ollama enthält keinen integrierten Befehl zum „Aufräumen ungenutzter Modelle“. Die Spalte GEÄNDERT in ollama list zeigt den Zeitpunkt des letzten Herunterladens oder Aktualisierens eines Modells an, nicht jedoch den Zeitpunkt der letzten Nutzung – sie ist daher nur ein unvollkommener Indikator. Für eine strengere Regelung können Sie ein Skript erstellen, das auf ollama list zurückgreift, um Modelle zu entfernen, die einen bestimmten Größen-Schwellenwert überschreiten oder älter als ein festgelegtes Datum sind.

Referenz

• Ollama-GitHub-Repository – CLI-Referenz inklusive ollama rm.
• Ollama-Dokumentationsverzeichnis – API-Endpunkte, Umgebungsvariablen, Speicherpfade.
• Convly-Ollama-Komplettanleitung – kompletter Workflow von der Installation bis zur Inferenz.