Sunday, 22 November 2026 | Updating Daily AI insight, written for builders

Ollama Gemma 4: Aktuelle Gemma-Modelle und deren Ausführung

Aktualisiert · Ursprünglich veröffentlicht
  • Gemma 4 ist verfügbar und in der Ollama Bibliothek als gemma4. Google hat es am 31. März 2026 in den Größen E2B, E4B, 26B A4B und 31B veröffentlicht und das 12B Unified-Modell am 3. Juni 2026 hinzugefügt.
  • Ausführen ollama run gemma4 für das Standard-E4B-Modell, oder wähle eine Größe: gemma4:e2b, gemma4:12b, gemma4:26b oder gemma4:31b.
  • Die 4-Bit-Downloads (q4_K_M) sind 4,6 GB (E2B), 6,6 GB (E4B), 8,0 GB (12B), 18 GB (26B) und 20 GB (31B). Der Kontext umfasst 128.000 Token bei E2B und E4B und 256.000 bei den größeren Modellen.
  • Gemma 4 wird unter Apache 2.0 veröffentlicht. Gemma 3 und Gemma 2, noch auf Ollama verfügbar, verwenden Googles Gemma Terms of Use.
  • Die Geschwindigkeitswerte auf dieser Seite sind als Speicherbandbreitengrenzen gekennzeichnet, nicht als Messungen; tatsächliche Geschwindigkeiten liegen darunter.

Ist Gemma 4 auf Ollama verfügbar?

Ja. Gemma 4 ist in der Ollama-Bibliothek als gemma4erhältlich, in fünf Größen: E2B, E4B, 12B, 26B (ein Mixture-of-Experts-Modell mit etwa 3,8B aktiven Parametern) und 31B. Installiere oder aktualisiere Ollama und führe dann ollama run gemma4 für das Standard-E4B-Modell aus, oder füge ein Größen-Tag wie gemma4:12bhinzu. Jedes Tag akzeptiert Text und Bilder, und die größeren Modelle lesen bis zu 256.000 Token Kontext.

Gemma 4-Größen auf Ollama

Parameterzahlen und Kontextfenster stammen aus Googles Gemma-4-Modellkarte. Download-Größen sind die q4_K_M-Builds, die auf Ollamas Tags-Seite aufgelistet sind.

Modell Parameter Kontext Ollama-Befehl 4-Bit-Download (q4_K_M)
Gemma 4 E2B 2,3B effektiv (5,1B mit Embeddings) 128 K ollama run gemma4:e2b 4,6 GB
Gemma 4 E4B (Standard) 4,5B effektiv (8B mit Embeddings) 128 K ollama run gemma4 6,6 GB
Gemma 4 12B Unified 11,95B 256K ollama run gemma4:12b 8,0 GB
Gemma 4 26B A4B (MoE) 25,2B gesamt, 3,8B aktiv 256K ollama run gemma4:26b 18 GB
Gemma 4 31B (Dense) 30,7B 256K ollama run gemma4:31b 20 GB

Das „E“ in E2B und E4B steht für effektive Parameter: Google sagt, dass die kleinen Modelle Per-Layer-Embeddings nutzen, um die Parametereffizienz auf Geräten zu maximieren, und seine Karte listet 5,1B und 8B Parameter auf, sobald diese Embeddings gezählt werden, weshalb die Dateien größer sind als die effektive Anzahl vermuten lässt. Das „A“ in 26B A4B steht für aktive Parameter. Googles Modellkarte sagt, es „läuft fast so schnell wie ein 4B-Parameter-Modell“, benötigt aber dennoch den Speicher eines Modells mit etwa 25B Parametern.

Die einfachen Tags wie gemma4:31b zeigen einen Größenbereich auf Ollamas Seite an, weil mehrere Builds dahinter stecken. Wenn du eine vorhersehbare Datei möchtest, benenne den Build: gemma4:31b-it-q4_K_M (20 GB), gemma4:31b-it-qat (19 GB), gemma4:31b-it-q8_0 (34 GB) oder gemma4:31b-it-bf16 (63 GB). Das gleiche Muster funktioniert auch für die anderen Größen. Ollama listet auch Cloud-Tags auf, gemma4:cloud und gemma4:31b-cloud, die auf Ollamas Servern statt auf deiner GPU laufen; unser Ollama Cloud Erklärung erklärt, wie diese funktionieren.

So führst du Gemma 4 mit Ollama aus

Wenn du Ollama noch nicht hast, folge der Ollama-Installationsanleitung. Wenn du es bereits hast und der Pull fehlschlägt, Ollama aktualisieren zunächst, da neue Modellreihen normalerweise eine aktuelle Version brauchen. Dann auf macOS, Linux oder Windows:

# Standardgröße (E4B)
ollama run gemma4

# Größe wählen
ollama run gemma4:e2b
ollama run gemma4:12b
ollama run gemma4:26b
ollama run gemma4:31b

# Herunterladen ohne Chat zu starten
ollama pull gemma4:12b

Denkmodus

Alle Gemma 4-Größen können nachdenken, bevor sie antworten. Google's Modellkarte sagt, dass das Denken aktiviert wird, indem man das <|think|> Token am Anfang des System-Prompts einfügt, und deaktiviert wird, indem man es entfernt. Die API von Ollama hat auch einen denken Parameter: true fordert Denken an, false fordert keine Denkausgabe an, falls das Modell es erlaubt, und wenn man es lässt, verwendet es den Standard des Modells.

Gemma 4 aus Code verwenden

Ollama bedient eine lokale API auf http://localhost:11434:

curl http://localhost:11434/api/generate -d '{
  "model": "gemma4",
  "prompt": "Explain quantum entanglement in simple terms.",
  "stream": false
}'

Es bietet auch einen OpenAI-kompatiblen Endpunkt, sodass vorhandener OpenAI-Client-Code funktioniert, wenn man nur die Basis-URL ändert. Der Client braucht einen API-Schlüsselwert, aber Ollama ignoriert ihn:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1/",
    api_key="ollama",  # required but ignored
)

response = client.chat.completions.create(
    model="gemma4:12b",
    messages=[{"role": "user", "content": "Hello!"}],
)
print(response.choices[0].message.content)

Wie viel Speicher benötigt jede Größe?

Die Download-Größe ist die Untergrenze: Die Gewichte müssen in den GPU-Speicher (oder Apple Unified Memory) passen, um volle Geschwindigkeit zu erreichen. Das Kontextfenster braucht zusätzlich Speicher, und dieser wächst mit der Kontextlänge, die du zulässt. Die Dokumentation von Ollama sagt, dass es einen Standard-Kontext aus dem erkannten VRAM wählt: 4K Token unter 24 GiB, 32K von 24 bis 48 GiB und 256K bei 48 GiB oder mehr. Du kannst das überschreiben mit OLLAMA_CONTEXT_LENGTH beim Starten des Servers, und ollama ps zeigt in seiner PROCESSOR-Spalte, ob ein Teil des Modells auf die CPU ausgelagert wurde.

Größe 4-Bit-Gewichte Unsere Faustregel für eine vollständige GPU-Anpassung
E2B 4,6 GB 8 GB GPUs und die meisten aktuellen Laptops
E4B 6,6 GB 8 GB GPUs mit kurzer Kontextlänge; 12 GB ist komfortabler
12B 8,0 GB 12 GB GPUs; 16 GB für längere Kontexte
26B A4B 18 GB 24 GB GPUs, oder Macs und Strix Halo PCs mit 32 GB oder mehr
31B 20 GB 24 GB GPUs mit bescheidenem Kontext, oder 32 GB+ Unified Memory

Die Faustregel ist unsere Schätzung aus den Dateigröße, nicht ein gemessenes Limit. Für eine Zahl, die deine Kontextlänge berücksichtigt, verwende den VRAM-Rechner, und siehe VRAM-Anforderungen nach Modell für andere Reihen.

Wie schnell ist Gemma 4? Beschriftete Schätzungen

Weder Google's Modellkarte noch Ollama's Bibliotheksseite veröffentlicht Tokens-pro-Sekunde-Zahlen für Gemma 4 auf Consumer-GPUs. Was man erarbeiten kann, ist eine Obergrenze. Wenn ein Benutzer Text generiert, muss jeder neue Token die Gewichte des Modells aus dem Speicher lesen, also Speicherbandbreite dividiert durch die Gigabyte, die pro Token gelesen werden, ist eine Obergrenze für die Generierungsgeschwindigkeit.

Modell (q4_K_M) NVIDIA RTX 4090 (1.008 GB/s, 24 GB) Apple M4 Pro (273 GB/s) AMD Ryzen AI Max+ 395 (256 GB/s)
Gemma 4 12B (8,0 GB) ~126 Tokens/s Obergrenze ~34 Tokens/s Obergrenze ~32 Tokens/s als theoretische Obergrenze
Gemma 4 31B (20 GB) ~50 Token/s Obergrenze ~14 Tokens/s als theoretische Obergrenze ~13 Tokens/s Obergrenze

Annahmen: ein Benutzer, der ganze Download wird einmal pro generiertem Token gelesen, und kein Zuschlag für den KV-Cache, Compute-Limits oder Software-Overhead. Dies sind arithmetische Obergrenzen, nicht Messungen von Convly AI, und echte Geschwindigkeiten liegen darunter. Als Kalibrierungspunkt zeigt die öffentliche llama.cpp CUDA-Bestenliste einen RTX 4090, der etwa 186 Tokens/s auf Llama 2 7B bei Q4_0 generiert, eine 3,83 GB Datei. Die Obergrenze nach derselben Rechnung liegt bei etwa 263 Tokens/s, also ist dieses Ergebnis ungefähr 70 % der Obergrenze.

Zwei Größen passen nicht in dieses einfache Modell. Die 26B A4B liest nur ihre etwa 3,8 Mrd. aktiven Parameter für jeden Token, also generiert sie viel schneller als ihre 18 GB Datei suggeriert; Google beschreibt sie als fast so schnell wie ein 4B-Modell. E2B und E4B enthalten Per-Layer Embeddings, die nicht vollständig für jeden Token gelesen werden, also würde eine Obergrenze basierend auf ihrer Dateigröße diese unterschätzen. Für GPU-Kaufempfehlung, siehe den besten GPUs für lokales LLM-Hosting, und zum Vergleich von Apple und AMD Unified Memory, unser Strix Halo vs M4 Pro Vergleich.

Ältere Gemma-Generationen auf Ollama

Gemma 3 und Gemma 2 sind noch in der Ollama-Bibliothek. Gemma 4 ersetzt beide für neue Projekte, mit längerer Kontextlänge und einer permissiveren Lizenz.

Reihe Ollama Tags (Download-Größe) Kontext Eingabe Lizenz
Gemma 3 (März 2025; 270M hinzugefügt August 2025) gemma3:270m (292 MB), gemma3:1b (806 MB), gemma3:4b (3,4 GB), gemma3:12b (8,2 GB), gemma3:27b (17 GB) 32K (270M, 1B); 128K (4B, 12B, 27B) Text (270M, 1B); Text und Bild (4B und höher) Gemma-Nutzungsbedingungen
Gemma 2 (Juni und Juli 2024) gemma2:2b (1,6 GB), gemma2:9b (5,4 GB), gemma2:27b (16 GB) 8K Text Gemma-Nutzungsbedingungen

Google’s Gemma 4 model card, whose table Ollama’s Gemma 4 page reproduces, puts Gemma 4 31B at 85.2% on MMLU Pro and 84.3% on GPQA Diamond, against 67.6% and 42.4% for Gemma 3 27B (ohne Thinking). Das sind vom Hersteller gemeldete Werte. Unser Gemma 3 27B Model Page hat die Spezifikationen dieses Modells, und die Ollama-Modellliste und beste lokale Modelle für Ollama behandeln Alternativen wie Llama, Mistral und Qwen.

Gemma 4 mit einer Modelfile abstimmen

Googles Model Card empfiehlt eine Sampling-Konfiguration für jeden Anwendungsfall: Temperatur 1.0, top_p 0,95 und top_k 64. Sie können diese, eine Kontextlänge und einen System Prompt mit einer Modelfile in Ihr eigenes Modell einbetten:

FROM gemma4:12b

PARAMETER temperature 1.0
PARAMETER top_p 0.95
PARAMETER top_k 64
PARAMETER num_ctx 32768

SYSTEM You are a technical documentation assistant. Give accurate, concise answers with code examples.

Dann erstellen und führen Sie es aus:

ollama create my-gemma -f ./Modelfile
ollama run my-gemma
  • temperature: höhere Werte machen Antworten kreativer.
  • top_p und top_k: begrenzen Sie, welche Tokens das Modell sampelt.
  • num_ctx: das Kontextfenster; größere Werte verbrauchen mehr Speicher.
  • num_predict: die maximale Anzahl der zu generierenden Tokens.

Um die lokale Ausführung von Gemma mit einer gehosteten API zu vergleichen, findet der Self-Hosting vs API Rechner den Break-Even-Punkt für Ihre Nutzung.

Fehlerbehebung

„Model not found“ oder der Pull schlägt fehl: überprüfen Sie die Tag-Schreibweise gegen Ollamas gemma4 Seite und aktualisieren Sie Ollama.

Die Generierung ist langsam: ausführen ollama ps. Wenn die PROCESSOR-Spalte zeigt, dass Teil des Modells auf der CPU liegt, passen das Modell und sein Kontext nicht in den GPU-Speicher. Senken Sie den Kontext mit OLLAMA_CONTEXT_LENGTH oder wechseln Sie zu einer kleineren Größe. Unser Leitfaden zu Ollama nutzt die GPU nicht behandelt die anderen Ursachen.

GPU wird nicht erkannt: Ollamas Dokumentation listet NVIDIA GPUs mit Compute Capability 5.0 oder neuer und Treiber 550 oder neuer auf. Unter AMD benötigt es den ROCm v7 Treiber-Stack; unter Windows behandelt seine ROCm-Liste Radeon RX 7000 und Radeon PRO W7000 Karten, und Vulkan bietet zusätzliche GPU-Unterstützung unter Windows und Linux. Auf Macs nutzt Ollama Apples Metal API für GPU-Beschleunigung.

API gibt nichts zurück: stellen Sie sicher, dass der Server läuft und erreichbar ist unter http://localhost:11434, und dass das Modell heruntergeladen wurde.

Häufig gestellte Fragen (FAQ)

Ist Gemma 4 auf Ollama verfügbar?

Ja. Es ist in der Ollama-Bibliothek als gemma4 erhältlich, in den Größen E2B, E4B, 12B, 26B und 31B. Google hat Gemma 4 am 31. März 2026 veröffentlicht und das 12B Unified-Modell am 3. Juni 2026 hinzugefügt. Führe ollama run gemma4 aus, um das Standard-E4B-Modell zu erhalten, oder füge ein Größen-Tag hinzu.

Mit welcher Gemma-4-Größe sollte ich anfangen?

Unser Vorschlag: E4B, das Standard-Modell, auf Laptops und 8 GB GPUs; 12B auf 12 bis 16 GB GPUs; 26B A4B auf 24 GB GPUs, wenn du Geschwindigkeit möchtest; 31B auf 24 GB GPUs oder 32 GB und höher auf Macs, wenn du das stärkste Dense-Modell möchtest. Die Tabelle oben listet jede Download-Größe auf.

Kann ich Gemma 4 kommerziell nutzen?

Googles Model Card listet Gemma 4 unter der Apache 2.0 Lizenz, die kommerzielle Nutzung, Änderung und Weitergabe unter ihren Bedingungen gestattet. Gemma 3 und Gemma 2 nutzen Googles separate Gemma Terms of Use, lesen Sie diese also vor dem Veröffentlichen eines Produkts mit einem älteren Modell.

Versteht Gemma 4 auf Ollama Bilder und Audio?

Bilder, ja: Ollamas Tags Seite listet Text- und Bildeingabe für jeden Gemma 4 Tag auf. Audio hängt von der Größe ab. Googles Model Card listet Audioeingabe für E2B, E4B und das 12B Unified Modell auf, aber nicht für 26B A4B oder 31B. Ollamas Library Seite zeigt ein Audio-Badge für die Familie, also wählen Sie eine der drei kleineren Größen, wenn Sie Audio benötigen.

Wie schalte ich Gemma 4s Thinking ein oder aus?

Google sagt, Thinking wird aktiviert, indem das Think Token am Anfang des System Prompt platziert wird, und deaktiviert durch Entfernen. Über Ollamas API können Sie auch den Think Parameter auf true oder false setzen, oder ihn ungesetzt lassen, um die Standardeinstellung des Modells zu nutzen.

Kann Gemma 4 ohne GPU laufen?

Ja. Ollama kann ein Modell auf der CPU ausführen, aber die Generierung ist dann auf die Speicherbandbreite des Systems begrenzt, die weit unter der eines modernen GPU liegt. E2B und E4B sind die realistischen Optionen nur auf CPU.

Verfasst von Mustafa Ihsan

Mustafa Ihsan ist Gründer und Chefredakteur von Convly.ai. Er entwickelte und pflegt die Live-Datenbank für KI-Modelle der Website, ihren Preis-Leistungs-Index sowie kostenlose Rechner für VRAM-Anforderungen, API-Kosten und Wirtschaftlichkeit des Self-Hostings. Er schreibt über Modellpreise, Benchmark-Ergebnisse und die Hardware, die zum lokalen Betrieb von KI-Modellen erforderlich ist, und bevorzugt stets messbare Zahlen gegenüber Herstellerangaben.

Scroll to Top