So prüfen Sie den VRAM unter Windows, macOS und Linux

So prüfen Sie den VRAM – jeweils in einer Zeile pro Plattform: Unter Windows drücken Sie Strg+Umschalt+Esc, öffnen die Registerkarte Leistung und wählen Ihre GPU aus, um den Wert zu lesen Dedizierter GPU-Arbeitsspeicher; unter macOS öffnen Sie das Apple-Menü → Über diesen Mac; unter Linux führen Sie aus nvidia-smi für NVIDIA oder rocm-smi für AMD aus. Im Folgenden finden Sie jede Methode im Detail – sowie eine Erklärung, was die angezeigten Zahlen bedeuten, wenn Sie entscheiden müssen, ob eine lokales LLM in Ihr System passt.

So prüfen Sie die VRAM unter Windows

Task-Manager – die schnellste Methode

1. Drücken Sie Strg+Umschalt+Esc , um den Task-Manager zu öffnen.
2. Wechseln Sie zur Registerkarte Leistung Leistung Weitere Details , falls die kompakte Ansicht angezeigt wird.
3. Klicken Sie links im Seitenbereich auf GPU 0 . Laptops mit sowohl integrierter als auch diskreter GPU zeigen zudem GPU 1 an – die diskrete Grafikkarte ist in der Regel GPU 1.
4. Lesen Dedizierter GPU-Arbeitsspeicher im unteren rechten Bereich. Dies ist Ihre physische VRAM, angegeben als „genutzt / gesamt“ (z. B. 2,1 / 24,0 GB).

Ignorieren Sie die Zeile GPU-Speicher , da sie den dedizierten Wert um den gemeinsam genutzten GPU-Speicher (Systemspeicher, den die GPU ausleihen darf) erhöht – dadurch erscheint beispielsweise eine 8-GB-Karte wie eine 24-GB-Karte. Weitere Informationen zu diesem Unterschied finden Sie weiter unten.

dxdiag

Drücken Sie Win+R, geben Sie dxdiagein, drücken Sie Enter und öffnen Sie dann die Registerkarte Anzeige Anzeige Anzeigespeicher (VRAM) zeigt an, was DirectX meldet. Eine Einschränkung: Je nach Treiber kann dxdiag den gemeinsam genutzten Systemspeicher gelegentlich in diese Angabe einbeziehen, sodass der Wert höher als die tatsächliche VRAM-Kapazität der Karte ausfällt. Verwenden Sie daher die dedizierte Angabe aus dem Task-Manager oder nvidia-smi als verlässliche Quelle.

Einstellungen → Anzeige → Erweiterte Anzeige

Öffnen Einstellungen → System → Anzeige → Erweiterte Anzeige, und klicken Sie dann auf Eigenschaften des Anzeigeadapters für Anzeige 1. Unter der Registerkarte „Adapter“ wird die Dedizierter Videospeicher in MB angegeben. Die genaue Formulierung unterscheidet sich geringfügig zwischen Windows 10 und Windows 11, doch der Pfad ist identisch.

nvidia-smi – die exakte Angabe

Falls Sie eine NVIDIA-GPU besitzen, installiert der Treiber ein Kommandozeilen-Tool, das den Speicher in Mebibyte angibt. Öffnen Sie PowerShell oder Eingabeaufforderung und führen Sie folgenden Befehl aus:

nvidia-smi

Die Spalte „Speicher“ zeigt die aktuelle Auslastung im Verhältnis zur tatsächlichen Gesamtkapazität an – beispielsweise 3216 MiB / 24564 MiB bei einer RTX 4090 – und die Prozessliste am unteren Bildschirmrand zeigt an, welche Programme Speicher belegen. Für eine übersichtliche, maschinenlesbare Ausgabe verwenden Sie:

nvidia-smi --query-gpu=memory.total,memory.used,memory.free --format=csv

Falls der Befehl nicht gefunden wird, befindet sich das Tool bei neueren Treibern unter C:\Windows\System32\nvidia-smi.exe; ältere Treiberversionen verwendeten C:\Program Files\NVIDIA Corporation\NVSMI.

So prüfen Sie die VRAM unter macOS

Klicken Sie auf das Apple-Menü → Über diesen Mac.

• Apple Silicon (M1 und neuer): Sie sehen einen Chipnamen sowie eine Angabe wie „16 GB“, „36 GB“ oder „128 GB“. Dies ist der Arbeitsspeicher unified memory vereinigter Arbeitsspeicher – ein gemeinsamer Speicherpool, der von CPU und GPU geteilt wird. Es gibt keine separate VRAM-Angabe, weil es keine separate VRAM gibt.
• Intel-Macs: Dedizierte GPUs sind mit einer eigenen VRAM-Angabe aufgeführt, z. B. „Radeon Pro 5500M 8 GB“.

Für weitere Details öffnen Sie Über diesen Mac → Weitere Informationen → Systembericht und wählen Grafik/Displaysaus oder führen folgenden Befehl im Terminal aus:

system_profiler SPDisplaysDataType

Bei Intel-Mac-Rechnern wird dabei eine Zeile mit der Angabe VRAM (Gesamt) angezeigt; bei Apple-Silicon-Systemen werden stattdessen Chip-Modell und Anzahl der GPU-Kerne aufgelistet.

Warum sich die Rechnung durch Unified Memory ändert

Bei Apple Silicon kann die GPU auf den Großteil – aber nicht auf den gesamten – Arbeitsspeicher des Systems zugreifen. macOS reserviert einen Teil für sich selbst, und standardmäßig liegt die Obergrenze für den Working-Set-Speicher der GPU bei etwa zwei Dritteln bis drei Vierteln des gesamten Arbeitsspeichers; die genaue Obergrenze variiert je nach RAM-Größe und macOS-Version. Praktisch bedeutet dies, dass ein MacBook Pro mit 36 GB RAM Modelle laden kann, für die auf einem PC eine dedizierte GPU mit 24 GB VRAM erforderlich wäre. Lokale LLM-Tools zeigen Ihnen diese nutzbare Obergrenze direkt an – siehe dazu die LM Studio-Anleitung und die Ollama-Anleitung für Details, wie jedes Tool diese angibt. Der Kompromiss besteht in der Speicherbandbreite, die je nach Basis-, Pro-, Max- oder Ultra-Chip stark variiert und sich unmittelbar auf die Anzahl generierter Tokens pro Sekunde auswirkt.

So prüfen Sie die VRAM unter Linux

NVIDIA: nvidia-smi

Wird zusammen mit dem proprietären Treiber installiert. Führen Sie nvidia-smi zur einmaligen Abfrage aus oder aktualisieren Sie alle Sekunden während des Modell-Ladens:

nvidia-smi -l 1

AMD: rocm-smi oder sysfs

Bei installiertem ROCm-Stack:

rocm-smi --showmeminfo vram

Ohne ROCm stellt der amdgpu -Kerneltreiber die Gesamt-VRAM-Menge direkt zur Verfügung (in Byte; Ihre Grafikkarte könnte auch card1 heißen – prüfen Sie mit ls /sys/class/drm/):

cat /sys/class/drm/card0/device/mem_info_vram_total

Jede GPU: glxinfo

Installieren mesa-utils (Debian/Ubuntu) oder glx-utils (Fedora), danach:

glxinfo -B | grep -i memory

Mesa-Treiber geben eine Zeile wie Videomemory: 8192 MBaus; die genaue Bezeichnung variiert je nach Treiber.

lspci – identifiziert die Grafikkarte, nicht deren VRAM

lspci | grep -iE 'vga|3d'

sudo lspci -v -s zeigt dann die Speicheraperturen der Karte an; achten Sie jedoch darauf: Dabei handelt es sich um PCI-BAR-Größen, die nur dann mit der gesamten VRAM-Menge übereinstimmen, wenn Resizable BAR aktiviert ist. Verwenden Sie lspci zur genauen Identifizierung des GPU-Modells und ermitteln Sie die Speichermenge mithilfe der oben genannten Tools oder der technischen Spezifikationen der Karte.

Gesamt vs. frei vs. gemeinsam genutzt: Was die Zahlen bedeuten

Beim Laden eines Modells entscheidend ist freie VRAM – nicht die Gesamtmenge. Eine 12-GB-Karte, bei der bereits 1,5 GB vom Compositor und einem Browser belegt sind, bietet etwa 10,5 GB zur Verfügung – was dazu führen kann, dass ein Modell, das „theoretisch passen sollte“, nicht geladen werden kann. Bei NVIDIA verrät die Prozessliste am unteren Rand der nvidia-smi Ausgabe genau, welche Anwendungen Sie schließen sollten.

Wie viel VRAM benötigen Sie tatsächlich?

Die Frage hinter der Frage. Bei einer 4-Bit-Quantisierung – dem Standard für lokale Inferenz – benötigen Modellgewichte etwa 0,5–0,6 GB pro Milliarde Parameter zuzüglich eines KV-Caches, dessen Größe mit der Kontextlänge wächst. Grobe Orientierung:

Die Spalte „komfortabel“ geht von einem moderaten Kontext (4k–8k Tokens) aus; sehr lange Kontexte fügen mehrere Gigabyte KV-Cache hinzu. Für Modell-spezifische Angaben siehe die VRAM-Anforderungstabelle für alle wichtigen Sprachmodelle oder durchsuchen Sie die Modelldatenbank. Für Ihre exakte Kombination aus Modell, Quantisierung und Kontextlänge nutzen Sie den VRAM-Rechner. Falls Ihre Grafikkarte nicht ausreicht, bewertet der beste GPUs für lokale LLMs Leitfaden zur GPU-Aufrüstung die Optionen nach VRAM pro Dollar – und falls sich ein neuer GPU-Kauf nicht rechnet, zeigt der Rechner zum Break-even zwischen Self-Hosting und API-Nutzung den Zeitpunkt, ab dem das Bezahlen pro Token günstiger wird.

Häufig gestellte Fragen

Kann ich den VRAM meiner Grafikkarte erhöhen?

Nein, bei einer diskreten GPU sind die Speicherchips fest auf der Platine verlötet; einzige Möglichkeit ist ein Austausch gegen eine andere Karte. Integrierte GPUs bilden hier eine Ausnahme: Manche BIOS-/UEFI-Einstellungen erlauben es, die RAM-Zuweisung zu ändern (häufig als „UMA Frame Buffer Size“ oder ähnlich bezeichnet). Der von Windows verwaltete gemeinsame GPU-Speicher stellt keinen zusätzlichen VRAM dar und beeinflusst nicht, wie viel Modell bei voller Geschwindigkeit ausgeführt werden kann.

Warum zeigt Windows mehr GPU-Speicher an, als meine Karte physisch besitzt?

Die Zeile „GPU-Speicher“ im Windows-Arbeitsplatz-Manager umfasst sowohl den dedizierten VRAM als auch den geteilten Systemspeicher; dxdiag kann diesen Wert ebenfalls künstlich erhöhen. Der physikalische VRAM entspricht dem Wert „Dedizierter GPU-Speicher“ oder der Gesamtmenge, die nvidia-smi ausgibt. Eine 8-GB-Karte in einem PC mit 32 GB RAM zeigt häufig 24 GB „GPU-Speicher“ an – davon sind jedoch nur 8 GB echter VRAM.

Hilft geteilter GPU-Speicher beim Ausführen größerer Sprachmodelle?

Nicht nennenswert. Laufzeitumgebungen wie llama.cpp und Ollama können gezielt einzelne Modellschichten in den Systemspeicher auslagern, sodass ein zu großes Modell überhaupt noch läuft – allerdings sinkt die Generierungsgeschwindigkeit typischerweise von mehreren Dutzend Tokens pro Sekunde auf einstellige Werte. Dimensionieren Sie Ihr Modell daher primär nach dem verfügbaren dedizierten VRAM und betrachten Sie die Auslagerung in den Arbeitsspeicher lediglich als Notlösung, nicht als Plan.

Wie viel VRAM benötigt ein 7B- oder 8B-Modell?

Etwa 4–5 GB für die Gewichte bei 4-Bit-Quantisierung, sodass eine 6–8-GB-Karte ein solches Modell komfortabel mit Platz für den Kontext ausführen kann. Eine 8-GB-GPU bewältigt die 7–8-Mrd.-Klasse gut; 12 GB ermöglichen den Einsatz von 12–14-Mrd.-Modellen. Der Leitfaden zu den besten lokalen Modellen für Ollama ordnet gängige Modelle den jeweiligen VRAM-Klassen zu.

Ist der Unified Memory auf einem Mac dasselbe wie VRAM?

Für den Betrieb von Sprachmodellen praktisch ja: Die GPU adressiert einen gemeinsamen Speicherpool, dessen Größe systemseitig auf etwa zwei Drittel bis drei Viertel des gesamten Arbeitsspeichers begrenzt ist. Das bedeutet, dass ein Mac mit 32 GB RAM Modelle ausführen kann, die auf einem PC mit einer 12-GB-GPU nicht laufen würden. Der Unterschied zeigt sich in der Speicherbandbreite, die je nach Basis-, Max- oder Ultra-Chip um mehrere Faktoren variieren kann und Ihre maximale Token-pro-Sekunde-Rate bestimmt.

Wie überwache ich die VRAM-Auslastung während der Modellausführung?

Bei NVIDIA-GPUs (unter jedem Betriebssystem) führen Sie nvidia-smi -l 1 aus, um alle Sekunden eine Aktualisierung zu erhalten. Unter Windows aktualisiert sich der GPU-Bereich im Task-Manager in Echtzeit. Unter AMD Linux verwenden Sie watch -n 1 rocm-smi --showmeminfo vram; auf einem Mac erscheinen die Modellgewichte im Activity Monitor unter der Registerkarte „Speicher“ als gewöhnlicher Prozessspeicher, da der Pool vereinheitlicht ist.