NVIDIAs H100 prägte den Boom generativer KI. Ihr Nachfolger, die H200, sieht auf einem reinen Rechenspezifikationsblatt fast identisch aus – denn sie ist es auch. Die H200 nutzt den verwendet dieselbe Hopper-GPU wie die H100. Geändert hat sich lediglich der Speicher: mehr davon und deutlich schneller.
Für KI-Teams stellt sich die Frage präzise: Wann übertrifft höhere Speicherbandbreite höhere Roh-Rechenleistung (FLOPS)? Bei diesen beiden Grafikkarten ist dies häufig der Fall.
Wichtigste Erkenntnisse
- Die H100 und H200 teilen sich die gleiche Hopper-Rechenleistung – identische FP16-/FP8-TFLOPS-Leistung.
- Die H200 verbessert den Speicher auf 141 GB HBM3e mit 4,8 TB/s, verglichen mit den 80 GB HBM3 und 3,35 TB/s der H100.
- Für Großmodell-Inferenz, ist die H200 bis zu ca. 1,6–1,9× schneller – ausschließlich dank des Speichers.
- Für Rechenleistungsgebundenes Training, liegen beide deutlich näher beieinander; der Vorteil der H200 schrumpft hier auf ca. 10–20 %.
- Wenn Sie große Sprachmodelle (LLMs) bereitstellen, ist die H200 die klare Wahl. Wenn Sie hingegen bei kleineren Modellen trainingsgebunden sind, bietet die H100 nach wie vor hervorragendes Preis-Leistungs-Verhältnis.
Auf einen Blick
| Spezifikation | NVIDIA H200 | NVIDIA H100 |
|---|---|---|
| Architektur | Hopper GH100 | Hopper GH100 |
| VRAM | 141 GB HBM3e | 80 GB HBM3 |
| Speicherbandbreite | 4,8 TB/s | 3,35 TB/s |
| FP16-Tensor | ~990 TFLOPS | ~990 TFLOPS |
| FP8-Tensor | ~1.979 TFLOPS | ~1.979 TFLOPS |
| TDP (SXM) | 700 W | 700 W |
| Relativer Preis | Höher | Niedriger |
Gleicher Motor, größerer Kraftstofftank
Das Wichtigste zu verstehen: Die H200 rechnet nicht schneller als die H100. Ihre Tensor-Cores sind identisch, sodass die maximale FP16- und FP8-Durchsatzleistung exakt übereinstimmt. NVIDIA hat lediglich das Speichersubsystem geändert – HBM3 wurde durch HBM3e, wodurch die Kapazität von 80 GB auf 141 GB und eine Bandbreite von 3,35 auf 4,8 TB/s.
Das klingt eng. Ist es aber nicht. Das Bereitstellen moderner Großsprachmodelle (LLMs) ist überwiegend speicherlimitiert: Die GPU verbringt ihre Zeit damit, Gewichte und den KV-Cache zu verschieben, statt ihre Recheneinheiten auszulasten. Geben Sie dieser Arbeitslast 43 % mehr Bandbreite, und Sie erhalten nahezu die gesamte Leistungssteigerung direkt.
Inferenz: Dort dominiert die H200
Beim Bereitstellen großer Sprachmodelle verändert die Speicherausstattung der H200 die Wirtschaftlichkeit:
- Kapazität. Ein 70-Milliarden-Parameter-Modell im FP16-Format benötigt ca. 140 GB. Es passt nicht auf eine einzelne 80-GB-H100 – dafür sind zwei GPUs mit dem Overhead der Tensor-Parallelisierung erforderlich. Auf einer eine einzelne H200, wodurch die Kommunikation zwischen GPUs vollständig entfällt.
- Durchsatz. Selbst wenn ein Modell sowohl auf der H200 als auch auf der H100 Platz findet, steigert die höhere Bandbreite der H200 die Token-Generierung um etwa 1,6–1,9× bei großen Modellen und langen Kontexten.
- KV-Cache-Puffer. Die zusätzlichen 61 GB ermöglichen es Ihnen, deutlich mehr gleichzeitige Benutzer zu bedienen oder wesentlich längere Kontextfenster zu nutzen, bevor der Speicher erschöpft ist.
Bei inferenzlastigen Deployments – Chat-APIs, RAG-Backends, agentenbasierte Systeme – ist die H200 keine marginale Verbesserung. Sie verändert grundlegend, wie viele GPUs Sie benötigen.
Training: Ein engerer Leistungsabstand
Für Vor-Training und Feinabstimmung, spielt die Rechenleistung stärker eine Rolle, und hier nähern sich beide Karten an. Wenn ein Trainingsjob durch FP8- oder FP16-Rechenleistung limitiert ist, begrenzen die identischen Tensor-Cores den Vorteil der H200. Der Speicher hilft dennoch – größere Batch-Größen, weniger Gradient-Accumulation-Schritte, Platz für umfangreichere Optimierer-Zustände – doch der End-to-End-Geschwindigkeitszuwachs liegt typischerweise im Bereich von 10–20 % anstelle der 60–90 %, die bei Inferenz zu beobachten sind.
Wenn Ihr Engpass bei Training-Durchsatz für Modelle liegt, die bereits problemlos in 80 GB passen, liefert die H100 nahezu das gleiche Ergebnis zu geringeren Kosten.
Wählen Sie die H200, wenn
- Sie große LLMs (70 Mrd. Parameter und mehr) bereitstellen und diese auf einer einzigen GPU betreiben möchten
- Ihre Arbeitslast vorwiegend auf Inferenz basiert und speicherlimitiert ist
- Sie lange Kontextfenster oder hohe Parallelität benötigen
Wählen Sie die H100, wenn
- Ihre Aufgaben rechenintensives Training auf Modellen sind, die problemlos in 80 GB passen
- Sie sie zu einem deutlichen Preisvorteil kaufen oder mieten können
- Sie horizontal skalieren und bereits Multi-GPU-Cluster betreiben
Der Aspekt der Cloud-Miete
Die meisten Teams kaufen keines der beiden Modelle – sie mieten sie. Auf Cloud-GPU-Marktplätzen ist die Die H200 erzielt einen Aufpreis gegenüber der H100. Die entscheidende Frage lautet daher nicht ‚Kosten pro Stunde‘, sondern ‚Kosten pro Token‘. Bei der Inferenz großer Modelle macht die höhere Durchsatzleistung der H200 sie oft kostengünstiger pro Token – trotz des höheren Stundensatzes. Bei kleineren Modellen oder beim Training überzeugt in der Regel der niedrigere Stundensatz der H100. Testen Sie Ihre konkrete Arbeitslast anhand von Benchmarks, bevor Sie sich festlegen.
Zahlen im Überblick: Der Durchsatzvorteil der H200
Die H100 und H200 verwenden denselben GH100-Die; daher ist ihre Rohrechenleistung (FLOPS) identisch. Jeder Vorteil der H200 resultiert ausschließlich aus dem Speichersubsystem: 141 GB HBM3e mit einer Bandbreite von ca. 4,8 TB/s gegenüber 80 GB HBM3 bei 3,35 TB/s der H100 – etwa 76 % mehr Kapazität und 43 % mehr Bandbreite.
Dies führt zu einem realen, jedoch lastabhängigen Vorteil. Im MLPerf v4.0 erzielte die H200 bei Llama 2 70B (Offline-Modus) rund 42 % höhere Durchsatzleistung – etwa 31.700 Tokens/s gegenüber 22.300 Tokens/s der H100 – und im maximalen Einzel-GPU-Durchsatz kann sie bis zu das 1,9-Fache der H100 bei Llama 70B erreichen. Der Haken dabei: Für jedes Modell und jeden KV-Cache, der problemlos in die 80 GB passt, schrumpft der Vorteil auf lediglich 0–11 %0–11 %
Sollten Sie auf Blackwell warten?
Jede Entscheidung zwischen H100 und H200 im Jahr 2026 birgt eine dritte Option: NVIDIAs Blackwell B200. Im Gegensatz zur H200 handelt es sich beim B200 um eine echte neue Architektur – kein reines Speicher-Update der Hopper-Architektur. Er verfügt über rund 192 GB HBM3e mit einer Bandbreite von ca. 8 TB/s und fügt zudem entscheidend native FP4 Unterstützung hinzu, die Hopper vollständig fehlt. Für Low-Precision-Inferenz ermöglicht diese Kombination einen GPU-internen Durchsatz von rund das 2- bis 2,5-Fache einer H200 bei großen Modellen; bei optimierter FP4-Bereitstellung kann sich die Kosten pro Token sogar noch weiter senken.
Warum sollte man also überhaupt noch Hopper kaufen? Drei Gründe:
- Stromverbrauch und Leistungsdichte. Der B200 benötigt etwa 1.000 W im Vergleich zu 700 W bei beiden Hopper-Karten. Dies wirkt sich direkt auf die Strombudgets pro Rack, die Kühlung und häufig auch auf die Notwendigkeit von Flüssigkeitskühlung aus – ein echtes Hindernis für bestehende luftgekühlte Rechenzentren und die meisten Colocation-Umgebungen.
- Preis und Verfügbarkeit. Die Cloud-Preise für den B200 liegen aktuell deutlich über dem Launch-Preisniveau (üblicherweise 4–6+ USD/GPU-Stunde) gegenüber rund 3 USD/Stunde für eine H200; zudem ist das Angebot knapper. Hopper-Bestände sind ausgereift und heute leicht zu mieten.
- Software-Reife. Hoppers FP8- und CUDA-Tools sind in allen wichtigen Inferenz- und Trainings-Frameworks gründlich erprobt. FP4 ist neu, und um die Spitzenwerte des B200 tatsächlich auszuschöpfen, ist zusätzlicher Engineering-Aufwand erforderlich.
Eine nützliche Faustregel: Wenn Ihre Workload FP4-freundlich ist, im hohen Volumen läuft und Sie die erforderliche Stromversorgung bereitstellen können, gewinnt Blackwell bei der Kosten pro Token. Wenn Sie jedoch Kapazität sofort benötigen, eine ausgereifte FP8-/FP16-Softwarestack nutzen oder 1.000 W pro Beschleuniger nicht unterbringen können, bleibt die H200 die pragmatische Wahl – und die H100 die kostengünstige Alternative. Die H200 lässt sich zudem nahtlos in bestehende HGX-H100-Systeme integrieren und stellt damit das Upgrade mit geringstem Aufwand für Teams dar, die bereits auf Hopper setzen. Blackwell ist der größere Sprung – doch die H200 können Sie noch heute nachmittag ohne Neugestaltung Ihrer Infrastruktur in Betrieb nehmen.
Häufig gestellte Fragen (FAQ)
Ist die H200 schneller als die H100?
Bei speicherlimitierten Workloads wie der Inferenz großer Sprachmodelle ja – bis zu ca. 1,9× schneller. Bei rechenlimitiertem Training hingegen kaum – da beide Karten identische Tensor-Cores besitzen, reduziert sich der Vorteil der H200 auf 10–20 %.
Warum ist die H200 schneller, obwohl sie dieselbe Rechenleistung besitzt?
Weil das Bereitstellen der meisten LLMs durch die Speicherbandbreite – nicht durch Rechenleistung – begrenzt wird. Die HBM3e-Speichertechnologie der H200 liefert 4,8 TB/s gegenüber 3,35 TB/s bei der H100; dieser 43-prozentige Bandbreitenzuwachs führt nahezu direkt zu einer schnelleren Token-Generierung.
Kann die H200 ein 70-Milliarden-Parameter-Modell auf einer einzigen GPU ausführen?
Ja. Mit 141 GB HBM3e-Speicher passt ein 70-Milliarden-Parameter-Modell im FP16-Format (~140 GB) problemlos auf eine einzige H200. Die 80-GB-H100 kann es dagegen nicht allein hosten und erfordert eine Zwei-GPU-Konfiguration.
Lohnt sich die Nutzung der H100 noch im Jahr 2026?
Absolut. Die H100 bleibt eine Spitzen-GPU für Trainingsaufgaben. Sie bietet den besseren Preis-Leistungs-Wert für rechenintensive Aufgaben und für Workloads, die innerhalb von 80 GB Platz finden. Sie wird nur dann übertroffen, wenn Speicherkapazität oder -bandbreite zum Engpass werden.
Wie viel schneller ist die H200 als die H100 für Llama 70B?
Etwa 42 % mehr Durchsatz im MLPerf v4.0 Offline-Modus (~31.700 vs. ~22.300 Tokens/s) und bis zu das 1,9-Fache beim maximalen Einzel-GPU-Durchsatz. Der Vorteil ist am größten bei Inferenz mit großen Batches und langen Kontexten, die an die Speichergrenzen der H100 stoßen.
Verfügt die H200 über mehr Rechenleistung als die H100?
Nein. Beide basieren auf demselben GH100-Die mit identischen FLOPS. Die gesamte Verbesserung betrifft ausschließlich den Speicher – mehr Kapazität (141 GB vs. 80 GB) und mehr Bandbreite (4,8 vs. 3,35 TB/s). Wenn Ihre Workload nicht speicherlimitiert ist, liegen beide nahezu gleichauf.
Wann ist die H100 immer noch die bessere Kaufentscheidung?
Wenn Ihr Modell inklusive KV-Cache problemlos in die 80 GB passt. In diesem Fall sinkt der Vorteil der H200 auf 0–11 %, sodass die günstigere und weit verbreitetere H100 meist eine bessere Preis-Leistungs-Relation bietet.
Ist die H200 energieeffizienter als die H100?
Ja. Beide Karten teilen dieselbe TDP von 700 W, doch die H200 leistet innerhalb dieses Rahmens mehr Arbeit. Für Large-LLM-Inferenz nennt NVIDIA bis zu etwa 50 % weniger Energie pro Inferenz; bei identischem Strombudget generiert die H200 mehr Tokens pro Sekunde als die H100. Gleiche Wattzahl, mehr Output – weshalb sie die Gesamtbetriebskosten (TCO) für inferenzlastige Systemlandschaften senkt.
Wie schneidet der B200 im Vergleich zur H200 bei Inferenz ab?
Der B200 stellt einen architektonischen Sprung dar: ca. 192 GB HBM3e, rund 8 TB/s Bandbreite und native FP4-Unterstützung, die Hopper vollständig fehlt. Bei großen Modellen steigert dies den GPU-internen Durchsatz auf etwa das 2- bis 2,5-Fache einer H200 mit deutlich niedrigeren Kosten pro Token im FP4-Betrieb. Die Nachteile sind ein höherer Strombedarf von ca. 1.000 W, ein Launch-Preisaufschlag sowie ein weniger ausgereifter Low-Precision-Softwarestack.
Kann ich eine H200 problemlos in einen bestehenden H100-Server einbauen?
Grundsätzlich ja. Die H200 SXM nutzt dieselbe Hopper-Architektur und denselben 700-W-Rahmen und ist daher speziell dafür konzipiert, nahtlos in bestehende HGX-H100-Baseboards und -Systeme einzupassen – mit minimalem Aufwand. Diese Abwärtskompatibilität ist ein wesentlicher Grund dafür, dass Teams, die bereits auf Hopper standardisiert haben, die H200 bevorzugen, statt direkt zu Blackwell zu wechseln, was in der Regel neue Gehäuse und oft auch Flüssigkeitskühlung erfordert.
Fazit
Die H200 ist derselbe Hopper-Chip mit einer bahnbrechenden Speicher-Upgrade – und für die Inferenz-Workloads, die 2026 die KI-Ausgaben dominieren, ist dieses Upgrade entscheidend. Das Bereitstellen eines 70-Milliarden-Parameter-Modells auf einer einzigen GPU, längere Kontexte, höhere Parallelität: All dies ermöglicht die H200. Die H100 ist keineswegs veraltet; für rechenlimitiertes Training und jede Aufgabe, die in 80 GB passt, bleibt sie eine ausgezeichnete und kostengünstigere Alternative. Wählen Sie die passende Karte entsprechend Ihres Engpasses – Bandbreite oder FLOPS.
