Die NVIDIA A100 war der Workhorse, der die erste Generation großer Sprachmodelle trainiert hat. Die Frage lautet: H100 durch einen Chip ersetzt, der nach jeder reinen Leistungsmessung deutlich schneller ist. Doch im Jahr 2026 ist die A100 nach wie vor allgegenwärtig – weil sie auf Cloud-Marktplätzen nur einen Bruchteil des H100-Preises kostet.
Die eigentliche Frage lautet daher nicht „Welche ist schneller?“ – klar ist die H100 – sondern „Wann ist die A100 noch die kosteneffiziente Wahl?“
Wichtigste Erkenntnisse
- Die H100 ist für Training und Inferenz etwa 2–3-mal schneller schneller als die A100.
- Die H100 bietet native Unterstützung für FP8, die Transformer Engine sowie eine deutlich höhere Speicherbandbreite.
- Die A100 (80 GB, ~2 TB/s) ist nach wie vor eine leistungsfähige Grafikkarte – lediglich eine ältere Generation.
- Bei Cloud-Mietmodellen kostet die A100 deutlich weniger pro Stunde, was sie bei kleineren Workloads kostengünstiger pro Auftrag machen kann.
- Verwenden Sie die H100 für ernstzunehmendes LLM-Training und FP8-Inferenz; nutzen Sie die A100 für kostengünstige Experimente und kleinere Modelle.
Auf einen Blick
| Spezifikation | NVIDIA H100 | NVIDIA A100 (80 GB) |
|---|---|---|
| Architektur | Hopper GH100 | Ampere GA100 |
| VRAM | 80 GB HBM3 | 80 GB HBM2e |
| Speicherbandbreite | 3,35 TB/s | ~2,0 TB/s |
| FP16-Tensor | ~990 TFLOPS | ~312 TFLOPS |
| FP8-Tensor | ~1.979 TFLOPS | Nicht unterstützt |
| TDP (SXM) | 700 W | 400 W |
| Cloud-Mietkosten | Höher | Viel niedriger |
Die Leistungslücke ist real und beträchtlich
Dies ist kein kleiner generationaler Schritt. Die Hopper-Architektur der H100 brachte einen echten Quantensprung mit sich:
- FP16-Durchsatz verdreifacht sich annähernd – von ~990 TFLOPS auf ~312.
- Speicherbandbreite steigt von ~2,0 auf 3,35 TB/s, wodurch speicherlimitierte Inferenzvorgänge direkt beschleunigt werden.
- Die Transformer Engine und nativ FP8 damit die H100-Modelle Transformer-Modelle in Präzisionen trainieren und bereitstellen kann, die die A100 schlichtweg nicht verarbeiten kann.
Insgesamt ist mit einer um das Zweifache höheren Geschwindigkeit bei einer vergleichbaren FP16-Aufgabe und bis zu dreimal höherer Geschwindigkeit zu rechnen, sobald FP8 zum Einsatz kommt. Bei großskaligem Pre-Training summiert sich dieser Unterschied zu wochenlangen Laufzeiten und einem deutlich kleineren Cluster.
Wo FP8 die Rechenoperationen verändert
Die größte Einschränkung der A100 im Jahr 2026 ist das Fehlen von FP8. Moderne Training- und Inferenz-Workloads setzen diese zunehmend voraus: FP8 halbiert den Speicherverkehr gegenüber FP16 und verdoppelt annähernd den effektiven Durchsatz auf unterstützter Hardware. Die A100 muss daher auf FP16/BF16 zurückgreifen und verliert damit nicht nur an Rohgeschwindigkeit, sondern auch bei den effizientesten modernen Verfahren.
Wenn Ihr Workflow auf FP8 angewiesen ist – aktuelle LLM-Bereitstellungsstacks, neueste Trainingspipelines – ist die A100 nicht langsam, sie ist inkompatibel mit dem beschleunigten Pfad. Allein dies verschiebt anspruchsvolle Workloads hin zur H100.
Wo die A100 noch überlegen ist
Trotz alledem bleibt die A100 für bestimmte Anwendungsfälle eine sinnvolle Mietoption:
- Budgetorientierte Experimente. Prototyping, Debugging von Trainingsloops und kleinere Durchläufe benötigen nicht die Geschwindigkeit der H100. Den H100-Preisaufschlag für die Codeentwicklung zu zahlen, ist verschwenderisch.
- Kleinere Modelle. Das Feinjustieren eines 7B–13B-Modells oder die Inferenz bei Modellen deutlich unter 80 GB funktioniert auf einer A100 problemlos – oft sogar zu einem besseren Preis pro Aufgabe, da der Stundenpreis deutlich niedriger ist.
- Stark parallelisierbare Aufgaben. Hyperparameter-Sweeps und Batch-Inferenz können stattdessen auf vielen günstigen A100-GPUs statt auf wenigen teuren H100-GPUs skaliert werden.
Das entscheidende Maß ist die Kosten pro abgeschlossener Aufgabe, nicht die Kosten pro Stunde. Für großskaliges FP8-Training gewinnt die H100 meist selbst bei ihrem Premium-Preis; für kleinere FP16-Arbeiten liegt die A100 häufig vorne.
Wählen Sie die H100, wenn
- Sie trainieren große Modelle und die Zeit bis zum Ergebnis ist entscheidend
- Ihr Technologie-Stack setzt FP8 oder die Transformer Engine voraus
- Ihre Workload ist durch die Speicherbandbreite begrenzt
Wählen Sie die A100, wenn
- Sie prototypen, debuggen oder kleinere Aufgaben ausführen
- Sie Modelle mit weniger als ~13 Milliarden Parametern feinjustieren oder bereitstellen
- Der deutlich niedrigere Mietpreis übertrifft für Ihr Budget die höhere Rohgeschwindigkeit
Ein Hinweis zur Verfügbarkeit
Die A100 überzeugt zudem aus praktischer Sicht durch ihre Verfügbarkeit. Die Kapazität für H100 und H200 ist ständig stark nachgefragt, und die Spot-Verfügbarkeit auf großen Cloud-Plattformen kann knapp sein. A100-Kapazitäten hingegen sind reichlich vorhanden und selten in Warteschlangen eingebunden. Falls Sie sofort eine GPU für eine nicht kritische Aufgabe benötigen, ist die A100 die Karte, die Sie tatsächlich erhalten können.
Gesamtbetriebskosten: Warum die günstigere Karte teurer werden kann
Der höhere Listenpreis der H100 und ihr etwa doppelt so hoher Stromverbrauch machen die A100 zur sparsameren Option. Stündlich betrachtet ist sie das in der Regel auch. Doch die entscheidende Kenngröße für ein KI-Budget lautet Kosten pro Arbeitseinheit — also Dollar pro Million generierter Tokens oder Dollar pro abgeschlossener Trainingsdurchführung — und bei dieser Metrik dreht sich die Rechnung häufig um.
Der Grund ist einfach: Wenn eine H100 dieselbe Transformer-Workload in einem Bruchteil der Echtzeit abschließt, mieten Sie sie für weniger Stunden. Eine Grafikkarte, die stündlich teurer ist, aber deutlich schneller arbeitet, kann trotzdem zu einer niedrigeren Gesamtrechnung führen – noch bevor man den durch kürzere Iterationsschleifen eingesparten Engineering-Aufwand berücksichtigt. Die A100 gewinnt bei den Gesamtkosten nur dann, wenn ihre geringere stündliche Rate durch eine entsprechend große Geschwindigkeitslücke kompensiert wird – was typischerweise bei kleineren Modellen, Batch-Jobs ohne Latenzanforderungen oder speicherlimitierten Workloads der Fall ist, die von keiner der beiden Karten signifikant beschleunigt werden. nicht ausgeglichen wird durch eine proportionale Geschwindigkeitslücke — was typischerweise bei kleineren Modellen, Batch-Jobs ohne Latenzanforderungen oder speicherlimitierten Workloads der Fall ist, die von keiner der beiden Karten signifikant beschleunigt werden.
| Kostenfaktor | A100 80 GB | H100 80 GB |
|---|---|---|
| Typischer Cloud-Preis (Anfang 2026) | ca. 1,50–2,50 USD/GPU-Stunde | ca. 2–4 USD/GPU-Stunde |
| SXM-Board-Leistung (TDP) | 400 W | 700 W |
| Worauf Sie optimieren | Günstigster Stundensatz | Geringste Kosten pro Aufgabe |
Für Teams, die Hardware besitzen verschiebt sich die Kalkulation erneut. Der ca. 700-W-SXM-Stromverbrauch der H100 gegenüber den ca. 400 W der A100 ist nicht nur eine Position auf der Stromrechnung – er bestimmt vielmehr die Rack-Dichte, die Stromversorgung und die Kühlung. Eine Infrastruktur, die für die thermischen Anforderungen der A100 ausgelegt ist, kann möglicherweise keine Flotte 700-W-Karten aufnehmen, ohne elektrische und Klimaanlagen-Upgrades vorzunehmen; diese Investitionskosten gehören in jeden ehrlichen Vergleich. Auch die Abschreibung spielt eine Rolle: Beide sind mittlerweile Vorgängergenerationen, die von Blackwell überholt wurden; ein frisch gekaufte A100 bindet Sie daher an die älteste Architektur, die man noch vernünftigerweise erwerben kann, und verkürzt damit ihren nutzbaren Wiederverkaufszeitraum.
Die praktische Erkenntnis lautet: Berechnen Sie die Kosten für die gesamte Aufgabe – nicht für die Stunde. Schätzen Sie die benötigten Tokens oder Trainingssteps ab, multiplizieren Sie diese mit der realen Durchsatzleistung jeder Karte bei Ihrem Ihr Modell und Ihrer Präzision, und vergleichen Sie die Gesamtkosten. Mieter sollten vor einer mehrwöchigen Reservierung kurz beide Karten benchmarken; Käufer sollten Strom-, Kühl- und Abschreibungskosten in ihre Berechnung einbeziehen. Die vermeintlich „günstige“ Karte ist nur dann wirklich günstig, wenn Ihre Workload die schnellere nicht ausnutzen kann.
Häufig gestellte Fragen (FAQ)
Lohnt sich der Preisvorteil der H100 gegenüber der A100?
Für großskaliges Training und FP8-Inferenz ja – sie ist 2–3-mal schneller und beendet Aufgaben daher oft günstiger, trotz des höheren Stundenpreises. Für kleine Aufgaben und Prototyping gewinnt meist der niedrigere Stundensatz der A100.
Kann die A100 moderne LLMs im Jahr 2026 noch ausführen?
Ja. Die 80-GB-A100 eignet sich nach wie vor gut zum Bereitstellen und Feinjustieren von Modellen. Ihre Einschränkung liegt im Fehlen von FP8, weshalb sie nicht die effizientesten aktuellen Verfahren nutzen kann und sämtliche Berechnungen in FP16/BF16 durchführt.
Warum wird die A100 immer noch so weit verbreitet genutzt?
Zwei Gründe: Sie ist deutlich günstiger zu mieten und viel leichter verfügbar. Die H100-Kapazität ist stark nachgefragt, während A100-GPUs reichlich vorhanden sind – was die ältere Karte zur praktischen Wahl für budgetorientierte und on-demand-Anwendungen macht.
Sollte ich ein großes Modell auf A100-GPUs trainieren, um Kosten einzusparen?
Üblicherweise nein. Beim großskaligen Training bedeutet der 2–3-mal höhere Geschwindigkeitsvorteil der H100, dass sie Aufgaben früher abschließt und insgesamt oft günstiger pro Aufgabe ist. Die A100 spart nur bei kleineren Modellen und Entwicklungsarbeiten Kosten.
Wie viel mehr Strom und Kühlleistung benötigt eine H100 im Vergleich zur A100?
Roughly double, at the high end. Ein A100-SXM-Modul ist mit 400 W spezifiziert (die PCIe-Version mit 300 W), während die H100 SXM5 bis zu 700 W (PCIe-Version: 350 W) verbraucht. Bei einer einzelnen Workstation-Grafikkarte ist der Unterschied noch beherrschbar, doch über einen ganzen Server oder ein Rack hinweg addiert er sich zu einem deutlich höheren Stromverbrauch und wesentlich mehr Abwärme. Rechenzentren, die ursprünglich für die thermischen Anforderungen der A100 konzipiert wurden, benötigen oft Upgrades der Stromversorgung und Kühlung – gelegentlich sogar Flüssigkeitskühlung –, bevor sie dichte H100-Knoten betreiben können; dies stellt einen echten und häufig unterschätzten Deployment-Kostenfaktor dar.
Sollte ich beide überspringen und stattdessen eine H200 kaufen?
Nur, wenn Speicherkapazität oder -bandbreite Ihr Engpass ist. Die H200 verwendet denselben Hopper-Rechenchip wie die H100, kombiniert ihn jedoch mit rund 141 GB schnellerem HBM3e statt 80 GB. Dieser zusätzliche Spielraum hilft bei Modellen mit über 100 Milliarden Parametern, Inference mit langem Kontext und größeren Batch-Größen, wobei sie gegenüber der H100 eine spürbare Beschleunigung bei der Inferenz liefern kann. Für Workloads, die bereits problemlos in 80 GB passen, ist die H200 kein automatischer Upgrade – Sie würden für Speicher bezahlen, den Sie nicht nutzen. Entscheiden Sie sich für die H200, wenn Sie regelmäßig an die Speichergrenze stoßen, nicht standardmäßig.
Ändert sich die Wahl, wenn ich viele GPUs vernetzen muss?
Ja – bei Multi-Node-Skalierung zählt die Interconnect-Leistung oft mehr als die Leistung pro Karte. Die H100 bietet eine höhere NVLink-Bandbreite zwischen den GPUs als die A100 (900 GB/s gegenüber 600 GB/s), wodurch der Kommunikationsaufwand beim Sharding eines großen Modells oder beim Training über viele Geräte reduziert wird. Passt Ihre Aufgabe auf eine oder zwei GPUs, ist dieser Vorteil weitgehend irrelevant und die Kosten pro Karte dominieren. Doch bei großem verteiltem Training kann ein schnellerer Interconnect den Unterschied zwischen nahezu linearer Skalierung und einem Cluster ausmachen, der auf den Datenverkehr zwischen den GPUs wartet – weshalb die neuere Generation die sicherere Basis darstellt.
Fazit
Die H100 ist zweifelsfrei die bessere GPU – schneller, FP8-fähig und das richtige Werkzeug für jedes ernsthafte Großmodell-Projekt im Jahr 2026. Doch die A100 hat sich als kostengünstige und verfügbare Alternative eine lange zweite Lebensphase erarbeitet. Für Prototyping, kleinere Modelle und parallele Batch-Aufgaben macht ihre deutlich niedrigere Mietkostenstruktur sie tatsächlich kosteneffizient. Entscheiden Sie anhand der Kosten pro Aufgabe – nicht pro Stunde – und die richtige Karte ergibt sich meist von selbst.
