NVIDIA H100 contre H200 pour l’IA en 2026 : la mise à niveau mémoire en vaut-elle la peine ?

Le H100 a défini l’essor de l’IA générative. Son successeur, l’ H200, il apparaît presque identique sur une fiche technique centrée sur la puissance de calcul — car il l’est effectivement. L’H200 utilise la repose sur la même GPU Hopper que l’H100. Ce qui a changé, c’est la mémoire : plus grande capacité et bien plus rapide.

Pour les équipes IA, la question est précise : à quel moment une bande passante mémoire supérieure l’emporte-t-elle sur des FLOPS bruts plus élevés ? Avec ces deux cartes, c’est souvent le cas.

En un coup d'œil

Même moteur, réservoir de carburant plus grand

La chose la plus importante à comprendre : l’H200 ne calcule pas plus vite que l’H100. Leurs cœurs tensoriels sont identiques, donc leur débit maximal en FP16 et en FP8 est strictement identique. NVIDIA n’a modifié que le sous-système mémoire — remplaçant l’HBM3 par HBM3e, portant la capacité de 80 Go à 141 Go et une bande passante allant de 3,35 à 4,8 To/s.

Cela semble étroit. Ce n’est pas le cas. La mise en service moderne des grands modèles de langage (LLM) est avant tout limitée par la mémoire: le GPU passe la majeure partie de son temps à déplacer les poids et le cache KV, sans saturer ses unités de calcul. Accordez à cette charge de travail 43 % de bande passante supplémentaire et vous obtiendrez la quasi-totalité de ce gain de vitesse directement.

Inférence : là où l’H200 domine

Pour la mise en service de grands modèles de langage, les caractéristiques mémoire de l’H200 transforment l’équation économique :

• Capacité. Un modèle de 70 milliards de paramètres en FP16 nécessite environ 140 Go. Il ne tient pas sur un seul H100 de 80 Go — vous en avez besoin de deux, avec la surcharge liée au parallélisme tensoriel. Il tient sur un un seul H200, éliminant ainsi totalement les communications inter-GPU.
• Débit. Même lorsque le modèle tient sur les deux GPU, la bande passante supérieure de l’H200 accélère la génération de jetons d’environ 1,6 à 1,9 fois pour les grands modèles et les contextes longs.
• Marge de manœuvre pour le cache KV. Les 61 Go supplémentaires permettent de servir nettement plus d’utilisateurs simultanés ou des fenêtres de contexte bien plus longues avant d’épuiser la mémoire.

Pour les déploiements axés sur l’inférence — API de chat, backends RAG, systèmes agents — l’H200 n’est pas une amélioration marginale. Il change le nombre de GPU requis.

Entraînement : un écart plus étroit

Pour pré-entraînement et affinage, la puissance de calcul compte davantage, et ici les deux cartes convergent. Lorsqu’un travail d’entraînement est limité par la puissance de calcul en FP8 ou en FP16, les cœurs tensoriels identiques de l’H200 plafonnent son avantage. La mémoire reste utile — tailles de lots plus importantes, moins d’étapes d’accumulation de gradients, espace accru pour les états des optimiseurs — mais le gain de vitesse global se situe généralement dans la fourchette 10–20 % plutôt que dans les 60–90 % observés en inférence.

Si votre goulot d’étranglement réside dans le débit d’entraînement pour des modèles qui tiennent aisément dans les 80 Go, l’H100 fournit quasiment le même résultat à moindre coût.

L’angle de la location dans le cloud

La plupart des équipes n’achètent jamais aucune de ces deux cartes — elles les louent. Sur les places de marché cloud de GPU, le L’H200 bénéficie d’une prime par rapport à l’H100. La question pertinente n’est donc pas le coût par heure, mais le coût par jeton. Pour l’inférence sur de grands modèles, le débit supérieur de l’H200 rend souvent ce GPU moins coûteux par jeton malgré son tarif horaire plus élevé. Pour les modèles plus petits ou pour l’entraînement, le tarif inférieur de l’H100 l’emporte généralement. Évaluez vos charges de travail réelles à l’aide de benchmarks avant de vous engager.

Chiffres clés : l’avantage en débit de l’H200

L’H100 et l’H200 utilisent la même puce GH100; leur puissance de calcul brute (FLOPS) est donc identique. Tout l’avantage de l’H200 provient du sous-système mémoire : 141 Go de mémoire HBM3e à environ 4,8 To/s contre 80 Go de mémoire HBM3 à 3,35 To/s pour l’H100 — soit environ 76 % de capacité supplémentaire et 43 % de bande passante supplémentaire.

Cela se traduit par un avantage réel, mais dépendant de la charge de travail. Dans le benchmark MLPerf v4.0, l’H200 a obtenu un débit environ 42 % supérieur sur Llama 2 70B (mode hors ligne) — environ 31 700 jetons/s contre 22 300 pour l’H100 — et, à son débit maximal sur une seule carte graphique, il peut atteindre jusqu’à 1,9× celui de l’H100 sur Llama 70B. L’inconvénient : pour tout modèle et tout cache KV qui tient déjà confortablement dans les 80 Go, le gain se réduit à seulement 0–11 %0 à 11 %

Faut-il attendre Blackwell ?

Toute décision entre H100 et H200 en 2026 comporte une troisième option implicite : la plateforme Blackwell B200d’NVIDIA. Contrairement à l’H200, la B200 repose sur une architecture entièrement nouvelle, et non sur une simple refonte mémoire de l’architecture Hopper. Elle intègre environ 192 Go de mémoire HBM3e à environ 8 To/s et, surtout, ajoute une prise en charge native de FP4 FP4 2 à 2,5× celle de l’H200 sur les grands modèles, tandis que le coût par jeton peut encore diminuer davantage une fois que le déploiement en FP4 sera pleinement optimisé.

Alors pourquoi choisir encore Hopper ? Trois raisons :

• Puissance et densité. La B200 consomme environ 1 000 W contre 700 W pour les deux cartes Hopper. Cela modifie les budgets d’alimentation des baies, les besoins en refroidissement et impose souvent le refroidissement liquide — un obstacle réel pour les centres de données existants refroidis à l’air et la plupart des installations de colocation.
• Prix et disponibilité. Les tarifs cloud de la B200 affichent une prime de lancement (généralement 4 à 6 $+ par heure et par GPU) comparés aux environ 3 $/heure pour une H200, et l’offre est plus restreinte. L’approvisionnement en cartes Hopper est mature et facile à louer dès aujourd’hui.
• Maturité logicielle. Les outils CUDA et la prise en charge FP8 d’Hopper sont éprouvés dans tous les principaux frameworks d’inférence et d’entraînement. Le format FP4 est plus récent, et exploiter pleinement les performances annoncées de la B200 exige des efforts d’ingénierie.

Une règle empirique utile : si votre charge de travail est compatible avec le FP4, s’exécute à grande échelle et peut être alimentée convenablement, Blackwell l’emporte sur le coût par jeton. Si vous avez besoin de capacité immédiate, utilisez une pile logicielle FP8/FP16 mature ou ne pouvez pas supporter 1 000 W par accélérateur, l’H200 reste le choix pragmatique — et l’H100, le choix économique. En outre, l’H200 s’intègre parfaitement dans les systèmes HGX H100 existants, ce qui en fait la mise à niveau la moins disruptive pour les équipes déjà passées à Hopper. Blackwell représente un bond technologique plus important, mais l’H200 est celle que vous pouvez déployer dès cet après-midi sans revoir entièrement l’architecture de vos infrastructures.

FAQ

L’H200 est-il plus rapide que l’H100 ?

Pour les charges de travail limitées par la mémoire, comme l’inférence sur de grands LLM, oui — jusqu’à environ 1,9 fois plus rapide. Pour l’entraînement limité par la puissance de calcul, à peine — les deux cartes partagent des cœurs tensoriels identiques, donc l’avantage de l’H200 se réduit à 10–20 %.

Pourquoi l’H200 est-il plus rapide s’il offre la même puissance de calcul ?

Parce que la plupart des opérations de mise en service de LLM sont limitées par la bande passante mémoire, et non par les performances de calcul. L’HBM3e de l’H200 délivre 4,8 To/s contre 3,35 To/s pour l’H100, et ce gain de 43 % en bande passante se traduit presque intégralement par une génération de jetons plus rapide.

L’H200 peut-il exécuter un modèle de 70 milliards de paramètres sur un seul GPU ?

Oui. Avec ses 141 Go d’HBM3e, un modèle de 70 milliards de paramètres en FP16 (~140 Go) tient sur un seul H200. Les 80 Go de l’H100 ne suffisent pas, nécessitant une configuration à deux GPU.

L’H100 reste-t-il pertinent en 2026 ?

Absolument. L’H100 demeure un GPU d’entraînement haut de gamme. Il constitue le meilleur rapport qualité-prix pour les tâches limitées par la puissance de calcul et pour les charges de travail qui tiennent dans les 80 Go. Il n’est dépassé que lorsque la capacité ou la bande passante mémoire devient le goulot d’étranglement.

À quel point l’H200 est-il plus rapide que l’H100 pour Llama 70B ?

Environ 42 % de débit supplémentaire en mode hors ligne MLPerf v4.0 (~31 700 contre ~22 300 jetons/s), et jusqu’à 1,9× en débit maximal sur une seule carte graphique. Cet avantage est le plus marqué pour les inférences à grand lot et à long contexte, qui dépassent les limites mémoire de l’H100.

L’H200 offre-t-il plus de puissance de calcul que l’H100 ?

Non. Les deux cartes reposent sur la même puce GH100 et offrent des performances FLOPS identiques. La mise à niveau concerne exclusivement la mémoire — plus grande capacité (141 Go contre 80 Go) et plus grande bande passante (4,8 To/s contre 3,35 To/s). Si votre charge de travail n’est pas limitée par la mémoire, les deux cartes offrent des performances quasi identiques.

Dans quels cas l’H100 reste-t-il le meilleur choix ?

Lorsque votre modèle combiné au cache KV tient dans les 80 Go. Dans ce cas, l’avantage de l’H200 tombe à 0–11 %, si bien que l’H100, moins coûteux et plus largement disponible, offre généralement un meilleur rapport performance/prix.

L’H200 est-elle plus économe en énergie que l’H100 ?

Oui. Les deux cartes partagent la même enveloppe thermique de 700 W, mais l’H200 effectue davantage de travail dans cette limite. Pour l’inférence sur de grands modèles linguistiques, NVIDIA indique une réduction d’énergie pouvant atteindre environ 50 % par inférence, et, à puissance identique, l’H200 génère plus de jetons par seconde que l’H100. Même nombre de watts, plus de résultats — ce qui explique pourquoi elle réduit le coût total de possession pour les parcs dédiés à l’inférence.

Comment la B200 se compare-t-elle à l’H200 pour l’inférence ?

La B200 marque un saut générationnel : environ 192 Go de mémoire HBM3e, une bande passante d’environ 8 To/s et une prise en charge native du FP4, absente chez Hopper. Sur les grands modèles, cela porte le débit par GPU à environ 2–2,5× celui de l’H200, avec un coût par jeton nettement inférieur en exploitation FP4. Les compromis résident dans une consommation électrique plus élevée (~1 000 W), un prix de lancement majoré et une pile logicielle pour les faibles précisions moins mature.

Puis-je remplacer directement une H100 par une H200 dans un serveur existant ?

Généralement oui. L’H200 SXM repose sur la même architecture Hopper et la même enveloppe thermique de 700 W ; elle est donc conçue pour s’intégrer sans difficulté majeure dans les cartes mères et systèmes HGX H100 existants. Cette compatibilité ascendante constitue l’une des principales raisons pour lesquelles les équipes déjà standardisées sur Hopper choisissent l’H200 plutôt que de passer directement à Blackwell, qui nécessite généralement de nouveaux châssis et souvent un refroidissement liquide.

Verdict

Le H200 est la même puce Hopper dotée d’une amélioration radicale de la mémoire — et pour les charges de travail d’inférence qui dominent les dépenses en IA en 2026, cette amélioration est décisive. Mise en service de modèles de 70 milliards de paramètres sur un seul GPU, contextes plus longs, concurrence accrue : l’H200 permet tout cela. L’ H100 n’est pas du tout obsolète ; pour l’entraînement limité par la puissance de calcul et toute tâche qui tient dans les 80 Go, il reste un choix excellent et plus abordable. Choisissez la carte adaptée à votre goulot d’étranglement — bande passante ou FLOPS.