NVIDIA H100 a défini le boom de l'IA générative. Son successeur, le H200, Le H200 est un ordinateur qui semble presque identique sur une fiche technique de calculateur - parce qu'il l'est. Le H200 utilise le même Hopper GPU que le H100. Ce qui a changé, c'est la mémoire : plus importante et beaucoup plus rapide.
Pour les équipes d'IA, la question est précise : Quand est-ce qu'une plus grande largeur de bande de mémoire est plus importante qu'un plus grand nombre de FLOPS bruts ? Avec ces deux cartes, c'est souvent le cas.
Principaux enseignements
- Les modèles H100 et H200 partagent la même même calculateur Hopper - identiques FP16/FP8 TFLOPS.
- Le H200 permet d'augmenter la mémoire jusqu'à 141 Go HBM3e à 4,8 TB/s, contre 3,35 TB/s pour les 80 GB HBM3 du H100.
- Pour inférence de grands modèles, Le H200 peut être utilisé jusqu'à ~1,6-1,9x plus rapide - de mémoire.
- Pour formation liée à l'informatique, les deux sont beaucoup plus proches ; l'avantage du H200 se réduit à ~10-20%.
- Si vous servez des LLM de grande taille, le H200 est le meilleur choix. Si vous avez besoin d'une formation sur des modèles plus petits, le H100 reste un excellent choix.
En bref
| Spec | NVIDIA H200 | NVIDIA H100 |
|---|---|---|
| Architecture | Trémie GH100 | Trémie GH100 |
| VRAM | 141 Go HBM3e | 80 GB HBM3 |
| Largeur de bande de la mémoire | 4,8 To/s | 3,35 To/s |
| Tenseur FP16 | ~990 TFLOPS | ~990 TFLOPS |
| Tenseur FP8 | ~1 979 TFLOPS | ~1 979 TFLOPS |
| TDP (SXM) | 700 W | 700 W |
| Prix relatif | Plus élevé | Plus bas |
Même moteur, plus grand réservoir
La chose la plus importante à comprendre : le H200 ne calcule pas plus vite que le H100. Leurs cœurs de tenseur sont identiques, de sorte que les débits maximaux en FP16 et FP8 correspondent exactement. NVIDIA n'a modifié que le sous-système de mémoire, en remplaçant la mémoire HBM3 par la mémoire HBM3e, La capacité est passée de 80 Go à 1,5 Go. 141 GB et la largeur de bande de 3,35 à 4,8 To/s.
Cela semble étroit. Ce n'est pas le cas. Les cours modernes de LLM sont en grande majorité lié à la mémoireLe GPU passe son temps à déplacer les poids et le cache KV, et non à saturer ses unités mathématiques. Donnez à cette charge de travail 43% de bande passante en plus et vous obtiendrez directement la majeure partie de cette accélération.
Inférence : où le H200 domine
Pour servir de grands modèles linguistiques, la mémoire du H200 change la donne :
- Capacité. Un modèle de 70B en FP16 nécessite ~140 GB. Il ne tient pas sur un H100 de 80 Go - il en faut deux, avec les frais généraux du parallélisme tensoriel. Il tient sur un simple H200, éliminant ainsi totalement la communication entre les GPU.
- Débit. Même lorsqu'un modèle s'adapte aux deux, la bande passante du H200 augmente la génération de jetons d'environ 1.6-1.9x pour les grands modèles et les contextes longs.
- Marge de manœuvre du cache KV. Les 61 Go supplémentaires vous permettent de servir beaucoup plus d'utilisateurs simultanés ou des fenêtres contextuelles beaucoup plus longues avant de manquer de mémoire.
Pour les déploiements à forte intensité d'inférence - API de chat, backends RAG, systèmes agentiques - le H200 n'est pas une mise à niveau marginale. Elle modifie le nombre de GPU dont vous avez besoin.
Formation : un fossé plus étroit
Pour Pré-entraînement et mise au point, En revanche, le calcul est plus important, et c'est là que les deux cartes convergent. Lorsqu'une tâche d'apprentissage est liée au calcul en FP8 ou FP16, les cœurs tenseurs identiques de la H200 lui confèrent un avantage certain. La mémoire est toujours utile - des lots plus importants, moins d'étapes d'accumulation de gradient, de l'espace pour des états d'optimisation plus importants - mais l'accélération de bout en bout se situe généralement dans la fourchette de 1 à 5 %. 10-20% plutôt que le 60-90% vu par déduction.
Si votre goulot d'étranglement est le débit de formation sur des modèles qui tiennent déjà confortablement dans 80 Go, le H100 offre pratiquement le même résultat pour moins d'argent.
Choisissez le H200 si
- Vous servez des LLM de grande taille (70B+) et vous voulez les utiliser sur un seul GPU.
- Votre charge de travail est lourde en termes d'inférence et de mémoire.
- Vous avez besoin de longues fenêtres contextuelles ou d'une forte concurrence
Choisissez le H100 si
- Vos tâches sont des formations liées à l'informatique sur des modèles qui tiennent dans 80 Go.
- Vous pouvez l'acheter ou le louer à un prix très avantageux.
- Vous évoluez horizontalement et vous utilisez déjà des clusters multi-GPU.
La location de nuages
La plupart des équipes n'achètent jamais l'une ou l'autre carte - elles la louent. Sur les places de marché de GPU en nuage, les La H200 fait grimper les prix par rapport au H100. La bonne question est donc celle du coût par jeton, et non du coût par heure. Pour l'inférence de grands modèles, le débit plus élevé du H200 le rend souvent plus performant que le H100. moins cher par jeton malgré un taux horaire plus élevé. Pour les petits modèles ou la formation, le tarif inférieur du H100 l'emporte généralement. Comparez votre charge de travail réelle avant de vous engager.
FAQ
Le H200 est-il plus rapide que le H100 ?
Pour les travaux liés à la mémoire, tels que l'inférence de grands LML, oui - jusqu'à ~1,9x plus rapide. Pour l'entraînement lié au calcul, à peine - les deux partagent des cœurs de tenseur identiques, de sorte que l'avance du H200 se réduit à 10-20%.
Pourquoi le H200 est-il plus rapide s'il a la même puissance de calcul ?
Parce que la plupart des services LLM sont limités par la bande passante de la mémoire, et non par les mathématiques. La mémoire HBM3e du H200 offre un débit de 4,8 To/s contre 3,35 To/s pour le H100, et ce gain de bande passante de 43% se traduit presque directement par une génération de jetons plus rapide.
Le H200 peut-il faire tourner un modèle 70B sur un seul GPU ?
Oui. Avec 141 Go de HBM3e, un modèle 70B en FP16 (~140 Go) tient sur un H200. Le H100 de 80 Go ne peut pas tenir tout seul et a besoin d'une configuration à deux GPU.
Le H100 vaut-il encore la peine d'être utilisé en 2026 ?
Absolument. Le H100 reste un GPU de formation de premier plan. C'est le meilleur rapport qualité-prix pour les tâches liées au calcul et pour les charges de travail qui tiennent dans 80 Go. Il n'est surclassé que lorsque la capacité de mémoire ou la bande passante est un goulot d'étranglement.
Verdict
Les H200 est la même puce Hopper avec une mise à niveau de la mémoire transformatrice - et pour les charges de travail d'inférence qui dominent les dépenses d'IA en 2026, cette mise à niveau est décisive. Le H200 permet de servir 70B avec un seul GPU, des contextes plus longs, une concurrence plus élevée. Le H200 permet tout cela. H100 est loin d'être obsolète ; pour les formations liées à l'informatique et toutes les tâches qui tiennent dans 80 Go, elle reste un choix excellent et plus abordable. Adaptez la carte à votre goulot d'étranglement - bande passante ou FLOPS.