NVIDIA vient de publier Nemotron 3 Nano Omni, et la proposition est remarquablement simple : un seul modèle ouvert capable de voir, entendre, regarder et lire — puis de raisonner sur l’ensemble de ces entrées en une seule passe. Pas de modèle visuel séparé, pas de module de reconnaissance vocale ajouté, pas de chaîne de trois API différentes reliées entre elles. Texte, images, audio et vidéo sont tous injectés dans le même modèle, qui renvoie des réponses structurées.
Ce qui rend cela intéressant n’est pas à lui seul le qualificatif « omni » — de nombreux laboratoires proposent aujourd’hui des modèles multimodaux. Ce qui distingue Nemotron 3 Nano Omni, c’est qu’il réalise cette tâche avec seulement 3 milliards de paramètres actifs sur environ 30 milliards au total, sous une licence commerciale véritablement ouverte, les poids étant disponibles sur Hugging Face. Autrement dit : une fonctionnalité multimodale de pointe, dans une taille et sous une licence permettant effectivement à un développeur individuel ou à une petite entreprise de le déployer et de s’y appuyer.
Ce guide analyse ce qu’est ce modèle, comment son architecture parvient à rester si efficace, ses performances réelles sur des benchmarks concrets, et — question primordiale pour nos lecteurs — ce qu’il faut réellement pour l’exécuter.
Points clés
- Conception 30B-A3B — environ 30 milliards de paramètres au total, mais seulement ~3 milliards de paramètres actifs par token, ce qui permet de l’exécuter à bien moindre coût que ne le laisse supposer sa taille nominale.
- Vraiment multimodal — texte, images, audio (jusqu’à ~1 heure) et vidéo (jusqu’à ~2 minutes) en entrée ; texte en sortie.
- Hybride MoE Mamba-Transformer — les couches Mamba traitent efficacement les longs contextes ; les couches Transformer combinées à un mélange d’experts (mixture-of-experts) assurent le raisonnement.
- Contexte de 256 000 jetons, appel de fonctions, sortie JSON et chaîne de raisonnement (chain-of-thought), voire horodatages audio au niveau du mot.
- Ouvert et commercial — Accord NVIDIA Open Model ; poids disponibles sur Hugging Face, test gratuits possibles sur OpenRouter.
- Pas un modèle destiné aux GPU peu puissants — la version multimodale nécessite réellement une RTX 5090 avec 32 Go de VRAM (quantification 4 bits) ou une carte professionnelle / pour centre de données disposant de 48 à 80 Go de VRAM.
Qu’est-ce que Nemotron 3 Nano Omni ?
Nemotron 3 Nano Omni est le modèle ouvert de raisonnement multimodal de NVIDIA — membre « Omni » de la famille Nemotron 3 Nano. Son nom reflète ses trois caractéristiques fondamentales. Nemotron 3 est la troisième génération de modèles ouverts de NVIDIA. Nano signale le niveau d'efficacité — suffisamment petit pour être auto-hébergé, et pas un modèle réservé aux énormes centres de données. Omni est le point central : il comprend nativement quatre types d'entrées — texte, images, audio et vidéo — au sein d'une seule boucle de raisonnement unifiée, plutôt que de chaîner plusieurs modèles spécialisés séparés.
Ce dernier point constitue la véritable nouveauté. La méthode habituelle pour construire un système capable de « regarder une vidéo et d’y répondre » consiste en un pipeline : un modèle transcrit l’audio, un autre génère des légendes pour les images fixes, un troisième analyse le texte, et un modèle de langage assemble les résultats. Chaque étape ajoute de la latence, des coûts et un risque de perte d’information. Nemotron 3 Nano Omni compresse ce pipeline en un seul modèle qui perçoit simultanément tous les flux. NVIDIA le présente comme le « sous-agent de perception multimodale et de contexte » au sein de systèmes agents plus vastes — la composante qui regarde, écoute et lit afin que le reste de l’agent puisse agir.
Et il y parvient tout en restant compact là où cela compte. Bien qu’il comporte environ 30 milliards de paramètres au total, seuls environ 3 milliards sont activés pour chaque jeton. C’est là la clé qui rend l’ensemble pratique, et il est utile de comprendre pourquoi.
L’architecture : pourquoi est-elle si efficace ?
Deux choix architecturaux permettent à Nemotron 3 Nano Omni de surpasser sa catégorie en termes de performances.
Un socle hybride Mamba-Transformer. La plupart des modèles de langage reposent exclusivement sur l’architecture Transformer, excellente pour le raisonnement mais coûteuse à mesure que le contexte s’allonge — le coût de l’attention augmente quadratiquement avec la longueur de la séquence. Nemotron 3 Nano Omni entrelace des couches Mamba (basées sur un espace d’état sélectif) avec des couches Transformer. Les couches Mamba traitent efficacement les séquences longues et leur mémoire ; les couches Transformer assurent le raisonnement précis. NVIDIA cite jusqu’à 4 fois meilleure efficacité mémoire et calculatoire grâce à cette hybridation comparée à un modèle purement Transformer équivalent — un avantage déterminant lorsque l’entrée peut être une heure d’audio ou un document de 256 K jetons.
Une pile de couches mixture-of-experts (MoE). Au lieu d'exécuter chaque paramètre sur chaque token, le modèle achemine chaque token vers un petit sous-ensemble de sous-réseaux « experts ». Seuls ~3B des ~30B paramètres s'activent par token. Vous obtenez la capacité de connaissance d'un modèle 30B avec approximativement le coût d'inférence d'un modèle 3B. C'est le même jeu d'efficacité derrière d'autres modèles ouverts modernes comme GLM 5.2 et Kimi K2.7 Code — si vous voulez comprendre la mécanique plus profonde, notre explication sur comment fonctionnent les modèles mixture-of-experts couvre le routage en langage clair.
Au-dessus de ce squelette linguistique se trouvent deux encodeurs spécialisés qui donnent au modèle ses sens :
- Vision : un C-RADIOv4-H encodeur avec convolutions 3D pour le traitement spatio-temporel, plus une couche Efficient Video Sampling (EVS) afin que la vidéo ne fasse pas exploser le budget de tokens.
- Audio : un encodeur NVIDIA Parakeet , qui traite la parole et l'audio général et produit même des horodatages au niveau des mots.
Le résultat est un modèle unique qui prend des pixels, des formes d'onde et du texte et les transforme en une représentation interne partagée sur laquelle il peut raisonner ensemble.
Ce qu’il peut réellement faire
Sur le papier, « multimodal » peut signifier presque n'importe quoi, donc voici les capacités concrètes que NVIDIA documente pour Nemotron 3 Nano Omni :
- Entrées : texte ; images (RGB) ; audio au format WAV ou MP3 jusqu'à environ une heure; et vidéo au format MP4 jusqu'à environ deux minutes.
- Sortie : texte — mais du texte enrichi. Il peut émettre du JSONstructuré, afficher son raisonnement en chaîne de pensée, effectuer des appels d'outilset ajouter des horodatages au niveau des mots à l'audio qu'il transcrit.
- Fenêtre de contexte : 256K tokens, avec longueur de contexte augmentée progressivement pendant l'entraînement (approximativement 16K → 49K → 262K). C'est suffisant pour tenir un long contrat, une longue transcription ou une base de code importante en une seule passe — la même capacité de contexte long qui rend les bases de données vectorielles et pipelines RAG moins nécessaires pour les documents de taille moyenne.
NVIDIA positionne les cas d'usage pratiques autour de la document intelligence (lecture de contrats, formulaires et pages numérisées avec OCR), média et divertissement (analyse de vidéo et de parole), service client, et automatisation GUI — un agent qui peut regarder un écran et décider sur quoi cliquer. Le fil conducteur est perception: les tâches où le modèle doit comprendre des entrées réelles désordonnées avant de pouvoir faire quoi que ce soit d'utile.
Benchmarks : quelle est sa véritable performance ?
Les chiffres de référence changent à chaque version, alors traitez ceux-ci comme un instantané plutôt que comme parole d'Évangile. Cela dit, l'image est cohérente : Nemotron 3 Nano Omni domine ou égale des modèles beaucoup plus grands sur les tâches lourdes en perception, et il l'emporte décisivement sur l'efficacité.
Scores sélectionnés que NVIDIA rapporte pour le modèle :
| Référence | Ce qu'elle mesure | Score |
|---|---|---|
| OCRBench V2 | Lecture de texte dans des images/documents | 67.04 |
| CV-Bench 2D | Ancrage visuel | 83.95 |
| Video-MME | Compréhension vidéo | 72.2 |
| OSWorld | Agents d'utilisation informatique / GUI | 47.4 |
| Speech IF | Suivi d'instructions parlées | 89.39 |
Au-delà de cela, NVIDIA rapporte une précision de meilleure classe sur des classements documentaires comme MMLongBench-Doc et des résultats leader dans la catégorie sur WorldSense et DailyOmni les benchmarks vidéo et audio et la suite VoiceBench audio.
C'est sur l'efficacité que le modèle se démarque vraiment. NVIDIA cite approximativement 9,2× plus grande capacité système effective sur les charges de travail de raisonnement vidéo et environ 7,4× sur les tâches multi-documents, par rapport aux alternatives comparables — et sur un benchmark de tagging vidéo, il a traité le plus de vidéo par heure au coût d'inférence le plus faible de tous les modèles testés, open source ou propriétaires. Le chiffre clé ailleurs dans les documents NVIDIA est jusqu'à 9× plus de débit et 2,9× plus rapide pour le raisonnement en flux unique sur les cas d'usage multimodaux. Même si les chiffres réels s'avèrent plus faibles, la direction est claire : ce modèle est conçu pour être bon marché à servir à grande échelle, ce qui est exactement ce dont a besoin un agent de perception toujours actif.
La limite honnête : ce sont les propres benchmarks de NVIDIA, et « meilleure classe pour un modèle multimodal open de sa catégorie de taille » n'est pas la même chose que « surpasse tous les modèles de frontière fermés en tout ». Pour le raisonnement large et ouvert, les plus grands modèles propriétaires ont encore une longueur d'avance. L'argument de Nemotron 3 Nano Omni est efficacité plus ouverture, pas la suprématie de frontière brute.
Peut-on l’exécuter localement ? Exigences en VRAM et matériel
Voici où les attentes ont besoin d'un contrôle de réalité. Nemotron 3 Nano Omni est « petit » par rapport à un modèle de frontière de plus de 100B, mais c'est un multimodal 30B, et la version Omni est plus lourd à exécuter qu'un modèle texte uniquement du même nombre de paramètres. NVIDIA publie trois variantes quantifiées avec des planchers matériels concrets :
| Précision | taille du modèle | GPU minimum de NVIDIA |
|---|---|---|
| BF16 (complet) | ~62 GB | 1× H100 80GB ou 1× B200 |
| FP8 | ~33 Go | 1× L40S 48GB |
| NVFP4 (4-bit) | ~21 GB | 1× RTX 5090 32GB |
Lisez cette dernière ligne attentivement, car c'est celle qui intéressera la plupart des gens. Les poids NVFP4 4-bit font environ 21 GB — mais le minimum indiqué par NVIDIA est un RTX 5090 32GB, pas une carte 24GB. Cet écart représente la surcharge multimodale : les encodeurs de vision et audio, le cache KV, et un contexte long ont tous besoin d'espace supplémentaire en plus des poids. En pratique, cela signifie qu'une RTX 4090 est marginale au mieux pour la variante Omni, et que les GPU de jeu typiques 8–16GB sont exclus du modèle multimodal complet.
Si votre objectif est simplement « exécuter un Nemotron efficace sur une carte moins puissante », la solution mieux adaptée est le Nemotron 3 Nano textuel (non Omni) que la communauté a déjà empaqueté sous forme de builds légers GGUF, exécutables sur du matériel bien plus modeste — au prix de renoncer aux capacités visuelles, audio et vidéo. Pour une introduction à l’adéquation entre taille de modèle et carte graphique, consultez notre guide sur la quantité de VRAM requise par chaque grand modèle linguistique (LLM) et nos sélections pour les meilleurs GPUs pour les LLMs locaux.
Comment l’exécuter — et où l’obtenir
Vous avez trois voies réalistes, selon que vous souhaitez essayer le modèle ou déployer en production.
1. Essayez-le gratuitement, sans matériel spécifique. La méthode la plus rapide pour découvrir ses capacités consiste à utiliser OpenRouter, qui héberge le modèle avec un niveau gratuit. Vous pouvez également y accéder via l’API hébergée de NVIDIA. Idéal pour évaluer la qualité avant de vous engager dans une infrastructure dédiée.
2. Hébergement local en production. NVIDIA le fournit sous forme de microservice NIM, et il est pris en charge par les frameworks sérieux d’inférence — vLLM, SGLang et TensorRT-LLM —, ce qui vous permet de l’exécuter efficacement sur une carte H100, L40S ou RTX 5090. C’est la solution privilégiée par les équipes qui exigent un contrôle total des données et des coûts prévisibles à grande échelle.
3. Exécution locale sur poste de travail. La prise en charge dans des outils grand public comme LM Studio, Ollama, et llama.cpp s’améliore progressivement — simple à mettre en œuvre aujourd’hui pour la version textuelle uniquement de Nemotron 3 Nano, tandis que le support complet multimodal (Omni) arrivera au fur et à mesure que ces environnements s’adapteront aux nouveaux encodeurs. Si vous débutez en inférence locale, commencez par notre guide complet de LM Studio ou par notre comparatif des Ollama contre LM Studio contre vLLM contre llama.cpp outils disponibles afin de choisir celui qui vous convient le mieux.
Les poids du modèle sont disponibles sur Hugging Face, au sein de l’organisation officielle nvidia/ , dans les versions BF16, FP8 et NVFP4.
Licence et usage commercial
C’est l’un des principaux atouts de Nemotron 3 Nano Omni. Il est publié sous l’ Accord open source NVIDIA (NVIDIA Open Model Agreement) (licence Nemotron Open Model License), qui autorise l’usage commercial. Vous pouvez l’héberger localement, le fine-tuner — la famille Nemotron est livrée avec des recettes d’entraînement ouvertes, et des outils comme Unsloth prennent déjà en charge son affinage — et l’intégrer à un produit commercial, tout en conservant vos données sur votre propre infrastructure.
Cette combinaison de poids ouverts et de licence commerciale permissive en fait une alternative crédible aux API multimodales fermées pour les entreprises qui ne peuvent pas, ou ne veulent pas, envoyer de documents sensibles, d’enregistrements téléphoniques ou de vidéos vers un point de terminaison tiers.
Pour qui est-il adapté — et pour qui ne l’est-il pas ?
- Les concepteurs d’agents ayant besoin d’une couche de perception peu coûteuse et rapide — capable de lire des documents, visionner de courts extraits vidéo ou transcrire des appels dans le cadre d’un système plus vaste — constituent le public cible. C’est précisément ce cas d’usage qu’a conçu NVIDIA.
- Les entreprises nécessitant une IA multimodale sur site avec un contrôle strict des données disposent désormais d’une option ouverte et commercialement licenciée, compétitive face aux API fermées sur les tâches de perception essentielles.
- Les développeurs disposant d’une carte graphique de 32 Go ou plus (RTX 5090 ou cartes professionnelles / data-center) peuvent héberger localement le modèle Omni complet et développer dessus.
- Les passionnés équipés de cartes graphiques grand public de 8 à 16 Go doivent modérer leurs attentes : le modèle multimodal complet n’est pas adapté à leur carte. Privilégiez plutôt la version textuelle uniquement de Nemotron 3 Nano, ou des modèles multimodaux plus légers.
- Toute personne recherchant simplement le meilleur chatbot conversationnel ouvert sera probablement plus satisfaite avec un modèle général plus volumineux — l’avantage de Nemotron 3 Nano Omni réside dans la perception et l’efficacité, non dans le raisonnement conversationnel généralisé.
FAQ
Nemotron 3 Nano Omni est-il gratuit ?
Les poids sont librement accessibles sous l’Accord NVIDIA sur les modèles ouverts, qui autorise l’usage commercial, et vous pouvez tester le modèle gratuitement sur OpenRouter. Le terme « gratuit » pour l’hébergement local signifie néanmoins que vous devrez assumer le coût de la carte GPU nécessaire à son exécution — mais aucune redevance de licence ni aucun coût par jeton ne s’applique si vous l’hébergez vous-même.
Quels types d’entrées Nemotron 3 Nano Omni peut-il accepter ?
Du texte, des images, de l’audio (WAV/MP3 jusqu’à environ une heure) et de la vidéo (MP4 jusqu’à environ deux minutes), le tout dans une seule boucle de raisonnement. En sortie, il génère du texte, notamment du JSON structuré, des appels d’outils, un raisonnement pas à pas (chain-of-thought) et des horodatages au niveau du mot pour l’audio.
De combien de VRAM ai-je besoin pour l’exécuter ?
Cela dépend de la précision utilisée. La version 4 bits NVFP4 (~21 Go) requiert au minimum une RTX 5090 de 32 Go ; la version FP8 (~33 Go) nécessite une L40S de 48 Go ; quant à la version complète BF16 (~62 Go), elle exige une H100 de 80 Go ou une B200. Les encodeurs multimodaux et le contexte long ajoutent une surcharge supplémentaire au-delà de la taille brute des poids.
Puis-je l’exécuter sur une RTX 4090 ou une carte de 8 Go ?
Pour le modèle multimodal Omni complet, la réponse est réaliste : non — une RTX 4090 de 24 Go se situe à la limite, et les cartes de 8 Go sont exclues. Si vous avez besoin d’une version de Nemotron fonctionnant sur du matériel moins puissant, utilisez la version textuelle uniquement de Nemotron 3 Nano (disponible en versions communautaires GGUF), en acceptant de sacrifier les capacités visuelles, audio et vidéo.
Est-il meilleur que les modèles multimodaux fermés comme GPT ou Gemini ?
Sur les benchmarks ouverts multimodaux portant sur les documents, la vidéo et l’audio — et surtout en termes d’efficacité — il devance ou égale des modèles bien plus volumineux de sa catégorie. Toutefois, les plus grands modèles fermés de pointe restent supérieurs pour le raisonnement généralisé et ouvert. Son véritable avantage réside dans l’exécution rapide, économique et ouverte de tâches de perception.
À quoi sert concrètement Nemotron 3 Nano Omni ?
NVIDIA le décrit comme le « sous-agent de perception et de contexte multimodal » au sein des systèmes agents — le composant chargé de lire des documents, visionner des vidéos et écouter des enregistrements audio afin qu’un agent plus vaste puisse décider de la suite des actions. Pensez à l’intelligence documentaire, à l’analyse multimédia ou à l’automatisation d’interfaces graphiques, plutôt qu’à un chatbot généraliste.
Conclusion
Nemotron 3 Nano Omni est une sortie précise et ciblée. Il ne cherche pas à être le modèle le plus intelligent au monde ; il vise à devenir la solution la plus efficace pour doter un système d’IA de véritables sens — vue, ouïe et lecture — dans un seul paquet ouvert et auto-hébergeable. Sa conception MoE (mixture-of-experts) de 30 milliards de paramètres avec 3 milliards actifs, combinée à son architecture hybride Mamba-Transformer, rend effectivement abordable son déploiement, tandis que sa licence commerciale ouverte en garantit l’utilisation réelle dans un produit.
Il faut garder à l’esprit un point crucial : les exigences matérielles. Ce modèle est « nano » par rapport aux modèles de pointe, pas par rapport aux PC de jeu — la version multimodale complète requiert une RTX 5090 de 32 Go ou supérieure. Si vous disposez de cette carte et que vous développez une application nécessitant une perception économique du monde réel, Nemotron 3 Nano Omni est l’un des modèles ouverts les plus convaincants de 2026. Si vous recherchez simplement un petit chatbot pour un ordinateur portable équipé d’une carte graphique de 8 Go, ce modèle ne vous convient pas — mais sa version textuelle uniquement pourrait parfaitement répondre à vos besoins.