Une voiture autonome est confrontée à un problème qui prime sur tous les autres : elle doit voir — et pas seulement voir, mais comprendre. Il doit savoir que la silhouette devant lui est celle d’un enfant, et non une ombre ; que la ligne sur la route marque le bord de la voie ; que la voiture à côté de lui se rapproche peu à peu. C’est le rôle de vision par ordinateur, et c'est la base sur laquelle repose tout le reste d'un véhicule autonome. Ce guide explique son fonctionnement.
Points clés
- Vision par ordinateur permet à une voiture autonome de transformer les images captées par ses caméras en une compréhension de la route.
- Le processus de perception gère la détection d'objets, la détection de voie, la profondeur et le suivi.
- Fusion de capteurs associe des caméras à un radar et (souvent) à un lidar pour garantir la fiabilité du système.
- Il fonctionne en temps réel — chaque décision se prend en une fraction de seconde.
- Il reste des cas difficiles — les intempéries, les situations inhabituelles et les événements exceptionnels constituent un défi permanent.
Le rôle de la vision par ordinateur dans une voiture
La vision par ordinateur est le domaine de l'intelligence artificielle qui permet aux machines d'extraire du sens à partir d'images et de vidéos. Pour un véhicule autonome, les caméras font office d'yeux — mais les images brutes captées par celles-ci ne sont que des pixels. C'est la vision par ordinateur qui transforme ces pixels en informations exploitables par le véhicule :
- Quels objets se trouvent autour de moi, et où ?
- Où se trouve ma voie ?
- À quelle distance se trouve cette voiture, et se dirige-t-elle vers moi ?
- Que dit ce feu tricolore ou ce panneau ?
L'ensemble de ce processus — qui consiste à transformer les données des capteurs en une compréhension de l'environnement — s'appelle perception. C'est la première étape, et la plus cruciale, de la conduite autonome. Toutes les étapes suivantes (planification de l'itinéraire, direction, freinage) dépendent de la précision de la perception.
Le processus de perception
Le système de vision d'une voiture autonome effectue plusieurs tâches simultanément, plusieurs fois par seconde. Les principales sont les suivantes :
Détection d'objets
La voiture doit détecter et identifier tous les éléments pertinents : autres véhicules, piétons, cyclistes, animaux, débris, cônes de signalisation. À l'aide de détection d'objets modèles, il trace un cadre étiqueté autour de chaque objet — quoi c'est et où C'est le cas. Il est essentiel qu'il puisse le faire pour de nombreux objets simultanément et instantanément.
Classification et suivi d'objets
La détection seule ne suffit pas. La voiture doit classer distinguer précisément les objets — un piéton se comporte très différemment d’une voiture garée — et piste les suivre d'une image à l'autre au fil du temps. C'est grâce au suivi que la voiture sait que le cycliste qu'elle a repéré il y a une seconde est bien le même cycliste à cet instant, et qu'elle peut prédire où il se trouvera ensuite.
Détection des voies et de la chaussée
La voiture doit savoir où elle peut circuler. Les systèmes de vision détectent les marquages au sol, les bords de la chaussée et la surface praticable — même lorsque les marquages sont effacés, usés ou partiellement manquants — afin de maintenir le véhicule correctement positionné.
Reconnaissance des panneaux de signalisation et des feux de signalisation
Le système détecte et interprète les feux de signalisation, les panneaux « Stop », les limitations de vitesse et autres panneaux de signalisation, ce qui permet à la voiture de respecter le code de la route.
Estimation de la profondeur
Une image de caméra « à plat » ne contient aucune information de distance, alors que la distance est essentielle pour une conduite en toute sécurité. Systèmes de vision estimer la profondeur — la distance à laquelle se trouve chaque objet — ce qui est essentiel pour évaluer les écarts, doser le freinage et éviter les collisions.
Pourquoi les caméras ne suffisent pas : la fusion de capteurs
Les caméras sont performantes, peu coûteuses et offrent un niveau de détail élevé : ce sont les seuls capteurs capables de détecter les panneaux et les feux de signalisation. Elles présentent toutefois des faiblesses : elles peinent à fonctionner dans l’obscurité, en cas d’éblouissement, de brouillard ou de forte pluie, et l’estimation de la distance exacte par rapport à une caméra n’est pas parfaite.
La plupart des systèmes de conduite autonome ne reposent donc pas uniquement sur la vision. Ils combinent plusieurs capteurs, chacun couvrant les angles morts des autres :
| Capteur | Force | Faiblesse |
|---|---|---|
| Appareils photo | Riche en détails et en couleurs, détecte les panneaux et les feux | Médiocre en cas de mauvais éclairage et de mauvaises conditions météorologiques |
| Radar | Fonctionne par tous les temps, mesure bien la vitesse | Peu de détails, forme grossière |
| Lidar | Mesure précise de la distance et de la forme en 3D | Coûteux ; peut se détériorer par mauvais temps |
Le fait de regrouper ces flux de données pour obtenir une vue d'ensemble cohérente s'appelle fusion de capteurs. En recoupant les données fournies par chaque capteur, la voiture établit une représentation de son environnement bien plus fiable que celle que pourrait fournir un seul capteur. (Les approches varient — certaines entreprises s'appuient largement sur les caméras, d'autres privilégient le lidar — mais le principe de la combinaison des sources est largement partagé.)
Tout se passe en temps réel
La contrainte déterminante de la vision pour la conduite autonome est vitesse. Une voiture roulant à vitesse d'autoroute parcourt des mètres en une fraction de seconde. L'ensemble du processus — capture d'images, détection et classification d'objets, estimation de la profondeur, fusion des données des capteurs, reconstruction de l'image — doit s'effectuer plusieurs fois par seconde, en continu, sans interruption.
C'est pourquoi les véhicules autonomes sont équipés d'ordinateurs embarqués puissants, et pourquoi les modèles d'IA sont conçus pour être à la fois précis et rapidement. Une réponse qui arrive trop tard est aussi inutile qu’une réponse erronée.
Les défis qui restent à relever
La vision par ordinateur appliquée à la conduite s'est considérablement améliorée, mais certains problèmes épineux continuent de freiner le développement de l'autonomie totale :
- Mauvais temps — Les fortes pluies, la neige, le brouillard et les reflets nuisent au bon fonctionnement des caméras et perturbent la perception.
- Cas limites — les situations rares et inhabituelles : des obstacles inhabituels, des tracés de route inhabituels, des débris, une personne se trouvant à un endroit inattendu. Un système peut très bien gérer les cas courants tout en se faisant prendre au dépourvu par les cas inhabituels.
- Prévision — Détecter un piéton est une chose ; prédire avec précision s'il va s'engager sur la chaussée en est une autre, bien plus difficile.
- Barre de fiabilité — La conduite exige une fiabilité exceptionnelle. Il ne suffit pas d’être performant “ presque toujours ” lorsque les défaillances peuvent être dangereuses.
C'est en raison de ces défis que les progrès sont progressifs plutôt que soudains, et que l'intervention humaine reste indispensable dans la plupart des systèmes.
Les réseaux neuronaux qui « voient »
Chaque étape du processus de perception — détection d'un cycliste, lecture d'un panneau, estimation de la profondeur — est le résultat d'un réseau neuronal profond. Comprendre quels types de réseaux assurent ces fonctions permet d'expliquer à la fois pourquoi les systèmes de vision des véhicules autonomes modernes sont si performants et où ils présentent encore des failles.
Pendant des années, le cheval de bataille a été le réseau neuronal convolutif (CNN). Les réseaux neuronaux convolutifs (CNN) appliquent des filtres à une image pour en extraire les contours, puis les formes, puis les objets dans leur ensemble, couche par couche. Ils sont rapides et très performants pour reconnaître quoi se trouvent dans une seule image, ce qui explique pourquoi elles constituent encore la base de la plupart des étapes de détection et de classification d'objets.
Le changement le plus marquant a été l'évolution vers transformateurs de vision et une représentation appelée vue aérienne (BEV). Au lieu de raisonner image par image, les modèles de type « transformer » utilisent un mécanisme d’auto-attention pour évaluer les relations à l’échelle de l’ensemble de la scène et dans le temps — ainsi, un piéton aperçu puis brièvement masqué derrière une camionnette continue d’être suivi. Les systèmes BEV récupèrent les flux de toutes les caméras et les fusionnent en une seule carte descendante de l’espace autour de la voiture, c’est-à-dire la vue dont un planificateur a réellement besoin pour effectuer un virage ou s’insérer dans la circulation. En pratique, les piles les plus performantes sont hybride: un réseau CNN extrait des caractéristiques de chaque caméra, puis un transformateur assemble ces caractéristiques pour former une image 3D cohérente et tenant compte du temps.
Deux choix de conception distinguent les principaux acteurs :
- Modulaire ou de bout en bout. Les architectures traditionnelles enchaînent des modules distincts, entraînés individuellement (détection, puis suivi, puis prédiction, puis planification). Tesla a réorienté son logiciel « Full Self-Driving » vers une de bout en bout réseau — parfois décrit comme un système “ photons entrants, commandes sortantes ” — dans lequel un seul système entraîné met en correspondance les pixels de la caméra directement avec les commandes de direction et d'accélérateur, en réduisant le nombre de transferts codés manuellement entre les deux étapes.
- Occupation au-dessus des caisses. Plutôt que de se contenter de tracer des cadres de délimitation autour des catégories identifiées, les systèmes les plus récents prédisent un taux d'occupation grille : quels volumes de l’espace environnant sont simplement remplis, que l’objet soit étiqueté ou non. Cela a son importance pour la “ longue traîne ” : une échelle renversée ou une remorque renversée que le modèle a rarement rencontrées sont tout de même interprétées comme « un espace impossible à traverser ».”
Le point commun, c'est que rien de tout cela n'est programmé par des règles. Ces réseaux sont tiré des données — des millions d’exemples de conduite étiquetés et en apprentissage auto-supervisé — ce qui constitue également leur limite : ils gèrent bien les situations couvertes par leur apprentissage, mais les scènes rares, inhabituelles ou délibérément déroutantes restent un véritable défi.
FAQ
Comment les voitures autonomes « voient-elles » ?
Les voitures autonomes utilisent des caméras, associées à d'autres capteurs tels que le radar et le lidar. Un logiciel de vision par ordinateur transforme les images captées par les caméras en une compréhension de l'environnement — en identifiant les objets, les voies de circulation, les panneaux de signalisation et les distances —, dans le cadre d'un processus appelé « perception ».
Qu'est-ce que la vision par ordinateur dans les véhicules autonomes ?
La vision par ordinateur est la technologie d'intelligence artificielle qui permet à une voiture autonome d'extraire des informations significatives à partir des images captées par ses caméras. Elle assure la détection, la classification et le suivi d'objets, la détection de voie, la reconnaissance des panneaux de signalisation et l'estimation de la profondeur, transformant ainsi les pixels bruts en informations dont la voiture a besoin pour rouler en toute sécurité.
Les voitures autonomes utilisent-elles uniquement des caméras ?
La plupart utilisent des caméras associées à d'autres capteurs — radar et souvent lidar — dans le cadre d'un processus appelé « fusion de capteurs ». Les caméras fournissent des détails riches et permettent de reconnaître les panneaux et les feux de signalisation ; le radar et le lidar apportent une mesure fiable des distances et fonctionnent mieux dans des conditions difficiles. Leur combinaison offre une solution plus fiable que l'utilisation des caméras seules.
Qu'est-ce que la fusion de capteurs ?
La fusion des données de capteurs consiste à combiner les données provenant de plusieurs capteurs — caméras, radars, lidars — afin d’obtenir une vision unique et cohérente de l’environnement du véhicule. Chaque capteur présentant des atouts et des limites qui lui sont propres, leur fusion permet d’obtenir une image plus fiable que celle que pourrait fournir un seul capteur pris isolément.
Pourquoi les voitures autonomes ne sont-elles pas encore omniprésentes ?
La vision par ordinateur gère bien les situations de conduite courantes, mais les “ cas limites ” rares, les intempéries et la prédiction précise du comportement humain restent très difficiles à maîtriser — alors que la conduite exige une fiabilité extrêmement élevée. Combler le fossé entre “ fonctionne presque toujours ” et “ suffisamment sûr pour inspirer une confiance totale ” constitue le principal défi qui reste à relever.
Comment l'intelligence artificielle d'une voiture autonome apprend-elle à reconnaître ce qu'elle voit ?
Les modèles de perception sont entraînés, et non codés manuellement. Les ingénieurs alimentent des réseaux neuronaux profonds avec d’énormes volumes d’enregistrements vidéo de conduite — dont une grande partie est annotée pour repérer les voitures, les piétons, les voies de circulation et les panneaux de signalisation —, et de plus en plus souvent de manière auto-supervisée, afin que le système apprenne à reconnaître les structures à partir des vidéos brutes. Au fil de nombreux cycles d’entraînement, le réseau ajuste ses poids internes jusqu’à ce que ses prédictions correspondent à la réalité. C’est pourquoi la prise en compte de scénarios rares, dits “ cas limites ”, revêt une telle importance : un modèle n’est fiable que pour les types de situations représentés dans ses données d’entraînement.
La vision par ordinateur fonctionne-t-elle toujours sous la pluie, dans le brouillard ou sous la neige ?
Ses performances se dégradent, ce qui constitue une véritable limite plutôt qu’un problème résolu. Les caméras peuvent être aveuglées par des reflets, une forte pluie, un brouillard épais ou un objectif recouvert de neige, et un système reposant uniquement sur la vision ne dispose d’aucun signal indépendant sur lequel se rabattre lorsque cela se produit. C’est là un argument central en faveur de la fusion de capteurs : le radar traverse le brouillard et la pluie qui neutralisent une caméra ; ainsi, les systèmes combinant caméras, radar et lidar restent plus fiables par mauvais temps. La plupart des systèmes limiteront la vitesse, rendront le contrôle au conducteur ou refuseront de fonctionner dans les pires conditions.
Les caméras d'une voiture autonome peuvent-elles être trompées ?
Oui, c’est pourquoi la redondance et la validation sont essentielles. Comme la perception repose sur des réseaux neuronaux entraînés, des entrées inhabituelles peuvent les induire en erreur : un éblouissement intense, un objet inhabituel que le modèle a rarement vu lors de l’entraînement, des marquages au sol effacés ou contradictoires, ou encore, dans le cadre de recherches en laboratoire, des autocollants “ adversaires ” créés délibérément. Les systèmes de production se prémunissent contre cela en combinant plusieurs capteurs et caméras, de sorte qu’aucune entrée trompeuse ne puisse à elle seule dicter la décision, et en traitant tout espace occupé inexpliqué comme un obstacle à éviter plutôt que comme un élément à ignorer.
Conclusion
La vision par ordinateur est le sens qui rend possible la conduite autonome. Grâce à une chaîne de traitement de la perception en temps réel — détection d’objets, classification, suivi, reconnaissance des voies et de la signalisation, et estimation de la profondeur —, elle transforme les flux de pixels captés par les caméras en une compréhension de la route. La fusion des données des capteurs avec celles du radar et du lidar rend cette compréhension suffisamment fiable pour permettre une prise de décision.
Cette technologie est véritablement impressionnante, et c’est grâce à elle que les véhicules autonomes fonctionnent aussi bien aujourd’hui. Le défi qui reste à relever est le plus difficile : les événements exceptionnels, les intempéries et la fiabilité quasi parfaite qu’exige une conduite sûre. C’est cette frontière que le secteur s’efforce encore de franchir.
