Le Deep Learning et l’infrarouge au service de la voiture autonome

22 mars 2018, un véhicule autonome de la société Uber provoque le premier accident mortel imputable à une voiture sans conducteur. La victime, une cycliste, se fait renverser par l’automobile, de nuit. Il faut dire qu’en visionnant la vidéo de l’accident, on n’aperçoit le piéton qu’au dernier moment (1).

Une question se pose alors, pourquoi cette cycliste n’a-t-elle pas été détectée ? La réponse est saisissante, puisqu’il apparaît après enquête que le véhicule a bien détecté la piétonne poussant son vélo, mais que le véhicule a « choisi » de l’ignorer. La cause ? Un mauvais réglage du seuil de détection, pour éviter d’avoir trop de fausses détections.

Toutefois, en améliorant la fiabilité et la rapidité de la détection, cet accident aurait pu être évité. Si le piéton avait été détecté plus tôt et de manière plus précise, la voiture aurait eu le temps d’analyser correctement la situation et n’aurait pas considéré le piéton comme un faux positif.

Mais alors, comment améliorer la fiabilité et la rapidité de la détection de piétons ? Nous allons voir, au travers de cet article, comment Neovision et Ulis ont répondu à cette question en alliant leurs expertises respectives (l’intelligence artificielle et l’infrarouge), faisant ainsi avancer le domaine ADAS (Advanced driver-assistance systems). Ces travaux de recherche ont été publiés à SIA VISION 2018, salon international de l’automobile (2).

Fusion de capteurs visible et infrarouge

L’infrarouge apparaît donc comme la solution optimale pour voir des humains lorsque la luminosité est mauvaise. Toutefois, cette technologie s’avère beaucoup moins utile face à une forte luminosité ou lorsque les températures augmentent. En effet, il devient vite compliqué de distinguer un humain d’une surface proche de 37°C (une voiture par exemple, un poteau en métal, etc.).

Face à ce constat, une solution se dessine : faire de la fusion de données entre les images des domaines visible et infrarouge. En effet, l’infrarouge permet de faire ressortir les piétons dans la pénombre tandis que le visible permet de les détecter dans des bonnes conditions de visibilité, même en cas de fortes chaleurs. En couplant les deux technologies, la détection des piétons devient plus fiable et rapide.

Création du jeu de données

Acquisition des images

S’il existe de nombreux jeux de données pour la détection de piétons dans le domaine du visible, ce n’est pas le cas pour l’infrarouge.

Il était donc nécessaire de créer un tout nouveau jeu de données. Pour cela, les deux capteurs (visible et infrarouge) ont été placées côte à côte dans un boîtier les isolant du monde extérieur. Par ailleurs, un déclencheur électronique liant le capteur infrarouge à la caméra visible, a permis de capturer les deux flux d’images de manière synchrone. Les images ont été directement enregistrées sur le disque dur d’un ordinateur portable embarqué dans la voiture.

Afin d’avoir des données réelles, le système a été installé sur un véhicule qui a circulé dans la région de Grenoble, de jour et de nuit.

Description du jeu de données

Deux sessions d’acquisition ont ainsi abouti à la création de deux jeux de données. Ceux-ci contiennent environ six heures de capture d’images infrarouges et visibles alignées, à raison de 30 images par seconde. Ces jeux de données prennent donc la forme de vidéos du centre ville de Grenoble et de routes rurales, de jour et de nuit. De ces vidéos, 5508 images ont été sélectionnées (avec un maximum de trois images par seconde de vidéo) et annotées manuellement, une tâche cruciale bien que fastidieuse.

Choix de l’architecture du réseau de neurones

Au regard de ses résultats à l’état de l’art et de sa simplicité, l’architecture RetinaNet (4) a été retenue pour servir de base pour ce projet. Il s’agit là d’une architecture faisant partie de la famille des SSD (« Single Shot Detectors » ou « Détecteur à coup unique » pour une traduction mot à mot).

Ces architectures sont capables de prédire si un objet (ici un humain) est présent dans de nombreuses zones de l’images. Ces zones (boîtes englobantes), de différentes échelles et ratios, sont distribuées sur une grille appliquée sur l’image. Le réseau de neurone est également entraîné à prédire la correction de ces boîtes pour qu’elles s’adaptent plus finement à l’objet détecté.

Pour être plus précis, l’architecture choisie est celle de RetinaNet basée sur ResNet-50 pré-entraîné sur le jeu de données COCO (5). Ce dernier, spécialement conçu pour la détection d’objets, contient notamment une classe « personne ».

Méthodologie d’entraînement

Le but étant d’évaluer l’apport de l’infrarouge par rapport au domaine du visible dans les mêmes conditions, la même architecture a été retenue pour les deux domaines.

Ainsi, et puisque l’architecture prend des images visibles en entrée, les images infrarouges ont été converties en images RVB (Rouge Vert Bleu) en utilisant la correspondance colorimétrique inferno colormap (6). Dans un second temps, les images infrarouges (320×240 pixels) ont été redimensionnées pour correspondre à la taille des images visibles (1280×1024 pixels). Par ailleurs, les mêmes hyper-paramètres et schémas d’augmentation de données ont servi à entraîner tous les réseaux.

Enfin, pour évaluer l’intérêt de coupler les deux capteurs, une méthode naïve a été retenue. Cette dernière consiste à entraîner et évaluer les réseaux sur les images multispectrales (images composites mixant visible et infrarouge) également utilisées pour l’annotation manuelle.

Résultats

Pour évaluer les résultats obtenus, la méthodologie de Pascal VOC a été utilisée (7). La précision moyenne correspondant à l’air sous la courbe Precision-Recall (8) est utilisée comme métrique. Une précision moyenne de 1 correspond à une détection parfaite sur l’ensemble du jeu de données. Cette courbe se calcule en comparant les résultats obtenus à l’annotation faite manuellement, aussi appelée vérité terrain.

Une détection est jugée comme correcte dès lors que la boîte englobante prédite et similaire à celle annotée. L’intersection sur l’union entre la boîte englobante prédite et la boîte véritée terrain est utilisé comme métrique de similarité. Ainsi la précision moyenne correspond à une intersection sur l’union dont le quotient est de 0,5.

Infrarouge et visible excellent dans des conditions différentes : en journée pour le visible et de nuit pour l’infrarouge. En effet, on remarque que le contraste entre les piétons et leur environnement

proche est un élément clé pour les détecter. Pour le visible, les meilleures conditions correspondent aux situations de jour à bonne visibilité. À contrario, pour l’infrarouge, les période nocturnes sont idéales puisque l’environnement proche est froid, faisant bien ressortir les piétons. Les deux domaines sont donc bien complémentaires.

Cette complémentarité est renforcée et prouvée par les bons résultats obtenus par les algorithmes sur les données multispectrales. Effectivement, il s’agit là de la méthode apportant les meilleures performances, améliorant la précision moyenne de 11%, de jour comme de nuit.