VÉHICULE AUTONOME – DÉTECTION DE PIÉTONS

LYNRED


DÉTECTION DE PIÉTONS – VÉHICULE AUTONOME

PROBLÉMATIQUE

Avec en ligne de mire SIA VISION 2018 (Salon International de l’Automobile), Lynred souhaitait démontrer que l’intégration de technologies infrarouges dans le véhicule autonome pouvait être pertinente. Pour cela, Lynred a ciblé un cas d’usage très concret : la détection des piétons. Une dimension qui pose question à l’heure de se projeter dans l’ère du véhicule autonome.

CLIENT

LYNRED  Veurey-Voroize (FRANCE)

Logo Lynred

SOLUTION APPORTÉE

Neovision a construit une base de données inédites (d’images RGB infrarouges, et composites) puis a exploité ce jeu de données. Par la suite, Neovision a conçu et développé des algorithmes de Deep Learning capable de détecter les piétons, et ce quelle que soient les conditions de luminosité.

BÉNÉFICE CLIENT

Suite aux travaux de Neovision, Lynred a pu présenter un papier de recherche appliquée industrielle lors du SIA Vision 2018. Ce papier met en avant l’intérêt d’avoir recours à l’infrarouge et d’appliquer des algorithmes de Deep Learning pour détecter les piétons. Lynred s’ouvre ainsi les portes du marché automobile.

RÉALISATION

Si le véhicule autonome embarque de nombreuses technologies de perception (capteurs optiques, radars, lidars, etc.), une problématique reste sans réponse. Que se passe-t-il lors la visibilité diminue grandement ? Les technologies citées précédemment se retrouvent inefficaces.

De ce constat est né une idée. Pourquoi ne pas intégrer de capteurs infrarouges ? Ces derniers sont en effet capables de faire ressortir les piétons grâce à leur empreinte thermique. Par ailleurs, et a contrario des caméras classiques, l’infrarouge reste insensible aux variations de luminosité.

Toutefois, l’infrarouge n’est pas une solution miracle. Lorsque les températures augmentent, il devient difficile de distinguer un humain se tenant devant une surface chaude. C’est pourquoi Neovision a décidé d’allier au capteur infrarouge un caméra RGB classique. Avec cette installation, les piétons peuvent être reconnus en toutes conditions lumineuses.

Le dispositif d’acquisition des données était donc bien défini. Ne restait plus qu’à procéder à l’acquisition. Pour cela, Neovision installa le dispositif sur un VTC qui roula dans les rues de Grenoble de jour comme de nuit. Les deux capteurs enregistraient simultanément des images visibles et infrarouges alignées. Finalement, Neovision disposait d’environ 6 heures de captures d’images parmi lesquelles 5508 images ont été sélectionnées et annotées à la main (une tâche aussi cruciale que fastidieuse). Cette annotation a été réalisée avec la plus grande minutie sur des images multispectrales, obtenues par la superposition des images visibles et infrarouges.

Les données étant structurées et correctement annotées, ne restait plus qu’à les exploiter. Pour cela, Neovision s’orienta vers les CNN (Convolutionnal Neural Network) et plus particulièrement l’architecture RetinaNet (faisant partie des SSD (Single Shot Detectors). Une solution retenue pour sa simplicité et ses résultats à l’état de l’art. Pour être encore plus précis, l’architecture sélectionnée est donc celle de RetinaNet basée sur ResNet-50 pré-entraîné sur le jeu de données COCO.

Cette architecture ne prenant en entrée que des images visibles, les images infrarouges ont été converties en images RVB (Rouge, Vert, Bleu) via la correspondance colorimétrique inferno colormap. Par la suite, Neovision a redimensionné ces mêmes images infrarouges pour les faire correspondre à la taille des images visibles. Par la suite, en fusionnant ces images, Neovision a obtenu des images multispectrales. Neovision avait donc 3 jeux de données sur lesquels entraîner les algorithmes de Deep Learning.

a la suite de l’entraînement, Neovision a procédé à une validation des résultats. Et comme nous pouvions nous y attendre, si le visible excelle en journée et l’infrarouge de nuit, la méthode multispectrale prend le meilleurs des deux technologies. Effectivement, les algorithmes ont obtenu les meilleurs résultats sur ces images. Et ces derniers améliorent ainsi la précision moyenne de 11%, de jour comme de nuit !

Malgré un jeu de données réduit, ces travaux mettent en lumière que l’ajout d’un capteur infrarouge à une caméra visible améliore nettement la détection de personnes. Une manière d’innover sans forcément ré-inventer l’eau chaude !

Détection piétons image visible
Détection de piétons sur des images visibles
Détection de piétons sur des images infrarouges
Détection de piétons sur des images infrarouges
Détection de piétons sur des images composites
Détection de piétons sur des images composites

TECHNOLOGIES & EXPERTISES ASSOCIÉES

COMPUTER VISION, DEEP LEARNING, R&D

Date

7 avril 2020

Category

Computer Vision, Deep Learning, R&D

Neovision © 2020