PROBLÉMATIQUE

La tendance récente propose d’embarquer les algorithmes de deep learning. Suivant cette tendance, STMicroelectronics voulait démontrer qu’il est possible d’embarquer de tels algorithmes sur ses produits, grâce, notamment, à un composant dédié à l’accélération de réseaux de neurones. À ces fins, l’objectif fut de développer une technologie IA embarquée et fonctionnelle. Tout en prenant en compte de nombreuses contraintes : mémoire limitée, faible puissance de calcul, adaptation d’un modèle récent, acquisition d’une base d’images conséquente mais aussi un timing très serré…

CLIENT

STMICROELECTRONICS  Grenoble (FRANCE)

SOLUTION APPORTÉE

Après avoir conseillé STMicroelectronics dans la conception d’un accélérateur de réseaux de neurones, Neovision a développé un algorithme de détection et de comptage de personnes embarqué sur un microcontrôleur basse consommation. La solution a ensuite été présentée au Mobile World Congress 2018 à Barcelone sur le stand de STMicroelectronics.

BÉNÉFICE CLIENT

Tout au long du projet, Neovision et STMicroelectronics ont collaboré pour développer un écosystème de travail où les expertises complémentaires de Neovision et de STMicroelectronics étaient utilisées au mieux. Ce qui explique pourquoi la démonstration finale au MWC fut un succès. De ce fait, ST a ainsi pu démontrer les performances de son produit, capable d’embarquer des algorithmes de deep learning répondant à des applications concrètes. Ce projet donna ensuite lieu à un partenariat entre les deux sociétés. 

RÉALISATION

STMicroelectronics est un fabricant de composants semi-conducteurs innovants, qui plus est leader mondial sur son marché. Sentant un changement de paradigme se profiler, ils souhaitaient développer un produit permettant d’embarquer des algorithmes de deep-learning. Mais l’objectif résidait dans le fait de pouvoir faire tourner une démonstration concrète et réelle via leur innovation hardware. Néanmoins de nombreuses contraintes devaient être prises en compte.

La première contrainte consistait à réunir une base de donnée conséquente et exploitable par des algorithmes de deep learning. Effectivement, les bases de données disponibles ne ciblaient pas l’infrarouge. Pour résoudre à ce problème, Neovision a apporté son expertise et ses conseils sur la méthode d’acquisition des images infrarouges. Ces dernières seraient par la suite utilisées pour l’apprentissage du modèle. D’autre part, STMicroelectronics a fournit les ressources humaines et matérielles nécessaires pour produire une base de données diversifiée de qualité.

Le modèle de deep learning retenu se basait sur les dernières avancées dans le domaine scientifique. En effet, il utilisait les algorithmes récents de YOLO. Un algorithme reconnu pour sa rapidité de calcul appliquée à la détection d’humain dans le domaine visible. Toutefois, Neovision a dû utiliser une technique de « transfer label ». Cette dernière permettant de transposer une labellisation provenant d’images RGB sur des images infrarouge. Ainsi, ce modèle a pu traiter des images infrarouges avec les contraintes embarquées (peu de mémoire disponible, puissance de calcul limitée).

Une fois le modèle entraîné sur la base d’images capturées, ce dernier a été convertis en un graphe OpenVx. Il fut alors utilisé pour décrire des algorithmes de traitement d’image dans le framework des microcontrôleurs de STMicroelectronics.

Malgré tout, le démonstrateur était fin prêt pour le MWC 2018 et ce dernier fit son petit effet, récoltant pléthore de louanges.

Fort de cette première collaboration réussie, le lien entre STMicroelectronics et Neovision allait encore se renforcer. En effet, conscient de la valeur ajoutée apportée par Neovision, STMicroelectronics intégrait Neovision dans son réseau de partenaires. Neovision devenait ainsi « Authorized Partner » STMicroelectronics.

TECHNOLOGIES & EXPERTISES ASSOCIÉES

COMPUTER VISION, DEEP LEARNING, IA EMBARQUÉE, R&D

TÉMOIGNAGE

« L’IA embarquée va permettre la réalisation d’applications temps réel, rendre les objets autonomes, et permettre de mieux préserver les informations confidentielles en ne les exposant pas dans le cloud. L’IA embarquée va offrir des perspectives fantastiques dans tous les domaines, et désormais avec les capacités d’intégration sur silicium offertes par les procédés technologiques actuels, les fabricants de semi conducteurs, dont STMicroelectronics, sont à même de proposer des processeurs permettant d’embarquer des puissances de calcul très significatives avec des bilans énergétiques très attractifs.Les processeurs ne sont cependant qu’une partie de la solution, et il manque à la grande majorité des clients désirant développer une application intelligente une compétence essentielle, qui permet non seulement de définir les algorithmes adéquats, mais aussi de savoir les optimiser en exploitant au mieux les ressources de calculs disponibles : c’est la compétence que propose Neovision, et dont vous et vos collègues avaient fait la preuve en nous aidant à mettre en oeuvre, dans un temps record, une démonstration de Smart Office que nous souhaitions réaliser pour présenter les capacités de notre IP configurable permettant l’implémentation de réseaux de neurones.Cette démonstration a effectivement été un succès, en particulier parce qu’elle a démystifié le sujet, montré comment une problématique particulière pouvait trouver une solution accessible ! Neovision a certainement un rôle clef à jouer dans le développement de l’écosystème qui va permettre le déploiement de l’utilisation de l’IA embarquée, et ST se félicite de la collaboration engagée à l’occasion de MWC18. »

Thierry Bauchon, Directeur du site grenoblois de STMicroelectronics