PROBLÉMATIQUE 

STMicroelectronics est un leader mondial dans la production de semi-conducteurs utilisés dans divers secteurs tels que l’automobile, l’industrie, l’Internet des objets et les infrastructures de communication. Le processus de fabrication nécessite des installations hautement technologiques, telles que des salles blanches automatisées, pour prévenir la contamination des puces électroniques. Pour garantir la qualité des produits, la présence humaine dans ces usines est limitée au maximum.

Avec une demande en croissance, il devient nécessaire d’automatiser le contrôle qualité de la production. En particulier, STMicroelectronics a besoin de détecter les potentiels défauts de fabrication aussi tôt que possible. Après la phase initiale de production des wafers, les plaques de silicium sont découpées et montées dans des boitiers. Des défauts peuvent alors apparaître et sont critiques car ils peuvent impacter le fonctionnement des puces, ou réduire la durée de vie des produits.

STMicroelectronics utilise des microscopes de haute précision pour capturer des images qui sont de très haute résolution (50 microns) et de très grande taille (6100×6100 pixels), montrant des défauts minuscules de quelques pixels, la réduction des images est impossible, et la quantité d’images disponible est limitée.

L’entreprise a entrepris de développer une intelligence artificielle (IA) pour détecter ces défauts, mais plusieurs problèmes sont apparus. La taille considérable des images pose des problèmes de mémoire lors de l’entraînement de l’IA. De plus, la création d’un ensemble de données d’entraînement est laborieuse en raison du grand nombre de petits défauts à annoter sur chaque image. Enfin, la quantité limitée de données disponibles pose un défi pour créer une IA performante et robuste.

CLIENT

STMicroelectronics, Crolles (FRANCE) 

SOLUTION APPORTÉE

Pour traiter les difficultés liées aux données, Neovision a proposé une méthode pour automatiser l’annotation des données et une autre pour générer artificiellement des nouvelles données, ce qui a augmenté significativement le nombre de données d’entraînement.

Pour traiter les problèmes de mémoire, Neovision a proposé des outils et méthodes pour entraîner une IA sur des images de très grande dimension sans perte de précision.

Enfin, pour optimiser les performances globales, Neovision a proposé une méthode pour trouver les meilleurs paramètres du réseau de neurones utilisé pour détecter les défauts.

BÉNÉFICE CLIENT

Cette collaboration a permis le développement d’une IA de détection de défauts robuste et performante. L’expertise de Neovision a permis à STMicroelectronics d’intégrer des outils, méthodes et algorithmes à l’état de l’art ce qui a contribué à améliorer le savoir-faire de ses équipes et la performance de son processus de contrôle qualité.

Cette collaboration a permis d’automatiser la détection de certains défauts critiques. Cela se traduit par une amélioration de la qualité des produits de STMicroelectronics et une augmentation de l’efficacité de sa production.

RÉALISATION

L’utilisation d’un modèle de segmentation sémantique d’images a joué un rôle clé dans ce projet. Il a d’abord permis l’automatisation de l’annotation des données.

Le modèle a été sélectionné pour sa capacité à travailler avec un volume limité de données. Pré-entraîné sur une très grande variété d’objets, ce modèle est générique et n’est pas optimisé pour fonctionner sur les défauts des plaques de silicium. Neovision a donc optimisé ce modèle pour fonctionner sur les défauts de STMicroelectronics en utilisant du fine-tuning. Il a ainsi permis d’annoter les défauts de manière automatique.

Annotation manuelle par bounding box des défauts

Pour pallier le manque d’images d’entraînement, une IA Générative a été développée. Elle consiste en une méthode de simulation artificielle de données où nous avons créé des images automatiquement annotées en partant d’une image sans défaut et en y ajoutant des défauts aléatoires avec des densité, taille et intensité variables. Cela a permis de multiplier par dix la taille de la base d’entraînement.

Exemple de petits défauts simulés

Pour la gestion des petits objets, la méthode utilisée consiste à effectuer un zoom sur l’objet d’intérêt au lieu d’envoyer l’image entière au réseau. L’image est découpée en de petits patchs de haute résolution, et l’entraînement se fait sur ces fragments. Les inférences sont ensuite fusionnées.

Séparation des défauts en sous-images croppées

Enfin, l’algorithme de segmentation sémantique a été entraîné sur l’ensemble des données réelles et simulées. Une fonction de coût adaptée pour la segmentation a été choisie et des méthodes d’optimisation stochastique ont été utilisées pour trouver les meilleurs paramètres du modèle.

Résultats des algorithmes de détection

TECHNOLOGIES & EXPERTISES ASSOCIÉES

Génération de données, IA Générative, Segmentation d’image, Deep learning, Fine tuning

TEMOIGNAGE

« L’apport de Neovision a été significatif dans l’avancement des projets sur plusieurs aspects.

La connaissance du domaine et la veille technologique mises à disposition par Neovision ont permis de tester des solutions innovantes qui ont d’ores et déjà abouti à l’optimisation souhaitée.

L’expertise Neovision nous a permis d’élargir les possibilités d’investigation avec des conseils adaptés au niveau souhaité. Pour finir, la tenue des délais pour les livraisons et la notion de partage et collaboration sont deux points très appréciés. »

Loïc Rolland, Manufacturing Data & Analytics,
Technology Solutions