L’intelligence artificielle en bref ?

L’intelligence artificielle (IA) englobe un large éventail de techniques, telles que les algorithmes de machine learning et de deep learning, ainsi que la recherche opérationnelle. L’IA peut être définie comme le plus haut niveau d’automatisation permettant de résoudre des tâches. Elle repose principalement sur le machine learning et le deep learning, qui nécessitent de grandes quantités de données correctement annotées et préparées.

La triade de l’IA comprend les données, les algorithmes et le matériel. Les réseaux de neurones sont des exemples d’algorithmes utilisés en IA, et il en existe différentes formes pour résoudre des problèmes spécifiques tels que la détection, la classification ou la segmentation d’images.

Les bases de données jouent également un rôle crucial en IA. ImageNet, par exemple, est une vaste base de données d’images étiquetées à la main par des chercheurs, offrant un benchmark pour comparer les algorithmes et représenter des objets de la vie quotidienne. Cette base de données ouverte est utilisée par la communauté scientifique.

La puissance de calcul est le troisième élément clé de la triade. Les cartes graphiques, devenues de plus en plus accessibles, ont permis des calculs efficaces pour les réseaux de neurones. Cela a amélioré la précision et les performances, réduisant le taux d’erreur de classification en dessous de 5 %, comparable à celui d’un être humain.

L’importance de la donnée pour une IA robuste

Il est important de noter que la transformation des données est essentielle pour résoudre un problème, et simplement posséder des données ne suffit pas. En informatique, notamment dans le domaine de l’IA, il est essentiel d’avoir des données de qualité. Cela implique de transformer les données brutes en données annotées. Par exemple, pour la détection d’objets sur une image, il faut annoter les images en indiquant la présence d’un chat ici et d’un chien là. Pour une segmentation précise, il faut annoter les régions correspondant au chat et au chien. Si l’on souhaite mesurer la taille d’un objet sur une image, il faut annoter précisément cette zone.

Le niveau de détail de l’annotation dépend des objectifs de l’IA, que ce soit pour la détection, la segmentation ou d’autres tâches. Il est important d’avoir des annotations exhaustives, c’est-à-dire que toutes les données de la base doivent être annotées. L’ajout d’un sous-ensemble non annoté complique la tâche pour les algorithmes supervisés, qui doivent être testés sur l’ensemble de la base. Dans certains cas, il est nécessaire de recourir à des méthodes semi-supervisées, plus complexes en termes de performances et d’optimisation.

Biais dans mes données : Comment faire ?

Il est fréquent de rencontrer des biais dans les données, même avec des jeux de données correctement annotés. Ces biais peuvent être liés à des paramètres extérieurs aux données. Il est crucial de prendre en compte ces biais pour obtenir des résultats statistiquement représentatifs. Par exemple, dans un jeu de données de scènes, on peut observer une différence marquée entre le nombre de photos montrant des femmes dans la cuisine par rapport aux hommes. Si l’on souhaite prédire cette catégorie, il y aura inévitablement un biais dans les données, ce qui peut conduire à un algorithme qui prédirait de manière incorrecte qu’une personne dans une cuisine est généralement une femme. Il est donc important de prendre conscience de ces biais, de les détecter et de compléter les bases de données en conséquence.

Effectivement, il est tout à fait possible d’avoir plus d’hommes dans des photos de cuisine afin de créer un algorithme qui ne soit pas biaisé par rapport au genre. Le biais peut se manifester non seulement dans le genre, mais aussi dans d’autres aspects tels que l’âge, le lieu, ou les objets présents dans les scènes. Ce phénomène n’est pas spécifique aux images, on peut l’observer dans les systèmes de vote où il est nécessaire de prendre en compte des critères externes pour constituer un échantillon représentatif.

Pour atténuer les biais et obtenir des jeux de données représentatifs, il est essentiel de travailler sur les sources de données. Il ne suffit pas d’avoir quelques objets avec beaucoup de données, il faut avoir plusieurs objets et plusieurs scénarios qui couvrent les différents cas que l’on souhaite résoudre. Cela est souvent négligé dans les projets d’intelligence artificielle, mais c’est un investissement qui peut avoir un retour significatif. Il faut imaginer tous les scénarios représentatifs du problème à résoudre et collecter les données qui y sont associées.

Obtenir de nouvelles données : de quelle manière ?

Pour trouver de nouvelles données, on peut imaginer des problèmes connexes qui peuvent être complémentaires ou similaires. On peut également chercher d’autres sources de données qui peuvent être complètement différentes mais qui ont un lien avec les données d’intérêt. Parfois, l’annotation des données peut être laborieuse, mais on peut utiliser un premier jeu de données annotées pour entraîner un modèle, puis annoter un deuxième jeu de données en utilisant le modèle entraîné. On peut également utiliser des méthodes automatiques pour annoter des données en exploitant des sources de données supplémentaires, par exemple en utilisant une caméra infrarouge pour annoter automatiquement une deuxième source de données. Toutes ces méthodes sont des méthodes dites “manuelles”.

En plus de ces méthodes manuelles, il existe des approches artificielles pour créer de nouveaux jeux de données. L’une d’entre elles est l’augmentation de données, où l’on modifie les données existantes en effectuant des transformations telles que la rotation, le flou, le zoom, etc. Cela permet d’augmenter artificiellement la quantité de données disponibles tout en conservant une certaine variabilité.

La composition de données est une autre approche, où l’on combine des instances d’objets détachés avec des scènes de fond pour créer des scènes synthétiques. Cela permet de générer des données qui n’existent pas réellement mais qui sont réalistes et contrôlées.

La simulation 3D est une méthode puissante pour créer des données sans avoir à observer réellement les objets. Si l’on dispose d’une représentation en 3D des objets ou des produits, on peut les simuler et générer ainsi de grandes quantités de données. Cependant, il est important de compléter les données simulées avec des données réelles pour garantir une représentativité adéquate.

La génération de données, notamment avec les réseaux de neurones génératifs adversaires (GAN), est une avancée récente qui permet de créer des données synthétiques de haute qualité. Les GANs utilisent un générateur et un discriminateur qui s’entraînent simultanément, améliorant progressivement la capacité du générateur à produire des données indiscernables des vraies données.

Il est important de choisir la méthode de création de données en fonction des besoins spécifiques du projet, mais combiner différentes approches peut souvent être bénéfique pour obtenir des jeux de données variés et représentatifs.

J’ai trop de données, que dois-je faire ?

Lorsqu’on est confronté à un volume élevé de données, il devient important de trouver des solutions pour les explorer, les évaluer et détecter d’éventuelles erreurs ou biais. La curation des données joue un rôle clé dans ce processus. Il s’agit de corriger les données, identifier les erreurs, les anomalies et les biais, tels que les biais de genre évoqués précédemment. Cette tâche peut être complexe et nécessite des techniques spécifiques.

Il est également crucial de garantir la qualité et la représentativité des données, surtout lorsqu’elles sont utilisées pour entraîner des intelligences artificielles. L’annotation des données, souvent effectuée par des humains, peut comporter des erreurs dues à la fatigue ou à des divergences d’interprétation entre experts. Des outils sont nécessaires pour gérer ces aspects et assurer l’exactitude des annotations.

La protection des données est également un enjeu essentiel, notamment en termes de confidentialité. Il est nécessaire de trouver des moyens d’explorer ces vastes ensembles de données sans nécessairement les envoyer dans le cloud et de recourir à des outils qui y sont hébergés.

Existe-t-il des outils à ma disposition pour réaliser la curation de mes données ?

Lors de nos différents projets, nous avons été confrontés à ces problématiques de curation de données, parfois complexes. Nous avons alors développé un outil, d’abord pour un usage interne pour faciliter le processus de curation de contenu.

Aujourd’hui, après de multiples améliorations, nous sommes prêts à mettre à disposition cet outil pour tous !

En quelques mots, Tadaviz a été développé spécifiquement pour résoudre les enjeux liés aux grands volumes de données et garantir la confidentialité des données. Il a été conçu pour faciliter la visualisation et l’exploration des données, en utilisant des algorithmes de réduction de dimension afin de projeter les données en deux dimensions sur une carte.

Grâce à Tadaviz, vous pouvez facilement naviguer, zoomer et sélectionner des données sur la carte. L’outil permet également de faire du clustering, c’est-à-dire de regrouper les données similaires, et d’annoter rapidement une grande quantité de données, y compris la détection d’outliers.

Il facilite la communication entre les experts métier et les data scientists, en permettant de discuter de la représentativité des données, d’évaluer les performances des algorithmes et de prendre des décisions sur l’amélioration du jeu de données.

En résumé, c’est un outil puissant pour la gestion et la curation des données. Intéressés ? C’est par ici !

illustration : DALL-E