Dans l’épisode précédent, nous nous intéressions à la dimension purement visuelle de l’IA via la computer vision. Aujourd’hui, nous allons apporter un peu de variété avec le langage, qui peut être aussi bien écrit que parlé.

Nous vous présentons donc le sujet du jour, un domaine qui a le vent en poupe, nous avons nommé le NLP, pour Natural Language Processing ou Traitement Automatique du Langage Naturel en français.

Définition du domaine

Le NLP, ou le TALN, est un domaine scientifique pluridisciplinaire à la croisée de l’informatique, de la linguistique et donc de l’IA bien entendu.

Pour faire simple le NLP est un domaine d’application du machine learning dont l’objectif est de rendre un programme informatique capable de comprendre le langage humain. Le NLP va s’intéresser à toutes les formes du langage aussi bien écrites que parlées.

Cela a l’air fou dit comme ça, mais il s’agit bien d’une réalité. Si la hype autour du NLP semble récente, les premiers travaux y touchant remontent tout de même aux années 50.

Comme pour la computer vision, les chercheurs se sont rapidement intéressés au traitement automatique de la langue. Le fameux test de Turing, visant à évaluer le niveau de développement d’une IA – ou son niveau d’intelligence – est d’ailleurs basé sur du NLP. De manière générale, nous avons tendance à jauger l’intelligence d’une machine à l’aune de sa capacité à avoir une discussion avec nous.

De nombreuses autres expérimentations ont vu le jour durant deux décennies avec plus ou moins de réussite. Mais le langage humain et sa compréhension sont des domaines très complexes et les avancées se font petit à petit. Comme pour de nombreux autres domaines, l’apport de corpus de données de plus en plus volumineux et des puissances de calcul importantes ont permis un bond supplémentaire sur les performances.

Sur la dernière décennie, une grande avancée nait en 2013, avec Word2Vec un programme de Google qui transforme les mots d’un texte en vecteur pour leur donner une signification informatique. Il est ainsi possible de réaliser des opérations mathématiques avec les mots vectorisés. C’est ce que nous appelons le word embedding. Par la suite d’autres d’autres modèles comme GloVe et ELMo verront le jour.

Enfin, dernière avancée significative, et vous en avez peut-être entendu parler, GPT-3 d’ Open AI. Il s’agit, probablement, du plus gros modèle existant à ce jour puisque ce dernier ne compte pas moins de 175 milliards de paramètres. Son entraînement se base sur un corpus représentant 150 fois le contenu de Wikipédia dans toutes les langues. Cela en fait de la donnée ! D’ailleurs attardons nous quelque peu sur le sujet.

Typologie de données et méthodes algorithmiques

Typologie de données

Pour comprendre le langage humain, il faut beaucoup de données. La plupart de ces données sont textuelles ou ont été transformées en texte lorsqu’elles proviennent d’une interaction orale entre un homme et une machine. C’est ce que l’on appelle le “Speech to text”. Grâce à lui, n’importe quel contenu audio est alors automatiquement transformé en texte écrit.

Tout comme pour les images, les formats des données textuelles peuvent varier. On peut aussi bien faire face à des documents .txt ou .docx où le texte peut facilement être extrait, qu’à des images où l’on ne peut rien sélectionner. C’est dans ce deuxième cas que la lecture automatique de caractères, ou OCR, prend tout son sens. L’OCR (pour Optical Character Recognition) est une technologie qui permet d’extraire des informations depuis une image. Mais nous y reviendrons un peu plus tard dans cet épisode.

Mais qu’en est-il de l’audio ? Eh bien, cela semble couler de source. Comme pour les applications relatives à la sémantique, le traitement de la parole passe par une phase de compréhension et une phase générative.

Enfin, le NLP vise également des tâches de data mining, ou d’extraction d’informations en français. La fouille de textes et la recherche d’information permettent de trouver des informations ciblées dans un corpus donné.
Nous pouvons également parler de la reconnaissance d’entités nommées. Une entité nommée est une expression linguistique référentielle. C’est à dire qu’une entité nommée vient faire référence à quelque chose de précis : un nom propre, un lieu, une date… Cette application est très intéressante pour cibler les éléments à anonymiser par exemple, mais pas que ! Elle peut également s’avérer utile pour la gestion documentaire et notamment pour la catégorisation documentaire. La catégorisation documentaire regroupe les documents de même nature ensemble. Elle automatise le tri des documents et facilite donc leur gestion.

Pour terminer notre tour d’horizon des grandes applications du NLP, nous nous dirigeons vers le paroxysme de la sémantique : l’analyse de sentiment. L’idée est de comprendre le ressenti d’une personne en analysant un discours ou un texte écrit.

Comme vous le comprenez maintenant, les applications du NLP sont très très larges et nous devrions en trouver de nouvelles encore. Et tout cela est loin d’être surprenant. Il faut dire que l’humain a développé un langage aussi complexe que largement utilisé. Il est omniprésent et représente un rouage essentiel à bon nombre de processus cognitifs, pas étonnant que nous cherchions donc à l’analyser, le comprendre et le mimer via l’IA.

On voit donc que les applications du NLP sont légions mais quelles formes prennent-elles concrètement ?

Applications concrètes et en production

Il est déjà à noter que les applications du NLP se sont doucement fait une place dans notre quotidien.

Vous avez sûrement déjà utilisé les outils de traduction automatique afin de retranscrire votre saisie vers un langage cible. Le NLP a permis des progrès considérables dans ce domaine. D’où le fait qu’aujourd’hui, votre prof de langue aurait plus de difficultés à identifier qu’un outil de traduction a rédigé le devoir à votre place ! En effet, si autrefois les traductions se faisaient mot pour mot, elles sont dorénavant réalisées en prenant compte du contexte global et sont plus justes grammaticalement parlant.

D’ailleurs, si vous souhaitez utiliser un traducteur particulièrement performant, on vous conseille de loin DeepL ! En très peu de temps, DeepL est venu détrôner Google Traduction ou encore Reverso, longtemps identifiées comme des références en matière de traduction automatique. Aujourd’hui encore, les traductions offertes par l’outil sont considérées comme les meilleures et les plus naturelles du marché. Et ce, grâce à des algorithmes de Deep Learning performants et à une base de données composée de milliards de données très qualitatives. Cette base de données est d’ailleurs issue de Linguee, un dictionnaire en ligne, qui selon Deepl à ce jour “ a répondu à plus de 10 milliards de demandes provenant de plus d’un milliard d’utilisateurs” ! Énorme, pas vrai ?

De leurs côtés, les assistants vocaux vous accompagnent tout au long de votre journée. Ils sont même constamment dans votre poche, dans le cas de Siri par exemple ! Ces derniers utilisent la reconnaissance vocale pour identifier votre requête, en déduire un sens puis vous proposer la réponse qui convient. Plus que simplement tendre l’oreille pour vous écouter, Siri peut aujourd’hui vous faire la conversation. Grâce à la synthèse vocale, un contenu vocal peut être créé à partir de n’importe quel texte.

Dans le même esprit, les chatbots avec qui vous pouvez converser sur différents canaux permettent aux marques d’automatiser les interactions avec leurs clients. Ces chatbots sont aujourd’hui capables de gérer des tâches standards, telles que proposer des renseignements sur l’offre de l’entreprise, ou encore répondre à des questions fréquemment posées.

Dernières avancées scientifiques

Comme la vision par ordinateur le NLP est un vieux domaine de l’IA qui a donc connu nombre d’avancées technologiques ces dernières décennies. Parce qu’il serait trop long de les citer, nous choisissons ici de nous intéresser aux tout derniers progrès dans le domaine et notamment liés aux réseaux neuronaux.

Une première technologie intéressante à mentionner est celle des RNN, ou réseaux de neurones récurrents. Si les réseaux convolutionnels, dont nous avons parlé dans l’épisode précédent, ont pu être utilisés en NLP, ce sont les RNN qui ont eu le plus d’impacts. Ces réseaux possèdent en effet une mémoire interne. Celle-ci leur permet de travailler sur une séquence, élément par élément, tout en mémorisant les éléments précédents. Ceci a bien sûr un intérêt tout trouvé en NLP où il est nécessaire de prendre en compte le contexte de toute une séquence. Dans la même veine, vous avez peut-être déjà entendu aussi parler de LSTM, qui reprennent le principe des RNN mais avec ce qu’on appelle des portes. Celles-ci permettent de laisser passer l’information et améliorer les performances de ces réseaux.

Mais plus récemment, c’est l’apparition des Transformers qui a impacté les performances des modèles de NLP. Ces réseaux de neurones profonds s’appuient sur ce qu’on appelle un mécanisme d’attention. Ce mécanisme existait déjà dans les RNN par le fait que ces réseaux traitent chaque nouvel élément de la séquence avec une mémoire des éléments précédents. Mais cette mémoire était rarement suffisante pour conserver des informations lointaines dans la séquence.

Les Transformers n’utilisent pas de récurrence mais implémentent un module d’attention qui permet de connaître le contexte avec l’ensemble des éléments d’une séquence donnée. Ceci donne de bien meilleures performances que les RNN plus classiques et a mené à la création de modèles tels que BERT ou GPT. Sans rentrer dans les détails mathématiques, le principe de l’attention est de calculer la pertinence de chaque élément d’entrée avec tous les autres objets en entrée ou de faire la même chose par rapport aux sorties du réseau. Le contexte n’est donc plus vraiment encodé avec un système de mémoire mais ces multiples calculs de pertinence.

Les Transformers ont des performances telles qu’ils sont maintenant même utilisés à l’état de l’art au-delà du NLP et en vision par ordinateur notamment. On a par exemple montré qu’un réseau à base de transformers entraîné sur du texte pouvait aisément être transféré sur des tâches de vision et offrir des performances à l’état de l’art !

Conjugué au présent comme au futur, le NLP est un domaine incontournable de l’intelligence artificielle. Les applications actuelles démontrent déjà toute leur pertinence et les dernières tendances tant au niveau des données que des approches algorithmiques nous laissent entrevoir de grandes avancées. Tout comme la vision, le langage jouit d’une place prépondérante et privilégiée pour l’humain. S’il peut se transformer en un obstacle dans notre société moderne et mondialisée, l’intelligence artificielle pourrait nous aider à le franchir et remettre le mythe de Babel au goût du jour.