Les succès sont parfois de courte -durée. A partir de la fin des années 1990, tout semblait sourire aux -réseaux de neurones mathématiques ou formels, nouvel avatar de l'apprentissage automatique et, pour aller vite, de l'intelligence artificielle.
A Paris, en 1994, à l'Ecole supérieure de physique et de chimie industrielles, l'équipe de Gérard Dreyfus, associée à Sagem, fait circuler un 4 × 4 sans pilote, sur un terrain connu. Au même moment, le réseau de neurones des Bell Labs, LeNet5, lit les chèques. Yann LeCun, son concepteur, estime qu'à partir de 1996, de 10 % à 20 % de ces moyens de paiement passeront sous les yeux de la machine. En 1992, IBM avait sorti un si-mulateur de backgammon, TD-Gammon, rivalisant avec les meilleurs humains.
En 1998, Françoise Soulié-Fogelman et -Patrick Gallinari, l'autre groupe français pionnier, publie un compte rendu de conférences au titre explicite,
Industrial Applications of Neural Networks (" applications industrielles des réseaux de neurones ", World Scientific Publishing), qui comporte une cinquantaine d'articles. Au menu, reconnaissance de caractères, diagnostic visuel, robotique, prévisions diverses, gestion de portefeuille financier… Toutes ces applications reposent sur le principe désormais bien rodé d'adaptation de milliers de paramètres par apprentissage à partir d'une base d'exemples.
Dans un article encore à paraître dans la revue
Réseaux, des sociologues, dont Antoine Mazières, confirment et quantifient cette victoire en analysant le nombre d'articles publiés dans le domaine. L'intelligence ar-tificielle dite connexioniste des réseaux de neurones, après avoir été supplantée en nombre d'articles par celle dite symbolique à la fin des années 1960, reprend le dessus au début des années 1990.
C'est paradoxalement à ce moment que les nuages gris commencent à s'amonceler sur cette technique.
Ironie de l'histoireAu cœur même des Bell Labs, la situation change.
" Entre 1991 et 1996, quatre directeurs se succèdent et on nous demandait de moins nous tourner vers la recherche ", se souvient Larry Jackel, celui qui a composé à la fin des années 1980 une équipe de rêve avec les -chercheurs Yann LeCun, Yoshua Bengio, Léon Bottou, Vladimir Vapnik, Isabelle Guyon… Puis, en 1996, l'entreprise ATT, propriétaire de ces labos, les casse en deux, une partie devenant Lucent, l'autre AT&T Labs. L'équipe se disperse. Ironie de l'histoire, à la suite de nouvelles restructurations, les locaux d'Holmdel (New Jersey) où l'équipe avait ressuscité les réseaux de neurones, sont aujourd'hui occupés par l'entreprise Nvidia, un fabricant de cartes graphiques, très connues des joueurs vidéo, mais aussi très prisées pour l'apprentissage automatique.
Au Japon, le même malheur arrive à Kuhido Fukushima, employé chez l'opérateur audiovisuel NHK et concepteur, dans les années 1980, du Neocognitron, une machine complexe capable d'apprendre. Le laboratoire de recherche fondamentale est fermé en 1994.
" J'ai déposé des brevets sur le Neocognitron mais ils ont tous expiré ", rumine le chercheur aujourd'hui âgé de 82 ans.
Les industriels sont en fait réticents à s'emparer de ces innovations.
" Dans ces années-là, avec l'entreprise que j'avais cofondée, Neuristique, nous avions développé un système d'inférence des âges et du genre des clients pour une enseigne de grande distribution, à des fins de marketing, à partir de caméras au niveau des caisses, se souvient Léon Bottou.
Ça marchait très bien mais le directeur du magasin est tombé sur un spécialiste de la vision artificielle qui lui a dit que c'était im-possible, et le projet s'est arrêté au milieu des années 1990. Nous avons eu raison trop tôt. En 2010, notre entreprise aurait valu de l'or ! "
" J'ai commencé à avoir des articles refusés dans certains journaux, avec le motif “sans intérêt” ", témoigne aussi Patrick Gallinari, professeur à Sorbonne-Université.
" Oui, c'est vrai que des articles ont été refusés, parfois pour de mauvaises raisons ", confirme Jean Ponce, spécialiste de la vision et qui avait pourtant été impressionné par un exposé de Yann LeCun sur la reconnaissance d'images dès 1998, sans que cette idée perce dans cette communauté. Le second hiver des réseaux de neurones et de l'intelligence artificielle approche.
" Nous continuions à y croire mais les in-génieurs avaient décidé que les réseaux de neurones étaient des idées chimériques. Le nombre de personnes qui voulaient améliorer ces systèmes s'est réduit ", constate Geoffrey Hinton, pionnier du domaine et professeur à l'université de Toronto, dans
Bloomberg Businessweek du 17 mai 2018.
Aux conférences Neural Information Processing Systems (NIPS) nées en 1987 pour promouvoir la renaissance des réseaux de neurones, ces derniers ne font plus recette. Que s'est-il donc passé ? Des raisons pratiques sont invoquées. Les réseaux de neurones et leur apprentissage ne sont pas si faciles que cela à concevoir et contrôler.
" C'est sûr qu'il fallait un certain savoir-faire pour ma-nipuler ces outils ", estime Patrick Gallinari.
" C'est un art. Lorsque Léon Bottou est au pia-no, ça marche, mais avec quelqu'un d'autre non ! ", s'amuse Françoise Soulié-Fogelman.
" Il faut reconnaître aussi qu'on comprenait mal comment ces réseaux fonctionnaient. Puis la mode a changé ", note Léon Bottou.
Par ailleurs, l'une des modes qui vont éclipser les réseaux de neurones est née également aux Bell Labs. Il s'agit d'une autre technique d'apprentissage, dite SVM (ou machine à vecteurs de support), développée, à partir de 1992, essentiellement par Bernhard Boser, Isabelle Guyon et Vladimir Vapnik, parmi les premières recrues de Larry Jackel. En fait, dans le labo, il n'y avait pas de compétition entre les deux idées et, mathémati-quement, il est même démontré qu'elles sont parfois équivalentes.
" Une des raisons du succès des SVM est leurs fondements mathématiques ancrés dans les statistiques et les méthodes d'optimisation traditionnelles ", estime Isabelle Guyon. En pratique, ils s'avèrent aussi plus faciles à mettre en œuvre.
En gros, il s'agit d'une machine à trier. Dans un cas simple, par exemple un champ, avec des moutons noirs et des moutons blancs, il s'agit de trouver la meilleure façon de tracer une clôture droite séparant au mieux les deux groupes. Mais ça marche aussi quand il y a plus de groupes ou si la ligne de démarcation ne saute pas aux yeux. Isabelle Guyon a trouvé une méthode pour se débrouiller avec ces situations complexes.
C'est très vite la ruée. A partir de 2000, les publications, analysées par Antoine Mazières pour sa thèse soutenue en 2016, montrent le bouleversement de la hiérarchie. En 2000, les SVM représentent près de 8 % d'un corpus d'articles scientifiques sur l'apprentissage machine, soit autant que les réseaux de neurones. En 2008, c'est presque 20 % contre 5 % pour les réseaux de neurones.
Accessoirement, Isabelle Guyon créera une entreprise de conseil et développera des applications, notamment dans le domaine médical en recourant à ces fameux SVM. Ces derniers sont même utilisés par les spécialistes de la reconnaissance d'images par ordinateur, l'un des premiers domaines explorés par les réseaux de neurones. Un crime de lèse-majesté, qui sera plus tard vengé.
" En 2005-2006, je n'y croyais plus. En quelques années, plus personne ne parlait de réseaux de neurones. Des millions de pages d'articles scientifiques ont été oubliées ", regrette Patrick Gallinari.
Même les deux vedettes, Léon Bottou et Yann LeCun, passent à autre chose. Ils développent ainsi un format de compression de données textuelles, " djvu " (prononcé " déjà vu "),
" plus léger que le PDF ".
" Comme tous les scientifiques, nous avions un goût développé pour les livres et pour diffuser la connaissance. Sur le réseau Internet naissant, il fallait donc numériser ", résume Léon Bottou, qui, vingt ans plus tard, maintient encore à jour ce logiciel. Djvu a d'ailleurs eu du succès sur les sites pirates comme Library Genesis, qui permettent de télécharger livres et articles scientifiques sans passer par les éditeurs…
Une autre raison explique le coup de froid. L'apprentissage supervisé, tel que pratiqué par les réseaux de neurones artificiels, suppose, par définition, de disposer de données considérables et bien étiquetées afin d'entraîner les systèmes. Ainsi que de la puissance informatique permettant de calculer les milliers de paramètres contenus dans les multiples couches neuronales. Ces deux goulots d'étranglement sauteront avec le développement du Web et des entreprises géantes qui se construisent dessus, Google, Facebook, Amazon, Microsoft, IBM…
Communauté un peu désespéréeMais si Yann LeCun a un peu abandonné l'apprentissage, c'est surtout à cause de ses employeurs ATT et, brièvement, NEC, dont ce n'est pas la priorité. En 2003, à l'université de New York, il revient à ses amours sur la vision, en réalisant le gouffre qui sépare les deux communautés.
" Les réseaux de neurones n'étaient pas à la mode dans ce domaine et les gens ne les connaissaient pas en réalité ", confirme Jean Ponce. Au Canada, Geoffrey Hinton et Yoshua Bengio dépriment aussi un peu, même s'ils continuent de publier.
" Pourtant en 1994-1995 on était déjà au top sur la reconnaissance d'images, mais sous le radar. En 2004, je démontre que la famille -particulière des réseaux dits de convolution est supérieure aux SVM ", précise Léon Bottou.
C'est alors, au milieu des années 2000, qu'arrive une bonne nouvelle. Au Canada, l'Institut pour les recherches avancées finance un programme " Calcul neuronal et perception adaptative " (Cifar) qui va (re)fédérer une communauté un peu désespérée. Ce programme
" a permis à des gens du monde entier de se parler. Ça nous a apporté une masse critique ", résumé Geoffrey Hinton dans
Bloomberg Businessweek. Car en scien-ce, les idées ne s'imposent pas seulement parce qu'elles sont bonnes, mais aussi parce qu'elles sont partagées. Une phase plus sociologique commence, que Hinton, Bengio et LeCun aiment à décrire comme une
" conspiration " de leur trio.
" Durant cette période, les éditeurs de journaux refusaient les réseaux de neurones. Il a fallu les convaincre qu'ils avaient tort ", expliquait Yoshua Bengio dans
Le Monde du 27 septembre 2017.
En 2007, les organisateurs de la célèbre -conférence NIPS de Vancouver (Canada) refusent d'accueillir une des multiples sessions parallèles sur le sujet des réseaux de neurones, proposée par le trio. Qu'à cela ne tienne, les conspirateurs décident de l'organiser quand même en affrétant eux-mêmes des autocars, grâce à l'argent de la bourse Cifar, pour transporter ensuite les participants vers une station de ski où les exposés de la conférence officielle se poursuivent.
" Nous avons eu environ 300 personnes, plus que tous les ateliers officiels ", savoure Yann LeCun.
Ce serait là aussi que le terme vendeur de
deep learning (" apprentissage profond ") aurait été utilisé pour la première fois par les " conspirateurs ". Mais Yann LeCun dément qu'une agence de communication ait été sollicitée pour les aider dans leur entreprise de séduction.
" Je crois que la mode a pris bien au-delà de ce qu'ils envisageaient au départ. Le prix à payer était un mensonge blanc : faire passer quelque chose qui existait depuis plusieurs décennies comme une nouveauté. Mais ils n'ont jamais dit directement que c'était une nouveauté, ils ont juste laissé dire… ", note Léon Bottou.
Nouveau nom, sang frais rassemblé grâce à l'argent canadien, les réseaux de neurones sont prêts à reprendre le dessus face aux SVM, et d'autres modes de l'apprentissage statistique qui ont fleuri pendant une décennie. D'autant qu'on réalise que les SVM sont moins efficaces et très lourds à manœuvrer dès que les données deviennent trop nombreuses ; ce qui justement arrive avec le -développement exponentiel du Web.
David Larousserie
Aucun commentaire:
Enregistrer un commentaire