B. LES SUJETS D'INTERROGATION LIÉS À LA « SINGULARITÉ », À LA « CONVERGENCE NBIC » ET AU « TRANSHUMANISME »
1. La « singularité », point de passage de l'IA faible à l'IA forte peut, à long terme, constituer un risque
La rupture dite de la « singularité technologique » appelée aussi simplement singularité , est le nom que des écrivains et des chercheurs en intelligence artificielle ont donné au passage de l'IA faible à l'IA forte 236 ( * ) . La singularité représente un tournant hypothétique supérieur dans l'évolution technologique , dont l'intelligence artificielle serait le ressort principal. Vernor Vinge a rédigé un essai remarqué à ce sujet en 1993 237 ( * ) .
De nombreuses oeuvres de science-fiction ont décrit ce tournant, qui a été une source d'inspiration très riche pour le cinéma. Les films « Terminator », « Matrix », « Transcendance » sont des exemples de la « singularité technologique », qui est donc bien plus qu'une simple hostilité de l'intelligence artificielle , également souvent au coeur de l'intrigue des oeuvres de science-fiction.
Les progrès en matière d'intelligence artificielle, en particulier avec le deep learning , sont parfois interprétés comme de « bons » augures de la « singularité » mais rien ne permet de garantir la capacité à créer au cours des prochaines décennies une super-intelligence dépassant l'ensemble des capacités humaines. Par exemple, en s'appuyant sur la loi de Moore, Ray Kurzweil prédit que les machines rivalisant avec l'intelligence humaine arriveront d'ici à 2020 et qu'elles le dépasseront en 2045 238 ( * ) . D'après Raja Chatila, directeur de recherche à l'Institut des systèmes intelligents et de robotiques (Isir), nous en sommes, aujourd'hui, encore loin car « pour être intelligente comme un humain, une machine devra d'abord avoir la perception d'elle-même, ressentir son environnement, traiter des informations à flux continu et en tirer du sens pour ensuite agir (...) Ce n'est pas la technique qui fait défaut à la machine, mais le sens de ses actions, et l'intégration de la notion de concept ».
Les réflexions de Jean-Gabriel Ganascia et de Max Dauchet devant vos rapporteurs vont également dans ce sens. Cette super-intelligence peut paraître fondée, mais, ainsi que le soulignent Hubert et Stuart Dreyfus, « cela fait un demi-siècle, depuis que les ordinateurs sont apparus au monde, que l'on promet de bientôt les programmer pour les rendre intelligents et que l'on promet aussi, ou plutôt que l'on a peur, qu'ils apprennent bientôt à nous comprendre nous-mêmes comme des ordinateurs. En 1947, Alan Turing prédisait qu'il existerait un ordinateur intelligent d'ici à la fin du siècle. Maintenant que le millénaire est dépassé de trois ans, il est temps de faire une évaluation rétrospective des tentatives faites pour programmer des ordinateurs intelligents comme HAL dans le film 2001, l'Odyssée de l'espace » 239 ( * ) . Ce jugement sévère est tempéré par Jean-Gabriel Ganascia selon lequel on attend toujours l'intelligence artificielle au tournant parce qu'elle déçoit les espérances qu'elles suscitent : « HAL, l'ordinateur intelligent du film de Stanley Kubrick 2001, l'Odyssée de l'espace , ne voit pas encore le jour, même si le millénaire est déjà passé. Traduction automatique, compréhension du langage naturelle, vision, démonstration de théorème, résolution de problèmes, robotique... l'histoire récente accumule les échecs. Rien de vraiment tangible n'advient dans ce secteur de la technologie... Autant de lieux communs bien répandus, que l'on retrouve depuis longtemps ». L'IA forte est une notion implicite dès la fondation de l'intelligence artificielle, mais elle correspond surtout à une invention conceptuelle des années 1980. L'explication donnée par Marvin Minsky, l'un des pères de l'intelligence artificielle, est intéressante et pose la question de la place de la recherche publique : « pourquoi n'avons-nous pas eu HAL en 2001 ? Parce que des problèmes centraux, comme le raisonnement de culture générale, sont négligés, la plupart des chercheurs se concentrent sur des aspects tels que des applications commerciales des réseaux neuronaux ou des algorithmes génétiques. » 240 ( * )
Le principal propagateur de ce risque existentiel est Raymond Kurzweil, sa fonction de directeur de la recherche de Google laissant perplexe. L'IA forte n'est a priori pas pour tout de suite mais d'après Stuart Armstrong, chercheur au Futur of Humanity Institute, Oxford, dirigé par Nick Bostrom 241 ( * ) « il y a des risques pour que cela arrive plus tôt que prévu ».
Il convient de noter qu'une étude publiée en octobre 2016 par Google, montre que, programmées pour protéger la confidentialité de communications, deux IA peuvent « découvrir des formes de chiffrement et déchiffrement, sans qu'on leur ait enseigné des algorithmes spécifiques pour ce faire », selon les termes des chercheurs : autrement dit, des formes de communication ignorées des concepteurs des algorithmes. Le constat est d'ailleurs identique avec le système de traduction automatique du même Google, qui intègre désormais des algorithmes de deep learning . Une autre étude montre que ce système est capable d'établir des connexions entre des concepts et des mots qui ne sont pas formellement liés. Pour les chercheurs à l'origine de l'étude, la conséquence de ce constat serait claire : le système a développé son propre langage interne, une interlingua . Ils précisent toutefois que « les réseaux neuronaux sont complexes et les interactions difficiles à décrire ».
2. Un prophétisme dystopique indémontrable scientifiquement
Nier la possibilité d'une IA forte n'a pas de sens, toutefois se prononcer sur son imminence ou sur le calendrier précis de son avènement semble tout aussi peu raisonnable, car c'est indémontrable scientifiquement . Outre le calendrier incertain de la singularité comme en témoignent les limites de la loi de Moore, il convient d'observer que les théories de la singularité s'apparentent à un prophétisme dystopique. Pour le sociologue Dominique Cardon, la tentation de l'IA forte est anthropomorphiste. Certains sont en effet tentés de plaquer sur les futures intelligences artificielles des modes de raisonnement spécifiques à l'intelligence humaine.
Ce catastrophisme oublie également le caractère irréductible de l'intelligence humaine au calcul . Il évacue la place des émotions, de l'intelligence corporelle. Non seulement l'avènement d'une super- intelligence à long terme n'est pas certaine mais sa menace à court terme relève du pur fantasme. Pour Mustafa Suleyman, cofondateur de Deep Mind, qui est à l'origine d'AlphaGo, il est impossible de prévoir la date d'arrivée de l'IA forte.
Il s'agit donc de fantasmes, et notamment de fantasmes sur la capacité des algorithmes à devenir conscients , à savoir dotés de capacités réflexives leur permettant de se représenter à eux-mêmes. Selon Gérard Sabah, « la bonne question à se poser ce n'est pas de savoir si un système peut être conscient, mais de savoir ce que l'homme attribue à sa conscience » et pour David Sadek, directeur de la recherche de l'Institut Mines-Télécom, prudent, « on ne sait pas plus se représenter mentalement le fonctionnement d'une machine inconnue que celui d'un autre être humain ».
Au-delà des incertitudes sur la capacité d'une machine à avoir une conscience, qui, selon certains philosophes, serait une caractéristique réservée aux êtres vivants, se pose la question d'identifier ce que peut faire une technologie d'intelligence artificielle, à savoir calculer. La calculabilité renvoie à la thèse de Church (du nom du mathématicien Alonzo Church), qui concerne la définition de la notion de calculabilité : dans une forme dite « physique », elle affirme que la notion physique de la calculabilité , définie comme étant tout traitement systématique réalisable par un processus physique ou mécanique, peut être exprimée par un ensemble de règles de calcul. Cette thèse a exercé une influence puissante en informatique, on peut penser à l'article d'Alan Turing de 1936 et à son modèle mécanique de calculabilité. Dans le prolongement de cette thèse figure le « computationnalisme », qui est une théorie fonctionnaliste en philosophie de l'esprit qui, pour des raisons méthodologiques, conçoit l'esprit comme un système de traitement de l'information et compare la pensée à un calcul (ou en anglais, computation ) et, plus précisément, à l'application d'un système de règles.
À la fin des années 1980, le computationnalisme a été concurrencé par un nouveau modèle cognitif, le connexionnisme, qui vise à montrer qu'on peut expliquer le langage de la pensée sans faire appel à un raisonnement gouverné par un système de règles, comme le fait le computationnalisme.
Le computationnalisme a été la cible de diverses critiques , en particulier de John Searle, Hubert Dreyfus, ou Roger Penrose, qui tournaient toutes autour de la réduction de la pensée et/ou de la compréhension à la simple application d'un système de règles. Vos rapporteurs sont sensibles à ces critiques et en particulier à l'illusion de compréhension, telle qu'elle ressort de l'expérience de la chambre chinoise mise en évidence par John Searle 242 ( * ) . Cette expérience vise à montrer qu'une intelligence artificielle ne peut être qu'une intelligence artificielle faible et ne peut que simuler une conscience , plutôt que de posséder des authentiques états mentaux de conscience et d'intentionnalité. Elle vise à montrer également que le test de Turing est insuffisant pour déterminer si une intelligence artificielle possède ou non une intelligence comparable à celle de l'homme.
Vos rapporteurs s'interrogent plus largement sur l'idée de machines qui gagnent contre l'homme : a-t-on raison de dire, que ce soit aux échecs, au jeu de Go, ou en janvier 2017 au poker, que la machine a battu l'homme et qu'elle est plus forte que lui ?
Ils partagent l'opinion de Laurence Devillers, selon laquelle cette formulation est excessive et revient à essentialiser la machine . Cette réification nous fait oublier que l'intelligence des algorithmes c'est aussi et peut-être avant tout l'intelligence de leurs développeurs . Elle affirme ainsi que cette victoire au jeu de Go invoque « une comparaison nulle et non avenue : on compare un humain avec une machine ; mais derrière la machine se trouvent cent ingénieurs au travail ».
En effet, AlphaGo est peut-être le meilleur joueur de Go de tous les temps , mais il n'est pas en mesure de parler ou de distinguer un chat d'un chien , ce dont serait, quant à lui, capable n'importe quel joueur de Go humain débutant.
L'écrivain futuriste et entrepreneur, Jerry Kaplan, fait valoir que « le terme même d'intelligence artificielle est trompeur. Le fait que l'on puisse programmer une machine pour jouer aux échecs, au Go, à Jeopardy ou pour conduire une voiture ne signifie pas pour autant qu'elle soit intelligente ! Autrefois, les calculs étaient effectués à la main, par des humains très intelligents et portant une grande attention au détail. Aujourd'hui, n'importe quelle calculette achetée en supermarché peut faire bien mieux que ces brillants cerveaux de jadis. Ces calculatrices sont-elles pour autant intelligentes ? Je ne le crois pas. Au fil du temps, nous découvrons de nouvelles techniques permettant de résoudre des problèmes bien précis, à l'aide de l'automatisation. Cela ne signifie pas pour autant que nous soyons en train de construire une super-intelligence en passe de prendre le pouvoir à notre place ». Les défis que l'intelligence artificielle devra relever sont d'un autre ordre selon David Sadek puisque « l'intelligence artificielle, c'est avant tout la didactique des machines, c'est-à-dire apprendre aux machines ce que les humains savent déjà faire (...) quand on parle de vision artificielle, par exemple lorsque Google apprend à identifier un chat sur des photos, ce n'est pas parce qu'un algorithme apprend à repérer un chat qu'il sait ce que c'est. De même, le test de Turing ne sera peut-être pas le meilleur critère pour évaluer les IA à l'avenir ».
Ces observations conduisent à relativiser les récents progrès de l'intelligence artificielle et, en particulier, à contester le fantasme de l'intelligence artificielle forte car elles récusent la pertinence d'une comparaison avec l'intelligence humaine.
Selon Raja Chatila, la question initiale de Turing devrait conduire à l'interrogation suivante : une machine peut-elle avoir une faculté de conscience d'elle-même ? Car malgré toutes les recherches en robotique et intelligence artificielle, les résultats, aussi significatifs soient-ils, restent le plus souvent applicables dans des contextes restreints et bien délimités . Ainsi, la perception ne permet pas à un robot de comprendre son environnement, c'est-à-dire d'élaborer une connaissance suffisamment générale et opératoire sur celui-ci (d'où la nécessité d'étudier la notion d' « affordance 243 ( * ) »), la prise de décision reste limitée à des problèmes relativement simples et bien modélisés. Les principes fondamentaux, qui permettraient aux robots d'interpréter leur environnement , restent largement incompris : comprendre leurs propres actions et leurs effets, prendre des initiatives, exhiber des comportements exploratoires, acquérir de nouvelles connaissances et de nouvelles capacités... Les clés pour permettre la réalisation de ces fonctions cognitives pourraient être le méta-raisonnement et la capacité d'auto-évaluation , deux mécanismes réflexifs.
Yann LeCun, dans un article de juillet 2016, se demande « pourquoi croire à un moment de rupture où les machines seront supérieures à l'homme ? Elles vont simplement devenir de plus en plus intelligentes et de plus en plus faciles à utiliser. Cela amplifiera notre propre intelligence ! » et il estime que « beaucoup des scénarios catastrophes (en intelligence artificielle) sont élaborés par des personnes qui ne connaissent pas les limites actuelles du domaine. Or les spécialistes disent qu'ils sont loin de la réalité ».
De même Rob High, directeur technique du projet Watson d'IBM estime qu'il est « trop tôt pour employer le terme intelligence artificielle, mieux vaut parler d'outils capable d'élargir les capacités cognitives humaines ».
Lors de sa rencontre avec vos rapporteurs au siège de Google, Greg Corrado, directeur de la recherche en intelligence artificielle chez Google, a lui aussi fait valoir qu'il était plus juste de parler d' intelligence augmentée plutôt que d'intelligence artificielle.
Pour Jean-Claude Heudin, l'intelligence artificielle ne remplace pas l'homme mais augmente son intelligence , en formant une sorte de « troisième hémisphère ».
Cette idée de complémentarité homme-machine et d'intelligence augmentée a convaincu vos rapporteurs . Selon François Taddéi, directeur du Centre de recherche interdisciplinaire, « les intelligences humaine et artificielle coévoluent. Mais ce sont encore les combinaisons homme/machine qui sont les plus performantes : on le voit aux échecs, où une équipe homme/machine est capable de battre et l'homme et la machine ».
En 1996, puis à nouveau en 1997, le champion d'échecs Garry Kasparov était battu par le système d'intelligence artificielle Deep Blue créé par IBM. De nos jours, n'importe quel programme gratuit d'échecs téléchargeable sur Internet peut battre non seulement les plus grands champions d'échecs mais aussi Deep Blue . Mais l'homme et la machine, l'homme-centaure, sont toujours plus forts que toutes les machines . Les joueurs d'échecs et de Go l'ont expérimenté.
Ainsi que vos rapporteurs ont eu l'occasion de le rappeler précédemment dans le présent rapport, une victoire équivalente d'une intelligence artificielle au jeu de Go semblait impossible, tant ce jeu exige une subtilité et une complexité propres à l'intelligence humaine. Pourtant, le 15 mars 2016, le système d'intelligence artificielle AlphaGo créé par l'entreprise britannique DeepMind, rachetée en 2014 par Google, a battu le champion de Go, Lee Sedol, avec un score final de 4 à 1, marquant donc l'histoire des progrès en intelligence artificielle. Selon l'académicien des technologies Gérard Sabah, il est difficile et risqué d'établir des prévisions détaillées sur l'avenir à court, moyen et long termes de l'intelligence artificielle.
Il a toutefois pu émettre quelques hypothèses générales fondées sur l'observation du passé :
- l'intelligence artificielle continuera à faire émerger de nouvelles techniques de calcul ;
- certaines de ces nouvelles techniques trouveront des applications utiles , mais avec des délais variables, pouvant aller jusqu'à deux décennies ;
- certains de ces nouveaux développements conduiront à la formation et à la rupture de nouveaux domaines de l'informatique ;
- la méthodologie des techniques de l'intelligence artificielle, maintenant bien établie par des analyses théoriques et des tests empiriques, permettra d'obtenir des produits robustes et fiables .
3. Les questions posées par la « convergence NBIC »
La « convergence NBIC » est un thème issu du rapport particulièrement volumineux de Mihail C. Roco and William Sims Bainbridge à la National Science Foundation (États-Unis) en 2003, intitulé Converging Technologies for Improving Human Performance 244 ( * ) . Il s'agit des convergences entre les nanotechnologies, les biotechnologies, les technologies de l'information et les sciences cognitives. Ce projet ambitieux de fertilisation croisée n'a pas produit de grands résultats à ce stade mais les progrès en intelligence artificielle, en génomique, en sciences cognitives et en neurosciences reposent la question aujourd'hui .
Ce projet ambitieux d'un enrichissement mutuel de ces champs de recherche mérite donc que vos rapporteurs le mentionnent. Notre collègue Jean-Yves Le Déaut, président de l'OPECST, conduit d'ailleurs un travail à ce sujet pour l'Assemblée parlementaire du Conseil de l'Europe, en tant que rapporteur pour la science et la technologie. Son projet de rapport sur la convergence technologique, l'intelligence artificielle et les droits de l'homme contiendra des pistes pour que cette convergence soit respectueuse des droits humains.
Il pourrait appeler, en particulier, à la vigilance en matière de renforcement de la transparence concernant : les opérations de traitements automatisés visant à collecter, manier et utiliser les données à caractère personnel ; l'information du public sur la valeur des données qu'il produit, le consentement sur leur utilisation et la fixation de la durée du temps de conservation de ces données ; l'information de toute personne sur le traitement de données dont elle est la source ainsi que sur les modèles mathématiques, statistiques qui permettent le profilage ; la conception et l'utilisation de logiciels persuasifs et d'algorithmes respectant pleinement la dignité et les droits fondamentaux de tous les utilisateurs, en particulier les plus vulnérables, dont les personnes âgées et les personnes handicapées.
4. La tentation du « transhumanisme »
La crainte d'une intelligence artificielle qui échapperait au contrôle de l'homme est une des angoisses majeures devant l'essor de ces technologies, comme il a été vu. En cela, la prospective en intelligence artificielle aboutit souvent à des scénarios de dystopie technologique . Ce pessimisme n'est cependant pas partagé par l'ensemble des futurologues puisque, pour certains, les progrès de l'intelligence artificielle permettront de protéger la vie humaine, par la sécurité routière et la médecine évidemment, voire d'offrir une opportunité historique pour concrétiser l'utopie transhumaniste .
Le transhumanisme est un mouvement philosophique prédisant et travaillant à une amélioration de la nature de l'homme grâce aux sciences et aux évolutions technologiques .
Le chercheur et prêtre jésuite Pierre Teilhard de Chardin aurait été, l'un des premiers à utiliser le terme transhumain, en 1951 245 ( * ) . Julian Huxley 246 ( * ) crée lui le concept de transhumanisme en 1957. Bien que le terme soit un label recouvrant des mouvements très différents, il renvoie au dépassement des souffrances humaines grâce aux découvertes scientifiques. L'amélioration de nos capacités par l'intermédiaire des sciences et des technologies disponibles est au coeur de ce mouvement. Pour les transhumanistes, le progrès scientifique doit être orienté vers cet objectif. Le transhumanisme est multidisciplinaire dans la mesure où il agrège, pour parvenir à ses fins, l'ensemble des sciences et des connaissances . Pour les transhumanistes, l'homme « augmenté » pourrait, demain, devenir virtuellement immortel.
Le transhumanisme s'apparente à une religion. Son principal prophète est Raymond Kurzweil, déjà cité s'agissant de la singularité. En 2013, Max More et Natasha Vita-More ont publié un essai particulièrement riche à ce sujet 247 ( * ) .
Le projet transhumaniste de mort de la mort et de fin de la souffrance n'emporte pas l'adhésion de vos rapporteurs . Il s'apparente à une négation de la nature humaine. Or pour vos rapporteurs, l'intelligence artificielle n'est pas un acte de foi et ne doit pas le devenir .
Selon Raja Chatila, « derrière ces discours, nous avons des vues de l'esprit qui n'ont rien d'opérationnelles, elles sont en réalité des idéologies, qu'on cherche à imposer pour gommer les différences entre l'humain et le non-humain ». Jean-Gabriel Ganascia relève que ce projet possède un versant cybernétique et un versant plus biologique. Luc Ferry, dans son essai La Révolution transhumaniste , souligne ces différentes sensibilités au sein de la « famille » transhumaniste.
Pour vos rapporteurs, il s'agit de chimères ou d'écrans de fumée qui empêchent de se poser les vraies questions pertinentes. Selon eux, il est essentiel de savoir anticiper les problèmes potentiels posés par l'intelligence artificielle . À court terme, ces problèmes risquent d'être ignorés et pris à tort pour de la science-fiction. Il convient en effet de distinguer les craintes issues de certaines fictions cinématographiques, telles que Terminator , Matrix ou Transcendance , des problèmes réels qui risquent de survenir plus ou moins rapidement .
* 236 Dès 1965, Irving John Good a décrit, en précurseur, la singularité, mais sans la nommer, et ce de la manière suivante : « Mettons qu'une machine supra-intelligente soit une machine capable dans tous les domaines d'activités intellectuelles de grandement surpasser un humain, aussi brillant soit-il. Comme la conception de telles machines est l'une de ces activités intellectuelles, une machine supra-intelligente pourrait concevoir des machines encore meilleures ; il y aurait alors sans conteste une explosion d'intelligence, et l'intelligence humaine serait très vite dépassée. Ainsi, l'invention de la première machine supra-intelligente est la dernière invention que l'homme ait besoin de réaliser. » Vernor Vinge a commencé à parler de la singularité dans les années 1980 et a formulé ses idées dans un premier article paru en 1993 intitulé « Technological Singularity ». Il y posait l'hypothèse que dans un délai de trente ans, l'humanité aurait les moyens de créer une intelligence surhumaine mettant un terme à l'ère humaine.
* 237 Cf. Vernor Vinge, The Coming Technological Singularity .
* 238 Les prédictions du futurologue peuvent être rappelées. Les ordinateurs atteindront une capacité de traitement comparable au cerveau humain en 2020. En 2022 les États-Unis et l'Europe adopteront des lois réglementant les relations entre les humains et le robot, l'activité des robots, leurs droits, leurs devoirs et autres restrictions seront fixés. En 2031, l'impression des organes humains par des imprimantes 3D sera possible. La circulation de véhicules autonomes sur les routes devient la norme en 2033. Immortalité de l'homme en 2042 et, enfin, la singularité en 2045.
* 239 « From Socrates to Expert Systems : The Limits and Dangers of Calculative Rationality », 2004.
* 240 Marvin Minsky, « It's 2001. Where Is HAL? », Dr. Dobb's Technetcast, 2001.
* 241 Vos rapporteurs les ont rencontrés tous les deux, le second est auteur de « Superintelligence : Paths, Dangers, Strategy », 2014.
* 242 Il pose l'hypothèse d'une personne qui n'a aucune connaissance du chinois, enfermée dans une chambre, et disposant d'un catalogue de règles permettant de répondre à des phrases en chinois, selon des règles de syntaxe. Cette personne enfermée dans la chambre reçoit donc des phrases écrites en chinois et, en appliquant les règles à sa disposition, produit d'autres phrases en chinois qui constituent en fait des réponses à des questions posées par un vrai sinophone situé à l'extérieur de la chambre. Du point de vue du locuteur qui pose les questions, la personne enfermée dans la chambre se comporte comme un individu qui parlerait vraiment chinois. Mais, en l'occurrence, cette dernière n'a aucune compréhension de la signification des phrases en chinois qu'elle crée. Elle ne fait que suivre des règles prédéterminées.
* 243 En ergonomie ou en informatique, l'affordance est la capacité d'un objet à suggérer sa propre utilisation.
* 244 http://www.wtec.org/ConvergingTechnologies/Report/NBIC_report.pdf
* 245 Sa première occurrence serait la conclusion d'un article intitulé « Du préhumain à l'ultra-humain », paru au sein de l'Almanach des Sciences de 1951.
* 246 Frère de l'écrivain Aldous Huxley, Julian Huxley est un biologiste britannique, théoricien de l'eugénisme, premier directeur de l'UNESCO, fondateur du WWF et auteur connu pour ses livres de vulgarisation scientifique.
* 247 Cf. Max More et Natasha Vita-More, The Transhumanist Reader : Classical and Contemporary Essays on the Science, Technology, and Philosophy of the Human Future .