III. LES QUESTIONS TECHNOLOGIQUES ET SCIENTIFIQUES QUI SE POSENT EN MATIÈRE D'INTELLIGENCE ARTIFICIELLE
A. LES SUJETS D'INTERROGATION LIÉS AUX ALGORITHMES UTILISÉS PAR LES TECHNOLOGIES D'INTELLIGENCE ARTIFICIELLE
1. Les questions de sécurité et de robustesse
Concernant la sécurité au sens de la sécurité numérique , l'OPECST a récemment rendu un rapport sur les risques et la sécurité numérique 230 ( * ) , ce point fera donc l'objet de courts développements dans le présent rapport. Vos rapporteurs renvoient à ce rapport qui traite d'un point de vue général de la sécurité numérique.
Un exemple fameux de problématique de sécurité pour les systèmes d'intelligence artificielle est celui du risque de piratage d'un drone ou d'une voiture autonome . Les cas existent et doivent donc être résolus. La sécurité de ces systèmes emporte des conséquences en termes de vie humaine. Une piste peut résider dans le fait de ne pas être perpétuellement connecté afin de prévenir le risque de piratage. Selon John Krafcik, le président de Waymo, ex- Google Self-Driving Car Project (branche d'Alphabet pour la conduite autonome) une connexion Internet permanente embarquée n'est pas nécessaire pour un véhicule sans chauffeur et, au contraire, un accès Internet discontinu dans une voiture autonome serait un gage de sécurité. Afin d'assurer la sécurité des passagers d'une voiture autonome face au risque de piratage, il s'agit de ne pas dépendre de la connectivité embarquée , comme l'accès à Internet. John Krafcik explique ainsi : « la cybersécurité est quelque chose que nous prenons très sérieusement [...] quand nous évoquons nos voitures autonomes, ce n'est pas seulement pour dire qu'il n'y a pas de conducteur humain, mais aussi qu'il n'y a pas de connexion cloud en continu depuis le véhicule ».
Les connexions au réseau seront donc gérées avec parcimonie, lorsque la voiture en a besoin. Ce ne sera pas une connexion en continu, susceptible d'être piratée pour s'introduire dans le véhicule. Waymo met ainsi en circulation des véhicules autonomes Chrysler Pacifica à Mountain View (Californie), où se trouve le siège de Google, visité par vos rapporteurs, et à Phoenix (Arizona).
Au-delà du piratage, qui est intentionnel, se pose le problème de la perte de contrôle des systèmes d'intelligence artificielle . Des recherches sont à conduire dans ce sens, pour relever le défi de sécurité et de robustesse des technologies. Depuis 2016, Thierry Berthier, chaire de cyberdéfense de Saint-Cyr à l'Université de Limoges, Jean-Gabriel Ganascia, UPMC-LIP6, et Olivier Kempf, IRIS, conduisent une étude sur un scénario concret de crise militaire en raison d'une dérive de systèmes d'intelligence artificielle , dans le cas d'une hypothèse « faible » de dérive malveillante dans le sens ou` l'intelligence artificielle impliquée n'a pas de volonté de nuisance ni de « métacompréhension » de son environnement ou de sa propre activité. Ils ne font intervenir que des capacités et fonctionnalités de l'intelligence artificielle existantes ou en cours de développement, notamment dans les récents programmes initiés par la DARPA, l'agence américaine pour les projets de recherche avancée de défense, visitée par vos rapporteurs. La complexité des systèmes et des processus d'apprentissage pourrait conduire à des situations critiques. Le risque naîtrait ainsi de l'association de choix humains et de mécanismes numériques , une série d'éléments mis bout a` bout pourraient en effet devenir potentiellement dangereux sans que chacun de ces mécanismes pris individuellement le soit. Un article devrait paraître en 2017 dans la revue de la Défense Nationale à la suite de cette étude.
En robotique il est nécessaire de toujours pouvoir arrêter un système, la question peut se poser plus généralement pour une intelligence artificielle , qu'il s'agisse d'un système informatique ou de son incarnation dans un robot. La réversibilité du fonctionnement de l'intelligence artificielle est essentielle, elle évoque le Golem de Prague qui se tourne vers son maître, le prophète Jérémie, et lui dit : « défais-moi ! ».
Vos rapporteurs rappellent qu'en 2016, Google a également posé la question du manque de contrôle potentiel d'agents apprenants qui pourraient apprendre à empêcher leur interruption dans une tâche. C'est dans ce sens que la firme développe l'idée d'un « bouton rouge » permettant la désactivation des intelligences artificielles 231 ( * ) .
Pour la CERNA, la question du débrayage de certaines fonctions autonomes , voire de la mise hors service du robot par l'utilisateur, est centrale . Elle se demande ainsi : « Quand et comment l'utilisateur peut-il éteindre des fonctions du robot, voire le robot lui-même ? Le robot peut-il ou doit-il empêcher ces extinctions, dans quelles circonstances et sur quelles bases objectives ? »
Des recherches complémentaires sont nécessaires sur ce sujet. Pour paraphraser Raymond Aron 232 ( * ) , l'enjeu est donc, face à une paix improbable avec les machines, de rendre la guerre impossible .
2. Les biais et les problèmes posés par les données nécessaires aux algorithmes d'apprentissage automatique
Les biais sont l'un des plus gros problèmes posés par les algorithmes d'apprentissage automatique , ou pour être plus rigoureux, posés par les données nécessaires aux algorithmes . La question concerne en effet plus les données que les algorithmes eux-mêmes. Les impacts se font ressentir après le traitement, mais les biais sont introduits en amont dès le stade des jeux de données .
En effet, les algorithmes d'apprentissage automatique et en particulier d'apprentissage profond vont reproduire les biais des données qu'ils traitent , en particulier toutes les discriminations connues dans nos sociétés tant qu'elles ne sont pas corrigées. Les données peuvent inclure toute sorte de biais. Selon vos rapporteurs, cette difficulté ne doit jamais être négligée.
Outre relever le défi de l'apprentissage non supervisé, il convient donc d' être vigilant sur ces biais, qui de surcroît sont souvent invisibles sauf si des efforts de recherche sont entrepris, ainsi que l'ont expliqué plusieurs spécialistes à vos rapporteurs. Les algorithmes ne détectent pas les biais, ils sont « bêtes », comme a pu le dire un chercheur.
Le second rapport de la CERNA, en cours de publication, traite de ce point.
Ces biais peuvent aussi être mis en relation avec les problèmes de loyauté des plateformes , ainsi que de l'utilisation des systèmes d'intelligence artificielle à des fins non éthiques, partisanes et sans diversification des choix , comme le précise votre rapporteure Dominique Gillot.
Vos rapporteurs jugent que la gouvernance des algorithmes et des prédictions qu'ils opèrent est nécessaire .
3. Le phénomène de « boîtes noires » des algorithmes de deep learning appelle un effort de recherche fondamentale vers leur transparence
Les connaissances existantes sur les systèmes d'intelligence artificielle montrent que nous ne disposons d' aucune explication théorique satisfaisante des raisons pour lesquelles les algorithmes de deep learning , à travers des réseaux de neurones artificiels en couches multiples, fonctionnent, ou, pour être plus précis, donnent, dans un certain nombre de domaines, d'excellents résultats et très rapidement.
Ce problème d'opacité reste entièrement à résoudre . On parle à ce sujet de phénomènes de « boîtes noires », mais elles n'ont rien à voir avec les boîtes noires des avions, qui sont des enregistreurs numériques.
Le défi à relever est donc celui de l'objectif d' explicabilité des algorithmes de deep learning . Il s'agit là aussi d'une autre question qui peut se rattacher à la question générale de la gouvernance des algorithmes.
Comme il a été vu, le Conseil général de l'économie (CGE) a rendu le 15 décembre 2016 un rapport au ministre de l'économie et des finances portant sur les « Modalités de régulation des algorithmes de traitement des contenus » 233 ( * ) . Les algorithmes de traitement des contenus sont inséparables des données qu'ils traitent et des plateformes qui les utilisent pour proposer un service. Alors qu'il y a de nombreux travaux sur la protection des données et sur la loyauté des plateformes, il en existe encore peu sur les algorithmes eux-mêmes . Ce rapport souligne donc qu'il faut développer la capacité à tester et contrôler les algorithmes 234 ( * ) .
Vos rapporteurs rappellent à nouveau ici qu'Inria avec sa plateforme scientifique collaborative « Transalgo », lancée en 2017 et placée sous la direction de Nozha Boujemaa, développe en 2017 de manière utile une plateforme scientifique d'évaluation de la responsabilité et de la transparence des algorithmes 235 ( * ) , afin de répondre aux préoccupations exprimées de régulation et d' explicabilité des algorithmes par l'élaboration d'outils et de pratiques transparentes et responsables dans le traitement algorithmique des données. Une telle démarche, en lien avec le Data Transparency Lab du MIT, Mozzilla et Telefonica, va dans le bon sens mais gagnerait à voir sa force de frappe démultipliée par une dynamique de mobilisation de plusieurs équipes de recherche autour de challenges scientifiques nouveaux. Inria ne doit pas être la seule structure en France à porter des projets de ce type. Le CNNum, la CERNA et la CNIL sont associés à la plateforme « Transalgo » mais il s'agit plus de partager des expériences que de conduire des recherches transversales. Inria explique ainsi : « Le CNNum joindra ses forces avec celles d'Inria dans TransAlgo dans le respect des missions de chacun. Il prendra en charge le recensement et l'objectivisation de la situation actuelle de certaines pratiques des plateformes à travers un dispositif contributif (citoyens et professionnels). Les données des différentes sources de régulation européennes ou internationales viendront enrichir également le centre de ressources. Pour faire remonter des cas d'usages bien réels, nous avons prévu de collaborer avec des think tank comme la FING (Fondation internet nouvelle génération), ou des associations de consommateurs comme Que-Choisir, en plus de la CERNA (Commission de réflexion sur l'éthique de la recherche en sciences et technologies du numérique d'Allistene). Nous allons travailler également à partir des remontées d'expression de besoins qui viendront du CNNum, de la Direction Générale de la Concurrence, de la Consommation et de la Répression des Fraudes (DGCCRF), de l'Autorité française de contrôle en matière de protection des données personnelles (CNIL), afin d'identifier les problèmes les plus observés par le citoyen, les industriels, les autorités de régulation ».
Comme il a été mentionné précédemment, l'Institut Convergence i2-DRIVE ( I nterdsciplinary I nstitute for D ata R esearch : I ntelligence, V alue and E thics) s'est donné parmi ses objectifs de se consacrer aux défis scientifiques des algorithmes d'apprentissage et de traitement des données mais aussi à leurs impacts socio-économiques.
4. La question des bulles d'information dites « bulles de filtres »
L' information ciblée tout comme la publicité personnalisée ou la logique de construction des « fils d'actualité » des réseaux sociaux , à l'instar de celui de Facebook, sont autant d'exemples de réalités déjà manifestes d'usage des systèmes d'intelligence artificielle, qui sont de nature à changer notre rapport au monde, aux autres et à la connaissance en orientant, voire en manipulant, notre perception de la réalité .
La réflexion inquiète présentée dans le livre Filter bubbles par Eli Pariser, Président de MoveOn et cofondateur de Avaaz, illustre ce fait : les algorithmes intelligents sélectionnent le contenu d'informations et créent par là des « bulles de filtres » qui se multiplient et transforment le rapport de l'individu au monde .
Ce sujet mérite une vigilance accrue des pouvoirs publics . Pour vos rapporteurs, l'enfermement, qu'il soit politique, idéologique ou cognitif, doit être combattu .
La question va bien plus loin que les critiques formulées à l'encontre des fausses informations, ou fake news, amplifiées par les réseaux sociaux.
Sur ce dernier point, la recherche est assez bien avancée et comme l'a indiqué à plusieurs reprises Yann LeCun, directeur de la recherche en intelligence artificielle de Facebook, l'intelligence artificielle peut aussi être utilisée pour limiter les flux de fausses informations. Des outils de vérification ( fact checking ) sont ainsi mis en place par plusieurs plateformes, à commencer par Facebook et Google.
* 230 Rapport « Sécurité numérique et risques : enjeux et chances pour les entreprises », n° 271 (2014-2015).
* 231 Morgane Tual, « Pourquoi Google a conçu un bouton rouge pour désactiver des intelligences artificielles », Le Monde,ý 7 juin 2016.
* 232 Il utilisait l'expression de « Paix impossible, guerre improbable ».
* 233 http://www.economie.gouv.fr/cge/modalites-regulation-des-algorithmes-traitement-des-contenus
* 234 Ses auteurs proposent cinq pistes d'action qui ont pour objet la montée en compétence et le développement de l'expertise des pouvoirs publics , mais aussi d'appeler au développement de bonnes pratiques dans les différents secteurs économiques. Ils préconisent la création d'une plateforme collaborative scientifique , destinée à favoriser le développement d'outils logiciels et de méthodes de test d'algorithmes, ainsi que de promouvoir l'utilisation de ces outils et méthodes. Ils soulignent aussi qu'il faut préserver une image positive des technologies utilisées pour concevoir ou opérer des algorithmes. C'est essentiel pour continuer à attirer les jeunes générations de françaises et de français dans des filières de formation exigeantes (mathématiques, ingénieurs ou data scientists) où la France est aujourd'hui bien placée.
* 235 Cf. http://www.economie.gouv.fr/files/files/PDF/Inria_Plateforme_TransAlgo2016-12vf.pdf