V. AUDITIONS DU 28 NOVEMBRE 2016
1. M. Claude Berrou, professeur à Télécom Bretagne (Institut Mines-Télécom), chercheur en électronique et informatique, membre de l'Académie des sciences
M. Claude Berrou est principalement connu pour avoir inventé les premiers codes correcteurs d'erreur quasi-optimaux, au sens de la théorie de Shannon, appelés turbo-codes 88 ( * ) . Ces turbo-codes sont massivement utilisés dans les troisième et quatrième générations de téléphonie mobile et dans de nombreux systèmes satellitaires. Cette invention a permis à M. Berrou d'être distingué en 2005 en recevant le prix Marconi, qui est considéré comme le prix Nobel des télécoms, et en 2007 en étant élu membre titulaire de l'Académie des sciences. À partir de 2009-2010, M. Berrou s'est concentré sur les neurosciences, en remarquant que le cerveau humain avait des propriétés de correction d'erreur : le cerveau humain est capable de corriger des approximations, des effacements, des inversions de lettres, de reconnaître un sens dans un discours, etc. Il a de fait soumis un programme de recherche à l'Agence Nationale de la Recherche sur les liens entre théorie de l'information, codage et cognition mentale. Cependant, l'ANR a refusé son programme ; M. Berrou a soumis donc son dossier au niveau européen auprès du Conseil européen de la recherche, qui a retenu son projet. M. Berrou a ainsi obtenu une bourse ERC Advanced Grant de l'ordre de deux millions d'euros de la part du Conseil européen de la recherche, ce qui lui a permis de composer une équipe de recherche interdisciplinaire réunissant un neuropsychologue, un psycholinguiste, des théoriciens de l'information, des électroniciens, des informaticiens, etc. En cela, la composition d'équipes de recherche interdisciplinaire est indispensable pour avancer vers une véritable intelligence artificielle.
L'intelligence artificielle est une expression très lapidaire. L'intelligence naturelle est multiforme mais il est quand même possible de distinguer deux grandes catégories. La première grande catégorie d'intelligence est celle qui nous relie au monde extérieur. Cette première catégorie d'intelligence est apparue avant la deuxième catégorie dans l'évolution, et que l'humain partage avec la plupart des espèces animales. Cette intelligence de premier type regroupe ce qui concerne les sens, la perception, l'apprentissage, la reconnaissance et l'adaptation - chacun est un être vivant dans un monde fluctuant, riche en détails, et cet être doit s'adapter et survivre. Aujourd'hui, dans la recherche de ce qui est appelé intelligence artificielle dans le monde de l'informatique, c'est en grande majorité l'intelligence des sens qui est recherchée. Par exemple, la voiture autonome nécessite une intelligence de la vision, du radar, etc. La voiture artificielle est une réussite en termes d'intelligence artificielle sur cette première catégorie de facultés permettant le lien au monde extérieur.
La seconde grande catégorie d'intelligence est propre à chaque individu. Elle englobe les facultés de l'esprit, celles qui permettent à l'humain d'imaginer, d'élaborer, d'inventer, de produire . Le seul modèle à disposition pour essayer de reproduire dans une machine des propriétés de cette intelligence créatrice est le cerveau. Le cerveau a une architecture qui est nettement différente de celle des ordinateurs classiques. Les processus de mémorisation et de traitement de l'information du cerveau s'entremêlent dans un même écheveau de connections synaptiques qui se comptent en milliers de milliards. Cette intelligence de deuxième type peut être appelée intelligence artificielle générale.
Plus de 95 % de la communauté scientifique - mathématiciens, informaticiens, théoriciens de l'information - s'intéressent surtout aux sens. Cela inclut la reconnaissance de visages, de scènes, etc. Sur ce point, la France est en retard. Cependant, sur l'intelligence de deuxième type, qui ne peut être que neuro-inspirée, la France a une carte très importante à jouer, à condition que soit mise en place une recherche pluridisciplinaire. L'association de neurosciences, d'informatique, de théories de l'information et d'électronique serait très efficace. Afin d'obtenir une intelligence artificielle neuro-inspirée, il faut s'abstraire du composant. Il est nécessaire d'avoir une vision de système.
Les GAFA sont leaders dans le domaine de l'intelligence artificielle de premier type, dans laquelle ils investissent des milliards de dollars. Concernant l'intelligence artificielle de deuxième type, neuro-inspirée, le seul modèle est le cerveau humain et celui de quelques animaux. Il existera cependant probablement une intelligence artificielle de troisième type qui consistera à reproduire au niveau informationnel l'architecture du cerveau avec plus de modules spécialisés (essentiellement les sens) et généralistes (agrégation d'informations hétérogènes) que dans le cerveau humain. Pouvoir créer une intelligence artificielle de troisième type exigera un haut niveau de compréhension du cerveau humain et de ses modules spécifiques, ses hubs , ses circuits de communication ; mais il devra être possible d'en mettre encore plus que dans un cerveau humain. Il existe entre deux cents et trois cents modules dans le cerveau et trente milliards de neurones dans le cortex humain ; rien n'empêchera de créer des machines qui représenteront l'équivalent de trois cents milliards ou trois mille milliards de neurones. Ce phénomène représentera la singularité technologique.
Les débats éthiques se construisant autour de l'intelligence artificielle sont nombreux. Cependant, il semble que ces débats soient prématurés. Si les applications d'intelligence artificielle se limitent à de l'intelligence de premier type, le débat éthique est prématuré : le cas typique du véhicule autonome pose certaines questions mais pas davantage que concernant le cas d'un avion de chasse. Une machine préprogrammée, qui n'apprend pas de ses expériences, qui est non apprenante, ne présente pas plus de dangers qu'un ordinateur de bureau . Les algorithmes étant une succession d'opérations mathématiques, il n'y a pas de question déontologique ni éthique à se poser quant à leurs résultats . Les questions doivent davantage se poser sur les applications.
Le véritable enjeu pour la France est l'indépendance informatique , qui est tout aussi stratégique que l'indépendance énergétique ou l'indépendance militaire. Cependant, concernant l'intelligence de premier type, au vu du retard accumulé, la France risque de ne pas être acteur mais simplement consommateur. En revanche, sur l'intelligence du deuxième et du troisième type, il est possible qu'un grand programme sur l'intelligence artificielle neuro-inspirée permette à la France d'acquérir son indépendance informatique. Sous une impulsion nationale, un programme de financement de recherche et développement, permettant d'aller jusqu'à l'application, est tout à fait possible. Les expertises en présence, la formation sont de qualité ; il demeure simplement des verrous à lever, en termes de nombre de postes, de financements difficiles à obtenir, etc.
2. M. Nicolas Cointe et Mme Fiona Berreby, chercheurs en thèse de doctorat sur l'éthique de l'intelligence artificielle
Les recherches de M. Nicolas Cointe et Mme Fiona Berreby sur la modélisation des raisonnements éthiques autour des agents autonomes artificiels dans le cadre du projet Ethicaa visent trois objectifs : définir en quoi un agent autonome artificiel peut être éthique ; produire des représentations formelles de conflits éthiques et de leurs objets - le conflit éthique peut être au sein d'un seul agent humain, entre un agent autonome artificiel et un utilisateur humain, ou entre plusieurs agents ; et, enfin, élaborer des algorithmes d'explication et de compréhension pour les utilisateurs non experts .
La question de l'éthique de l'intelligence artificielle peut être tout d'abord abordée sous la perspective de la représentation des conflits éthiques au sein d'un seul agent . La recherche développée par Mme Fiona Berreby consiste à modéliser des situations posant un dilemme éthique. L'une de ces situations posant un dilemme est appelée le « dilemme du tramway », qui est en deux parties.
Dans la première partie, un train roule sur une voie et l'agent a le pouvoir d'aiguiller le train. Si l'agent n'aiguille pas le train et le laisse donc poursuivre sur sa lancée, cinq personnes se trouvant sur la voie seront tuées ; cependant, si l'agent décide d'aiguiller le train, ce dernier écrasera une seule personne se trouvant sur cette voie de déviation. Selon de nombreuses études exposant la première partie du dilemme du tramway à des individus interrogés sur leur choix éthique, ces derniers estiment en majorité qu'il est préférable d'adopter une décision utilitariste qui consiste à aiguiller le train afin de minimiser les pertes humaines .
Dans la seconde partie, le train se dirige toujours vers cinq personnes mais l'agent, se trouvant sur un pont au-dessus de la voie, n'a plus le pouvoir d'aiguiller le train. Le seul moyen d'empêcher le train de tuer ces cinq personnes est de faire basculer depuis le pont une personne devant le train afin de sauver les cinq personnes. Cependant, les résultats de cette partie de ces études divergent de ceux de la première partie, car dans cette configuration , les individus interrogés refusent le raisonnement utilitariste de basculement d'une personne devant le train , solution qui privilégie la protection d'un maximum de vie humaine.
Il existe de fait une déviation de la réflexion des individus sondés dans le dilemme du tramway . La différence de considération éthique dans les deux parties, malgré le même rapport de cinq vies humaines contre une seule, peut s'expliquer par le fait que, dans la deuxième partie du dilemme, l'agent utilise la mort d'une personne comme une cause du sauvetage des cinq personnes, alors que dans la première partie, la mort de la personne n'est pas la cause mais la conséquence du sauvetage des cinq personnes. En outre, si dans la première partie, la mort d'une personne est une conséquence indirecte, cette mort nécessite dans la deuxième partie que l'agent commette directement un acte mauvais. C'est ici la doctrine du double effet qui modifie la perception éthique de ce dilemme : bien que l'objectif soit de sauver un maximum de vies, le fait qu'une personne meure de la décision de l'agent trouble plus fortement cette décision lorsque l'agent doit directement agir - ici, provoquer la mort de cette personne - pour parvenir à son objectif.
L'objectif d'expériences éthiques et de dilemmes appliqués au développement de l'intelligence artificielle est, à partir de règles éthiques préétablies, de permettre à l'agent autonome artificiel de calculer à partir des faits du monde et de ses règles éthiques la réaction acceptable par rapport à un dilemme .
La question de la représentation de l'éthique peut ensuite être abordée sous l'angle des systèmes multi-agents . Un système multi-agents est un système qui comprend plusieurs entités intelligentes - aussi bien des humains que des agents autonomes artificiels, doués d'intelligence artificielle. La discipline des systèmes multi-agents s'intéresse à la problématique de l'existence de systèmes qui comprennent des agents autonomes artificiels et qui peuvent être homogènes - où les agents sont identiques - ou hétérogènes. De nombreux systèmes impliquent à la fois des humains et des agents autonomes artificiels, comme la défense, la finance, les transports et la santé, dans lesquels des dilemmes moraux sont en jeu.
Le problème principal abordé dans les systèmes multi-agents est celui de la coopération d'agents autonomes artificiels avec des humains ou entre agents avec des éthiques différentes . L'éthique des individus varie selon les individus, en fonction de la culture, de l'éducation, de la religion ; les règles de valeurs et de morale peuvent différer mais coexister dans des systèmes multi-agents où interagissent des agents hétérogènes.
La morale et l'éthique sont distinctes. La morale décrit ce qui est bien ou mal dans l'absolu ; l'éthique est un moyen de réflexion qui permet de prendre des décisions justes dans un contexte précis, décisions prises selon une doctrine.
Il existe trois grandes approches formulées dans la littérature scientifique sur la question des raisonnements éthiques des agents autonomes artificiels .
La première approche fut apportée par un chercheur de l'armée nord-américaine, qui proposait d'avoir une réflexion éthique avant la conception des robots, puis de restreindre le comportement des robots à uniquement des actions éthiques au regard de ce qui a été pensé avant sa conception . C'est une forme de verrou qui est apposé sur la machine, ce qui suppose que la vérité en matière d'éthique appartienne entièrement au concepteur et interdit l'interaction éthique. Dans ce système, la machine n'a pas de représentation explicite de l'éthique ; elle n'est pas capable d'expliquer en quoi ses actions sont éthiques. Cette approche n'est pas générique : à chaque fois qu'un robot sera construit, le concepteur devra réfléchir à la dimension éthique de toutes ses actions, et si certaines sont omises, cela échappera au contrôle de la machine.
La deuxième approche est celle de l'apprentissage ( learning ), qui implique que la machine n'a plus besoin d'être recodée à chaque fois. Il suffit de lui montrer des cas différents afin qu'elle apprenne à agir éthiquement dans des contextes différents. Il n'y aurait cependant toujours pas de représentation explicite, la machine ne pouvant expliquer ses choix éthiques car elle n'a pas de représentation symbolique de ses connaissances. En outre, une machine qui va trop se fier au cas étudié lors de son apprentissage aura comme problème d'identifier des situations de manière trop précise par rapport à certaines autres et fera des biais de raisonnement. Au contraire, si une machine n'a pas rencontré lors de son apprentissage un cas auquel elle est confrontée, elle ne connaîtra pas la réaction appropriée.
La troisième approche est l'approche de raisonnement symbolique . C'est une approche fondée sur les règles, qui est générique, et permet donc à la machine de déduire de ses connaissances éthiques l'action appropriée. Cette approche permet aussi de fournir à la machine des connaissances explicites, en lui formulant des règles morales, en lui donnant des connaissances sur les valeurs et les situations. La machine sera de fait capable de déduire de manière exhaustive tout ce qu'elle peut déduire de manière logique à partir de cet ensemble. L'objectif est de pouvoir expliquer à l'utilisateur humain pourquoi une action a été considérée comme juste, selon un ensemble de règles et de doctrines, en retraçant le processus de décision de l'algorithme .
3. Mme Laurence Devillers, professeur d'informatique à l'Université Paris-Sorbonne et directrice de recherche du CNRS au Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur (Limsi de Saclay)
Du fait du développement de l'intelligence artificielle et des systèmes experts fondés sur des algorithmes complexes, il existe un besoin crucial de formation continue des individus sur les technologies du numérique , à tout niveau et à tout âge. La révolution numérique est une évidence et afin d'éviter les spéculations et les peurs, mettre en oeuvre une formation continue de l'individu sur les questions numériques permettrait de le guider vers l'évidence des bienfaits qu'il peut en tirer.
Dans la perspective du besoin essentiel d'éducation continue sur l'intelligence artificielle, la Maison blanche a mis en place des formations en intelligence artificielle réservées aux journalistes afin que ces derniers puissent parler notamment de l'apprentissage automatique ( machine learning ) et du codage des algorithmes sans tomber dans des facilités angoissantes dues à un manque de connaissance de ces sujets.
De manière plus générale, les personnes portant une parole publique et étant amenées à exprimer une opinion sur ces sujets doivent être au fait des connaissances . En ce sens, il est essentiel de simplifier et rendre plus accessible la connaissance, ce qui implique que les scientifiques prennent publiquement la parole . Plus l'information et la connaissance seront partagées, moins il y aura d'inquiétude à propos de l'intelligence artificielle.
Cependant, un large accès à la formation continue en matière d'intelligence artificielle n'empêche pas qu'un niveau de sécurité certain doit être assuré, notamment concernant la protection des données lors de l'utilisation de logiciels « en nuage » ( cloud computing ). Le besoin d'éducation nécessite, au-delà de la compréhension des systèmes, la compréhension des enjeux . Le caractère virtuel du consentement concernant la protection des données personnelles amène souvent les utilisateurs à sous-estimer l'importance du consentement qu'ils donnent en un « clic ».
Quatre leviers sont identifiés par l'Initiative pour l'éthique des systèmes autonomes de l'Institut des électriciens et électroniciens (IEEE) pour affirmer la place de l'éthique dans le développement de systèmes d'intelligence artificielle. Tout d'abord, le premier levier est l'éducation : les individus doivent être conscients de ce qu'est un système d'intelligence artificielle, fondé sur des algorithmes, sous ses différentes formes. Le deuxième levier consiste à élaborer des règles morales à intégrer aux systèmes automatiques d'intelligence artificielle . Le troisième levier revient à se doter d'outils de vérification, d'évaluation du traitement et de mémorisation des données . Les algorithmes ne peuvent être complètement transparents, mais il est possible de les évaluer de différentes manières. Enfin, le quatrième levier repose sur l'existence de règles juridiques en cas d'abus.
L'apprentissage des machines se différencie des notions technologiques fondamentales , par rapport à la notion d'évaluation notamment. L'apprentissage d'une machine et l'enrichissement de son algorithme ne sont pas transparents. Dans le cas de l'apprentissage profond ( deep learning ), ce sont des matrices du chiffre qui structurent l'algorithme de la machine, elles ne peuvent donc être transparentes. Il faut de fait trouver de nouveaux moyens d'évaluer qui soient reproductibles. De plus, si la machine s'adapte, si elle ajoute de nouvelles données à son modèle, son modèle change. Ainsi, si l'évaluation de la machine est reproductible malgré ses évolutions, alors un objectif de transparence est atteint. Ce n'est pas le système qui peut être évalué de manière transparente, mais la manière dont réagit le système dans différents contextes à des temps différents d'utilisation.
En outre, les GAFAMI ont une stratégie de récupération massive des données . Ces données ainsi que les algorithmes et technologies utilisées par ces industries ne sont pas, pour la plupart, mises à la disposition des scientifiques, ces derniers ne constituant de fait plus des garde-fous. Il est possible d'illustrer ce point avec l'exemple de la prise en considération des enjeux éthiques. Même si les géants nord-américains de l'industrie numérique (Google, Amazon, Facebook et IBM) s'intéressent à des problématiques éthiques du développement de l'intelligence artificielle, il demeure qu'ils traitent de ces sujets entre eux, sans que la communauté scientifique n'ait de visibilité ni puisse vérifier leurs travaux.
* 88 Le principe des turbo-codes est d'introduire une redondance dans le message afin de le rendre moins sensible aux bruits et perturbations subies lors de la transmission.