B. DANS CERTAINS CONTEXTES, L'IA EST SUSCEPTIBLE DE CAUSER DE GRAVES ATTEINTES AUX DROITS FONDAMENTAUX, CE QUI NÉCESSITE DE LA RÉGULER AFIN DE MAINTENIR UN HAUT DEGRÉ DE PROTECTION POUR LES EUROPÉENS
L'IA n'est en elle-même ni une opportunité ni un danger : comme toutes les technologies, sa valeur dépend de l'usage qu'on en fait. Pour les représentants de l'Agence des droits fondamentaux de l'Union, comme pour les représentants du Comité sur l'intelligence artificielle du Conseil de l'Europe, l'IA est même globalement propice à la protection des droits fondamentaux des personnes, par exemple en contribuant à la lutte contre les usurpations d'identité, en soutenant l'action des autorités répressives contre certains types de criminalité ou en améliorant l'efficacité de la gestion des flux migratoires et demandes d'asile.
Cependant, mal utilisée, elle peut aboutir, virtuellement, à la violation de l'ensemble des droits fondamentaux, et plus particulièrement des droits suivants, identifiés par l'Agence des droits fondamentaux dans une étude menée en 201919(*) :
- le respect de la vie privée et la protection des données à caractère personnel, dans la mesure où les systèmes d'IA traitent souvent de telles données ;
- l'accès à la justice, si la personne affectée par une décision prise par un système d'IA susceptible de porter atteinte à ses droits fondamentaux n'est pas informée de l'utilisation d'un système d'IA et des modalités de contestation et de plainte ;
- la non-discrimination.
Ce dernier point doit faire l'objet d'une attention toute particulière, dans la mesure où la discrimination qui peut découler de l'usage de systèmes d'IA du fait de la présence de biais peut se faire à l'insu des créateurs et des utilisateurs du système. En effet, la non-utilisation de données sensibles (telles que l'origine ethnique, l'âge, le sexe, etc.), ne garantit pas les systèmes contre tout risque de biais, car de telles données peuvent dans une large mesure être inférées automatiquement (à juste titre ou non) par le système, à partir des données non-sensibles qui leur sont reliées (« proxies »).
L'absence générale de tout cadre juridique clair dans laquelle est jusqu'à présent déployée l'IA constitue sans aucun doute un risque pour les droits fondamentaux.
1. Reposant sur des modèles statistiques et susceptible de continuer à « apprendre » après sa mise en service, l'IA s'accommode mal des schémas classiques de prévention et d'atténuation des risques
Ainsi que plusieurs interlocuteurs l'ont souligné auprès des rapporteurs de la commission des affaires européennes, l'IA, par nature, donne des résultats qui sont d'ordre probabiliste, et ne peuvent en aucun cas parvenir à une robustesse parfaite. Si cette imperfection inhérente au fonctionnement même de l'IA est, dans la plupart des cas d'usage, sans conséquence, dans des usages critiques - lorsqu'il s'agit, notamment, de la sécurité ou des droits des personnes - toute erreur, même unique, peut avoir des conséquences importantes, voire vitale, sur les personnes. Il est donc nécessaire de mettre au point des protocoles afin de déterminer dans quels cas et comment il est possible d'utiliser l'IA dans ces activités critiques.
À cet égard, il convient de souligner, comme le rappelle la CNIL dans les réponses écrites fournies aux rapporteurs de la commission des affaires européennes, que « si la définition donnée à l'intelligence artificielle est généralement large [...], ce sont les systèmes reposant sur l'apprentissage automatique (machine learning) qui posent le plus de questions »20(*). Les principaux enjeux posés par ce type de systèmes concernent :
- la qualité des données utilisées pour les entraîner et les faire fonctionner, en terme d'exactitude et de représentativité, avec, en cas de mauvaise qualité, des risques de biais et de discrimination ;
- la quantité des données nécessaires pour les faire fonctionner, qui peut notamment entrer en conflit, pour les données à caractère personnel, avec le principe de minimisation de la collecte des données posé par le RGPD ;
- en ce qui concerne spécifiquement les données à caractère personnel, les risques de profilage pouvant conduire à un enfermement des individus sur la base de leurs données initialement récoltées.
Compte tenu de leur complexité et de leur opacité (effet « boîte noire »), les systèmes d'IA représentent également un défi en termes de transparence, qu'il s'agisse de l'information des utilisateurs et des personnes affectées par des systèmes d'IA, ou de la capacité des organismes de contrôle à exercer leur mission.
Plus fondamentalement, la « délégation du pouvoir »21(*) de choisir à des systèmes d'IA peut déboucher sur une véritable perte de contrôle des individus, et donc à un amoindrissement dommageable de leur liberté.
Enfin, comme tous les systèmes numériques, les systèmes d'IA présentent des risques de cybervulnérabilité, qui sont accrus par leur nature même, notamment la nécessité de disposer d'un grand nombre de données.
2. Les systèmes d'IA constituent un défi particulier en matière de protection des données à caractère personnel
Tous les systèmes d'IA n'utilisent pas des données à caractère personnel, y compris parmi ceux classés « à haut risque » dans la proposition de règlement. Cependant, ainsi que souligné dans l'avis conjoint sur la proposition du Contrôleur européen de la protection des données et du Comité européen de la protection des données, c'est le cas de la plupart d'entre eux.
Le Règlement général sur la protection des données (RGPD)22(*) , texte technologiquement neutre, s'applique aux systèmes d'IA ; sont particulièrement pertinents pour ces derniers les principes de finalité, licéité, transparence, proportionnalité, minimisation, limitation de la durée de conservation, sécurité et confidentialité, ainsi que, plus spécifiquement, les dispositions de l'article 22 sur les prises de décision automatisées, qui prévoit que toute personne « a le droit de ne pas faire l'objet d'une décision fondée exclusivement sur un traitement automatisé, y compris le profilage, produisant des effets juridiques la concernant ou l'affectant de manière significative », sauf si ce traitement est fondé sur le consentement, s'il est nécessaire à l'exécution d'un contrat ou s'il est autorisé par le droit de l'Union ou de l'Etat membre compétent. Dans les deux premiers cas, la personne concernée doit pouvoir obtenir une intervention humaine et contester la décision prise sur la base du système d'IA. Dans tous les cas, sauf exceptions, les systèmes d'IA ne peuvent utiliser de données sensibles23(*).
La CNIL considère que le principe de consentement à l'utilisation des données, qui n'est pas la seule base légale prévue par le RGPD, et le principe de minimisation des données, qui s'apprécie au regard de la finalité du système, en lien avec le principe de proportionnalité, ne sont pas des obstacles en soi au fonctionnement de systèmes d'IA.
* 19 Rapport Bien préparer l'avenir. L'intelligence artificielle et les droits fondamentaux, Agence des droits fondamentaux de l'Union européenne, 2021.
* 20 Même si les systèmes d'IA par apprentissage supervisé, avec des données annotées, peuvent également engendrer des biais, ces derniers sont plus facilement repérables et objectivables.
* 21 Selon l'expression employée par la CNIL.
* 22 Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l'égard du traitement des données à caractère personnel et à la libre circulation des données, abrogeant la directive 95/46/CE.
* 23 Au sens de l'article 9 du RGPD.