DAVANTAGE DIFFÉRENCIER LE DEGRÉ DE PROTECTION POUR TENIR COMPTE DES DIFFÉRENTS CAS D'USAGE ET DES CARACÉTRISTIQUES SPÉCIFIQUES DES CHAÎNES DE VALEUR DE L'IA
· Mieux définir les applications d'IA à haut risque, pour plus de sécurité juridique
Ø Affiner le verbatim de l'annexe III, afin de supprimer ou modifier les expressions qui pourraient amener à inclure dans les applications à haut risque des champs excessivement vastes d'applications d'IA.
Ø Prendre en compte les risques systémiques dans la définition des systèmes d'IA à haut risque.
Ø Classer parmi les systèmes à haut risques, les systèmes :
o susceptibles d'influencer ou d'avoir des incidences négatives sur les droits des personnes vulnérables, en particulier des enfants ;
o susceptibles d'avoir un impact direct sur l'état de santé des personnes ;
o utilisés pour déterminer les primes d'assurance ;
o utilisés pour évaluer des traitements médicaux ou à des fins de recherche médicale ;
o composantes d'applications de santé et de bien-être ;
o destinés à établir des priorités dans l'envoi des services de police ;
Ø Soumettre les modifications apportées à la liste des systèmes à haut risque à un examen de scientifiques et praticiens de l'IA.
Ø Dresser une liste des systèmes d'IA à haut risque utilisés dans la sphère publique.
· Étendre la liste des pratiques interdites
Ø Préciser qu'en matière d'IA, les pratiques interdites pour le secteur public le sont également pour le secteur privé, afin que l'usage d'un système d'IA ne puisse jamais substantiellement porter atteinte à l'essence même d'un droit fondamental.
Ø Interdire les pratiques susceptibles d'exploiter les éventuelles vulnérabilités économiques et sociales d'un groupe de personnes et risquant d'entraîner un préjudice social ou économique.
Ø Interdire totalement, compte tenu des risques particuliers posés pour les droits fondamentaux, les systèmes :
o de reconnaissance des émotions ;
o de notation sociale ;
o ayant pour objet la catégorisation des personnes dans l'espace public ;
o visant à classer les individus à partir de données biométriques dans des groupes relevant de catégories correspondant à des données sensibles.
Ø Généraliser le principe d'une interdiction des systèmes d'identification biométrique à distance dans l'espace public, sauf exceptions.
· Préserver les capacités d'action des forces de sécurité et les usages régaliens de l'IA
Ø Exclure du champ d'application du règlement les systèmes d'IA développés ou utilisés :
o à des fins militaires, y compris les systèmes d'IA duaux ;
o aux fins d'activités ayant trait à la défense et à la sécurité nationale.
Ø Apporter des aménagements, sous réserve de garanties appropriées pour la protection des droits fondamentaux, aux règles régissant l'utilisation des systèmes d'IA par les autorités répressives.
Ø Ne pas soumettre systématiquement l'exploitation des résultats obtenus à l'aide de systèmes d'identification biométrique à distance à l'exigence d'un double contrôle humain dans le secteur répressif et celui de la gestion des migrations, de l'asile et des contrôles aux frontières.
Ø Dans le contexte du développement du métavers, réfléchir à l'intégration de la notion d'espace public virtuel, afin qu'y soient appliquées les mêmes restrictions que dans l'espace public physique.
Ø Mieux définir les critères permettant d'activer les exceptions prévues à l'interdiction des systèmes d'identification biométrique à distance « en temps réel » par les autorités répressives, afin de prévenir toute dérive en ce domaine.
· Mieux prendre en compte les personnes affectées par l'IA sans en être utilisatrices
La proposition de règlement concerne principalement les fournisseurs de systèmes d'IA, et dans une moindre mesure les « utilisateurs », ce terme s'entendant, dans la version française du texte, comme personnes mettant en oeuvre un système d'IA. Il conviendrait d'y ajouter les personnes qui, sans être utilisatrices, sont affectées par un système d'IA, par exemple parce qu'elles font l'objet d'une décision de la part d'un système d'IA.
Ø Garantir la mise à disposition, par les fournisseurs et utilisateurs de systèmes d'IA, d'une information intelligible et accessible à tous, afin que les personnes exposées à un tel système en soient systématiquement informées.
Ø Réfléchir à l'élaboration d'un mécanisme d'alerte permettant aux personnes affectées par les systèmes d'IA de signaler aux régulateurs, aux fournisseurs ou aux utilisateurs les éventuels usages abusifs ou performances défaillantes de ces systèmes.