B. LES SYSTÈMES D'IA JUGÉS « À HAUT RISQUE » SERAIENT SOUMIS À UN CERTAIN NOMBRE D'OBLIGATIONS A PRIORI, INCOMBANT PRINCIPALEMENT AUX FOURNISSEURS
1. Les fournisseurs de systèmes d'IA à haut risque seraient soumis à d'importantes obligations d'évaluation ex ante de la conformité de leurs systèmes
Les fournisseurs de systèmes d'IA classés « à haut risque » seraient soumis à un certain nombre d'obligations ex ante, et seraient contraints de mettre en place un système d'évaluation de conformité de leurs systèmes avant leur mise sur le marché, mais aussi tout au long de leur cycle de vie (titre III, chap. 2 et 3). L'évaluation obligatoire de la conformité du système préalable à toute mise sur le marché devrait en effet être renouvelée à chaque fois que le système ferait l'objet d'une « modification substantielle » (art. 43, 4).
Ces obligations qui s'imposent aux fournisseurs de systèmes d'IA à haut risque comprennent notamment :
- la mise en place d'un système d'identification, d'évaluation et de gestion des risques susceptibles d'apparaître non seulement au cours d'une utilisation conforme du système, mais également au cours de toute mauvaise utilisation « raisonnablement prévisible » ;
- la mise en place de mesures d'atténuation des risques et de contrôle des risques résiduels, prenant en compte l'environnement dans lequel le système est utilisé et les caractéristiques des utilisateurs ;
- des exigences en matière de qualité des jeux de données utilisées pour l'entraînement des systèmes, et de gouvernance de ces données, ainsi que d'exactitude et de robustesse du système tout au long de son cycle de vie ;
- l'établissement et la tenue à jour d'une documentation technique pour chaque système ainsi que la traçabilité des événements survenus pendant leur fonctionnement (journaux automatiques) ;
- la fourniture aux utilisateurs du système de toutes les informations nécessaires sur les caractéristiques de ce dernier, y compris les risques résiduels qu'il comporte ;
- une conception des systèmes telle que le fonctionnement de ces derniers est suffisamment transparent pour permettre à leurs utilisateurs de l'utiliser de manière appropriée, en particulier d'interpréter correctement leurs résultats (art. 13).
Afin de certifier la conformité de leurs systèmes aux spécifications détaillées dans la proposition de règlement, les fournisseurs de systèmes d'IA seraient tenus de les faire évaluer avant leur mise sur le marché (art. 43).
Les systèmes composants de produits déjà couverts par une des législations harmonisées de l'Union sur la sécurité des produits seraient soumis aux mêmes mécanismes de conformité et d'application que les produits dont ils font partie, qui intégreraient donc désormais le respect des exigences établies par le nouveau règlement.
Les autres systèmes d'IA pourraient être évalués soit par une procédure fondée sur le contrôle interne, soit par un organisme notifié - excepté pour les systèmes d'identification biométrique à distance, qui devraient obligatoirement être soumis à une évaluation de la conformité réalisée par un tiers.
Les systèmes évalués avec succès disposeraient ensuite d'un marquage « CE » (art. 19 et 49), et seraient enregistrés par les fournisseurs dans une base de données européenne (art. 51 et 60).
Les fournisseurs de systèmes d'IA devraient en outre être en mesure d'apporter des preuves de conformité du système d'IA à haut risque au règlement, en cas de demande en ce sens d'une autorité nationale compétente.
Enfin, les fournisseurs seraient tenus de mettre en oeuvre des systèmes de surveillance après commercialisation et, tout au long de la vie du système d'IA, d'informer les autorités nationales compétentes des incidents ou dysfonctionnements graves qui constituent une violation des obligations en matière de droits fondamentaux dès qu'ils en auront connaissance (art. 22 et 62).
2. Le contrôle de la mise en oeuvre du règlement incomberait aux autorités nationales compétentes
Les États membres devraient désigner une (ou plusieurs) autorité(s) nationale(s) chargée(s) de contrôler l'application du règlement (art. 59), qui pourrai(en)t, si elle(s) considère(nt) qu'un système d'IA présente un risque pour la santé, la sécurité ou les droits fondamentaux, procéder à toutes les vérifications utiles et, si le risque se confirme, inviter le fournisseur à prendre les mesures correctives appropriées, voire retirer le système du marché. Un mécanisme de partage de l'information avec toutes les autorités nationales chargées de la protection des droits fondamentaux qui pourraient être affectés par ce risque est également prévu (par exemple, en France, la CNIL devrait être avertie en cas de risque pour la protection des données à caractère personnel, y compris si l'autorité nationale compétente concernée était une autre autorité29(*)).
L'autorité nationale compétente pourrait également, en cas de non mise en conformité, prendre les mesures provisoires appropriées pour interdire ou restreindre la mise à disposition du système d'IA de son marché national. En outre, elle aurait le pouvoir d'enquêter sur les incidents notifiés par les fournisseurs et de transmettre leurs conclusions à la Commission.
Les sanctions applicables aux violations du règlement, qui seraient déterminées par les États compétents, pourraient aller (art. 71) :
- jusqu'à 30 M € ou 6 % du chiffre d'affaires mondial annuel du fournisseur en cas de pratique d'IA interdite par le règlement ou de non-conformité d'un système d'IA à haut risque concernant les jeux de données ;
- de 10 à 20 M € ou 4 à 6 % du chiffre d'affaire en cas de non-respect des autres obligations posées par le règlement.
En outre, afin d'harmoniser la mise en oeuvre du règlement, la proposition prévoit la création d'un « Comité européen de l'intelligence artificielle » (titre VI, chap. 1, art. 56 à 58), composé de représentants des autorités de contrôle nationales et du Contrôleur européen de la protection des données, et présidé par la Commission.
Ce Comité serait principalement chargé d'assister les autorités de contrôle nationales et la Commission dans la mise en oeuvre du règlement, afin d'en assurer une application cohérente, mais pourrait également formuler des avis et recommandations sur toutes questions liées à la mise en oeuvre du règlement, notamment relativement aux normes et spécifications techniques, ainsi qu'aux lignes directrices qui devraient être élaborées au titre du règlement.
* 29 La proposition de règlement prévoit que les autorités nationales compétentes seraient les autorités désignées par les actes législatifs afférents pour les systèmes d'IA couverts par une législation sectorielle de l'Union, les autorités de surveillance des établissements financiers pour ces derniers, le Contrôleur européen de la protection des données pour les institutions, agences et organes de l'Union, et les autorités compétentes en vertu du droit national ou, à défaut, les autorités de protection des données à caractère personnel pour les systèmes de reconnaissance biométriques utilisés par des autorités répressives et les systèmes d'IA utilisés par ces dernières et les autorités de gestion des migrations.