Mardi 7 septembre 2021
- Présidence de Mme Martine Berthet, présidente -
La réunion est ouverte à 10 heures.
Audition de M. Éric Delisle, chef du service des questions sociales et RH à la CNIL, et de M. Nicolas Kanhonou et Mme Sarah Benichou, directeur et adjointe chargés de la promotion de l'égalité et de l'accès au droit auprès de la Défenseure des droits
Mme Martine Berthet, présidente. - Nous sommes très heureux de reprendre aujourd'hui les auditions de notre mission d'information ; nous attendons vos éclairages sur les nombreuses questions que notre rapporteur, nos collègues et moi-même vous poserons, en particulier pour ce qui concerne l'accès aux données des travailleurs des plateformes.
M. Pascal Savoldelli, rapporteur. - Cette audition tombe à point nommé : vos réponses aux questions que nous avons fait parvenir et à celles que nous allons vous poser représentent une étape importante de notre travail autour des travailleurs des plateformes, de leur liberté et de leur accès aux « boîtes noires » que sont trop souvent les algorithmes en cause. Pouvez-vous d'ores et déjà nous présenter vos réflexions au regard des questions que nous vous avons adressées ?
M. Nicolas Kanhonou, directeur chargé de la promotion de l'égalité et de l'accès au droit auprès de la Défenseure des droits. - Si le Défenseur des droits ne s'est jamais exprimé spécifiquement sur les phénomènes d'uberisation de la société, il s'est en revanche penché à plusieurs reprises sur les algorithmes et leurs effets potentiellement discriminatoires. Il a publié en 2015 un guide intitulé Recruter avec des outils numériques sans discriminer, où la responsabilité de l'employeur quant à l'usage de ces technologies était déjà détaillée. Son intérêt pour ces questions a été démultiplié en 2019 par les débats autour de Parcoursup : une décision a été rendue à la suite d'alertes lancées, notamment, par des candidats en situation de handicap. À cette occasion, le Défenseur des droits s'est notamment exprimé sur la nécessaire transparence des algorithmes. Un document a ensuite été produit en commun avec la Commission nationale de l'informatique et des libertés (CNIL) sous le titre : Algorithmes : prévenir l'automatisation des discriminations. Enfin, cet été, la Défenseure des droits a publié un rapport sur les technologies biométriques.
Concernant la thématique de votre mission d'information, notre réflexion porte surtout sur la transparence des technologies en question, ainsi que sur la capacité que l'on a de les contrôler. Les algorithmes ne sont pas neutres : des biais peuvent s'y introduire à toutes les étapes de leur élaboration et de leur déploiement. Or les effets discriminatoires de tels biais sont plus difficiles à repérer que ceux que produirait la simple inscription dans un algorithme d'un critère de discrimination interdit. Ces biais découlent le plus souvent d'un manque de représentativité des données fournies à ces algorithmes : elles reflètent souvent les comportements discriminatoires qui existent dans notre société. Ces biais peuvent être encore amplifiés par les systèmes dits d'« intelligence artificielle » censés perfectionner les algorithmes.
Il est très difficile de prendre conscience du fait qu'on est victime d'une telle discrimination à l'échelle individuelle. C'est pourquoi il existe très peu de jurisprudence à ce sujet. Même dans les cas où la victime s'en rend compte, il faudrait pour s'attaquer au problème disposer du contenu de l'algorithme et de ses données d'entraînement ; or les entreprises refusent le plus souvent aux tiers l'accès à ces données, au nom du secret des affaires. Enfin, même si l'on dispose de ces données, encore faut-il pouvoir les analyser, ce qui requiert des compétences techniques très spécifiques, dont les victimes de discrimination ne disposent généralement pas.
Le droit en vigueur permet aux personnes concernées de s'opposer aux prises de décisions individuelles entièrement automatisées produisant des effets juridiques et les affectant de manière significative. Néanmoins, ce droit ne s'applique pas lorsque la décision est nécessaire à la conclusion ou à l'exécution d'un contrat entre la personne concernée et un responsable de traitement.
Ces sujets sont plutôt du ressort de la CNIL, mais nous estimons pour notre part que l'article 22 du règlement général sur la protection des données (RGPD) ne prévoit pas a priori de possibilité pour les travailleurs indépendants de s'opposer aux décisions automatisées, notamment lorsque celles-ci visent à organiser leur travail sur une plateforme. En revanche, ces dispositions devraient permettre à ces personnes d'avoir accès à la logique sous-jacente des décisions, de demander un réexamen par une personne humaine, d'exprimer leur point de vue, d'obtenir une explication sur la décision ainsi prise ou de la contester, notamment lorsqu'elle peut s'avérer discriminatoire. La jurisprudence française n'a pas encore déterminé si les activités de ces travailleurs relèvent bien du champ d'application de l'article 22 du RGPD, dans quelle mesure ces droits sont opposables aux plateformes, ou encore ce que recouvre la notion de « logique sous-jacente ».
Le RGPD prévoit aussi l'obligation de mener des analyses d'impact sur la protection des données, mais il n'est pas prévu de les faire porter sur les éventuels biais discriminatoires ; autre limite, leur publication n'est pas non plus prévue.
Le Défenseur des droits a donc régulièrement appelé au renforcement des obligations légales en matière de transparence des algorithmes.
Le recrutement par algorithme peut être défini comme l'utilisation de systèmes de prise de décisions automatisées pour la sélection, la gestion, ou le filtrage des candidatures à un emploi. Les algorithmes sont entraînés à repérer certains attributs dont on suppose qu'ils sont corrélés avec certaines compétences professionnelles. Ils traitent les dossiers écrits, voire aujourd'hui les entretiens vidéo, pour repérer les « bons candidats », ceux que l'entreprise cherche. Le problème est que ces algorithmes reposent sur des corrélations et non des causalités : les points communs entre employés compétents ne sont pas forcément liés à cette compétence, mais peuvent refléter des biais. Ainsi, si la plupart des « bons employés » actuels d'une entreprise sont des hommes, un algorithme ainsi entraîné recherchera pour les nouveaux employés des caractéristiques masculines, ce qui conduit à reproduire des discriminations existantes ; un logiciel de recrutement utilisé par Amazon a connu un tel problème.
Les biais présents dans les algorithmes sont de toute nature : apparence physique, origine, ou encore handicap. L'usage de technologies biométriques se développe, notamment en matière de recrutement : de grandes entreprises vendent des logiciels qui prétendent détecter les traits de personnalité d'un individu par l'analyse de sa diction ou de son comportement ; des scores sont ainsi automatiquement assignés aux candidats. Cela pose à l'évidence des risques importants, notamment pour les personnes en situation de handicap.
S'agissant des solutions possibles, outre les propositions formulées dans nos rapports, je tiens à rappeler l'importance de la proposition de règlement sur l'intelligence artificielle présentée par la Commission européenne le 21 avril 2021. Il s'agit d'un texte ambitieux, visant à structurer l'encadrement légal de la mise sur le marché de tels algorithmes.
Ce texte pose deux sujets de préoccupation. Premièrement, la Commission a fondé son travail sur une logique de niveaux de risque ; les contraintes légales prévues seraient ainsi graduées. Cela peut s'avérer problématique : dans des technologies probabilistes, le risque zéro n'existe pas. Pour notre part, nous considérons que le droit de la non-discrimination doit s'appliquer, quelle que soit la situation. Deuxièmement, l'importance laissée dans ce texte à l'autorégulation des acteurs, suivant l'habitude des institutions européennes pour les technologies à risque, nous préoccupe.
M. Éric Delisle, chef du service des questions sociales et ressources humaines à la direction de la conformité de la CNIL. - L'intelligence artificielle et le recours aux algorithmes représentent évidemment un sujet d'importance pour la CNIL. Notre approche est encadrée par le RGPD. Sans s'être prononcée spécifiquement sur le sujet de votre mission d'information, la CNIL a eu l'occasion de se pencher sur certains sujets voisins : je laisse M. Régis Chatellier vous détailler le résultat de ces travaux.
M. Régis Chatellier, chargé des études prospectives au pôle innovation, études et prospective à la direction des technologies et de l'innovation de la CNIL - Nous avons mené des travaux sur l'usage des algorithmes et de l'intelligence artificielle dans le cadre des métiers et de l'emploi. Les pratiques que l'on observe dans les plateformes de l'économie à la demande peuvent avoir une influence sur le marché de l'emploi dans des secteurs traditionnels. Dès 2017, nous avons publié un rapport de sensibilisation sur les enjeux éthiques des algorithmes et de l'intelligence artificielle intitulé Comment permettre à l'homme de garder la main ?
Le laboratoire d'innovation numérique de la CNIL a aussi exploré ces sujets de manière à éclairer la CNIL dans ses travaux sans nécessairement produire de la doctrine. Il a notamment publié un dossier sur le travail qui recoupe largement le sujet de votre mission. Enfin, nous avons organisé en juin 2020 avec le Défenseur des droits le colloque qui a donné lieu à la publication du document évoqué par M. Kanhonou.
L'usage des données pour le recrutement et certaines formes de management s'est répandu. La technologie est neutre, mais son usage et les données sur lesquelles elle s'appuie peuvent avoir des effets importants sur les personnes. Cet usage peut optimiser la gestion de la connaissance, ou encore l'orientation professionnelle, mais il comporte aussi des risques importants pour la protection de la vie privée, ou encore la dignité humaine, du fait des biais et des discriminations qui peuvent s'y faire jour. On relève aussi des risques de perte d'autonomie, d'augmentation du temps de travail, de disparition des temps morts, pourtant nécessaires, et du contact humain, ou encore l'augmentation du contrôle et de la surveillance des travailleurs.
En matière de management algorithmique, le secteur des plateformes s'est construit sur ce principe de distribution des services et des tâches par un système automatisé. On voit bien les effets que peuvent avoir ces pratiques. Le design des interfaces lui-même a ainsi un effet important sur la manière dont ces outils sont utilisés, suivant ce qu'on a pu appeler des dark patterns, ou encore du nudge, incitant chauffeurs et clients à toujours plus utiliser l'application. Des algorithmes plus traditionnels identifient les collaborateurs les plus à même d'être performants. Certaines pratiques nous interrogent davantage, notamment des outils portant sur des phénomènes comme l'absentéisme ou la prédiction de risques psychosociaux. Plus problématique encore, on a pu enfin repérer, surtout à l'étranger, des systèmes de notation mutuelle entre salariés, des capteurs physiologiques placés sur le travailleur pour mesurer sa productivité, voire des systèmes de captation des émotions dans la voix, notamment au sein de centres d'appel. Rappelons que la surveillance au travail reste l'un des principaux motifs de plaintes reçues par la CNIL.
Concernant le recrutement algorithmique, on constate en la matière un recours accru à des algorithmes ou à des systèmes de traitement de données, notamment pour le repérage des candidats sur les réseaux sociaux, ou encore pour des tests de personnalité. L'usage de la vidéo pour analyser les émotions des candidats débute également en France, mais il ne s'agit pas de pratiques présentes à grande échelle en France aujourd'hui.
Ces sujets sont importants pour la CNIL, car les données personnelles constituent bien là le matériau que les utilisateurs de ces systèmes veulent faire fructifier. Les travailleurs des plateformes ne sont pas une exception : ils ont les mêmes droits que tout le monde au regard du RGPD. Il est important de rappeler les principes qui s'appliquent en la matière.
M. Éric Delisle. - Permettez-moi de présenter le cadre juridique en vigueur pour le traitement de ces données, autour notamment du RGPD. En la matière, l'article 1er de la loi Informatique et Libertés est fondateur : « L'informatique doit être au service de chaque citoyen. [...] Elle ne doit porter atteinte ni à l'identité humaine, ni aux droits de l'homme, ni à la vie privée, ni aux libertés individuelles ou publiques. » Cette loi de 1978 continue de présenter des garanties visant à encadrer le traitement des données à caractère personnel.
Le RGPD n'a pas vocation à se substituer au droit du travail, mais à offrir des garanties à l'ensemble des personnes physiques, qu'elles soient ou non des travailleurs. On oppose souvent à tort données personnelles et professionnelles : dès lors que les données sont en lien avec une personne physique, même dans la sphère professionnelle, elles sont personnelles. Les algorithmes se nourrissent de nombreuses données relatives à des individus : l'ensemble du socle du RGPD trouve donc à s'appliquer.
Plusieurs grands principes inspirent les dispositions du RGPD, notamment le principe de finalité de tout traitement de données, le principe de minimisation des données collectées, ou encore le principe de base légale et le principe de durée de conservation limitée.
Surtout, les responsables du traitement de données sont soumis à une obligation de transparence à l'égard des personnes dont ils traitent les données. Cette obligation est au coeur de la réglementation : les personnes doivent être pleinement conscientes des traitements, algorithmiques ou non, mis en oeuvre sur leur compte.
Enfin, l'article 22 du RGPD encadre précisément les traitements entièrement automatisés aboutissant à une prise de décision sans intervention humaine. Le principe est l'interdiction de ces traitements, mais il est assorti de certaines exceptions : un tel traitement peut ainsi être autorisé dès lors qu'il est nécessaire à la conclusion d'un contrat, ou fondé sur le consentement de la personne. Cependant, le RGPD offre des garanties même dans les cas couverts par ces exceptions, comme nous avons eu l'occasion de le rappeler au sujet de Parcoursup. Pour les traitements entièrement automatisés, les droits offerts à la personne par l'article 22 ont été rappelés : transparence, droit d'obtenir une intervention humaine, etc. Ces garanties sont offertes à toutes les personnes, clients ou travailleurs.
M. Pascal Savoldelli, rapporteur. - Vous avez évoqué le principe de finalité qui s'impose aux algorithmes. Selon vous, qu'il s'agisse de la reconnaissance faciale, de la géolocalisation ou de la vidéosurveillance, ces usages sont-ils proportionnels à la finalité recherchée par les acteurs économiques qui les utilisent ? Font-ils l'objet de plaintes, en dépit des difficultés à faire reconnaître ses droits ?
Le principe de vigilance ne permettrait-il pas d'accorder aux data scientists des prérogatives d'alerte similaires à celles qui existent pour les commissaires aux comptes ?
Pourrait-on offrir aux travailleurs un droit d'opposition permettant de suspendre l'utilisation de l'algorithme dès lors que ses droits ou ses libertés fondamentales sont mis en cause ?
L'article L. 2312-8 du code du travail dispose que le comité social et économique (CSE) de l'entreprise est consulté lors de l'introduction de nouvelles technologies et de tout aménagement important modifiant les conditions de travail. Convient-il de renforcer son rôle en la matière, ou plutôt de solliciter une autre structure ?
Enfin, l'ordonnance du 21 avril 2021 relative aux modalités de représentation des travailleurs indépendants recourant pour leur activité aux plateformes et aux conditions d'exercice de cette représentation respecte-t-elle, selon vous, les droits fondamentaux de ces travailleurs face aux algorithmes ? Vous avez évoqué les risques en la matière, ainsi que les enjeux qui vont se poser autour de la nouvelle réglementation européenne. Quelles évolutions législatives attendez-vous ?
M. Nicolas Kanhonou. - S'agissant de la proportionnalité à la finalité recherchée en matière de reconnaissance faciale ou d'utilisation de technologies biométriques, je pense qu'il existe différentes configurations.
Nous ne sommes pas compétents pour traiter des plaintes relatives à la surveillance au sein d'une entreprise. La CNIL pourra peut-être vous éclairer davantage sur ce point. Nous sommes surtout préoccupés par le fait que les technologies biométriques sont utilisées alors qu'elles sont faillibles et ne présentent pas toujours les garanties nécessaires.
Il existe différents types de technologies biométriques : les technologies que l'on trouve dans les aéroports pour authentifier un document, moins risquées car il n'y a pas de centralisation des données, et les technologies de surveillance - sur la voie publique, par exemple -, qui ne sont pas fiables à 100 % et s'appuient sur des données parfois douteuses.
Je pense que c'est aussi la CNIL qui pourra vous éclairer sur le rôle des data scientists.
Pour ce qui concerne le droit d'opposition à l'utilisation d'algorithmes, je pense que l'enjeu est davantage de réguler ces algorithmes : on peut imaginer des algorithmes qui respectent le droit à la non-discrimination. Au reste, il est difficile d'imaginer un monde sans algorithme ! L'enjeu se situe en amont : c'est un enjeu d'information, de capacité à présenter un recours, à faire modifier les choses ou à obtenir réparation.
Je n'ai pas de réponse sur la consultation des instances paritaires internes des entreprises, puisqu'il s'agit essentiellement de droit du travail, lequel ne relève pas de notre compétence. Dans le même temps, une telle consultation s'inscrit dans ce que nous promouvons, à savoir la transparence, la possibilité de débattre et la nécessité que les individus et les collectifs au sein des entreprises soient conscients de l'utilisation de ces technologies, de leur capacité de recours et de la capacité des entreprises à redresser les choses.
Nous voyons, à l'étranger, que les alertes viennent de l'extérieur. Les entreprises qui dépassent les lignes ne le font pas forcément intentionnellement. Au reste, elles sont alors signalées par des associations qui ont la capacité de traiter des données et d'examiner les effets des algorithmes. La capacité publique ou privée à surveiller ceux qui utilisent les algorithmes pour organiser le travail, surveiller certaines activités ou s'assurer de l'authenticité de l'identité d'individus constitue un véritable enjeu.
Mme Sarah Benichou, adjointe chargée de la promotion de l'égalité et de l'accès au droit auprès de la Défenseure des droits. - Nous insistons sur le fait que le droit à la non-discrimination s'applique de la même manière que celle-ci soit directe ou indirecte. Des dispositions protectrices par rapport aux règles du jeu qui président au recrutement des candidats à l'embauche existent déjà dans le code du travail et s'appliquent aux algorithmes.
On peut s'interroger sur la méthodologie qui préside à la construction des algorithmes, au-delà même de la question des données mobilisées.
De la même façon que l'on utilisait auparavant la graphologie pour en déduire des compétences ou des performances, on emploie aujourd'hui, en matière de recrutement et sans doute aussi d'évaluation et de management, des méthodologies qui sont parfaitement contestables d'un point de vue scientifique. On vend des outils qui ne servent à rien et qui vont éventuellement déboucher sur des discriminations. Le droit du travail offre quelques outils susceptibles d'aider à l'utilisation de méthodologies objectives.
L'ordonnance prévoit une forme de rééquilibrage et un renforcement des acteurs sociaux, seuls capables d'épauler un travailleur de plateforme qui aurait des doutes.
Nous avons identifié, en Europe, les deux premières jurisprudences sur les travailleurs « ubérisés » : l'une a été rendue par une cour d'Amsterdam et l'autre par un tribunal de Bologne. Elles portent sur des systèmes de notation et d'évaluation qui permettaient aux travailleurs d'accéder aux créneaux les plus favorables, notamment ceux de midi ou du week-end. La manière de désigner ceux qui pouvaient accéder prioritairement à ces créneaux lésait les travailleurs considérés comme n'étant pas assez disponibles, mais qui, de fait, avaient peut-être été malades ou en grève.
L'article 22 du RGPD a été utilisé par ces travailleurs pour contester ces systèmes d'évaluation et de classement et leur transparence. Le but était également d'obtenir des informations à leur sujet. À Bologne, le système a été considéré comme discriminatoire, sauf que, entre-temps, la plateforme concernée l'avait modifié, et plutôt dans le bon sens. À Amsterdam, l'article 22 a également été utilisé pour exiger cette transparence. Celle-ci est une première étape avant même de pouvoir envisager des biais discriminatoires, lesquels sont très difficiles à caractériser à l'échelle individuelle - il y a tellement de données utilisées que l'on peut toujours justifier une différence de traitement.
C'est à l'échelle collective que les résultats de ces algorithmes doivent être analysés, ce qui demande que l'entreprise réalise ex ante une étude d'impact avec des spécialistes du secteur concerné. C'est ce que nous souhaitons et c'est ce que propose en partie la proposition de règlement. Les chercheurs connaissent normalement les risques discriminatoires qui peuvent classiquement exister dans les différents domaines. Cela implique, notamment pour les algorithmes d'apprentissage, qui continuent d'intégrer de nouvelles données et de nouvelles corrélations, des analyses de résultats au fil de l'eau, ce qui demande beaucoup de moyens.
Nous aimerions qu'une réflexion soit menée sur un éventuel rapprochement entre les obligations s'appliquant aujourd'hui aux algorithmes dits « publics », qui sont, du reste, parfois issus du secteur privé, et celles qui s'appliquent aux algorithmes utilisés dans le secteur privé, sur lesquels nous disposons de moins d'informations, et qui peuvent discriminer à la fois les travailleurs, mais aussi les clients des plateformes, s'agissant des prix ou des questions de géolocalisation.
M. Régis Chatellier. - Je veux revenir sur les grands principes qui régissent le RGPD.
En vertu du principe de finalité, une donnée qui est collectée doit l'être pour un usage donné. Dans certains cas, ce sont des données aussi sensibles que la géolocalisation qui doivent être collectées. Par exemple, certains services ne peuvent fonctionner si les livreurs n'activent pas leur géolocalisation. De la même manière, les GPS de navigation automobile ne peuvent fonctionner si l'on ne partage pas sa géolocalisation avec le système. La géolocalisation n'est pas une donnée sensible du point de vue du RGPD, mais elle l'est en ce qu'elle peut inférer sur la vie des personnes. En revanche, il peut être légitime de la collecter dans certains cas.
La CNIL a une doctrine depuis un certain temps, notamment sur la géolocalisation des véhicules de livraison : dans quels cas installer un GPS sur un tel véhicule est-il légitime ? Dès lors que le système a pour vocation d'améliorer le service, au sens de mieux gérer la tournée, et se limite au travail lui-même, sans entrer dans la surveillance du salarié, il peut être légitime, dans certains cas, de recourir à la géolocalisation. En revanche, il serait problématique que l'on ait recours à ces données pour un autre usage. Par exemple, si le véhicule de livraison est à la disposition du salarié le week-end, celui-ci doit pouvoir désactiver la géolocalisation, car il n'est pas question que ses responsables hiérarchiques puissent savoir où il passe ses fins de semaine. Éviter les mésusages est la logique qui prévaut.
Nous avons publié, en novembre 2019, un document qui appelait à un débat à la hauteur des enjeux sur le thème de la reconnaissance faciale. La reconnaissance faciale peut remplir des fonctions distinctes : l'authentification ou l'identification d'une personne. Dans le milieu du travail, c'est probablement plus à l'authentification que l'on pourrait avoir recours. La CNIL connaît les deux systèmes. Surtout, la doctrine de la CNIL pour ce type d'usage se fonde sur le principe de proportionnalité. Pour accéder à certains bâtiments très sécurisés, il s'est avéré possible d'avoir recours à l'authentification. En revanche, nous avons eu l'occasion d'émettre un avis négatif sur une expérimentation reposant sur un recours à la reconnaissance faciale pour accéder à des collèges ou des lycées : nous avons considéré qu'il était disproportionné d'user un tel système. C'est cette logique qui, de manière générale, prévaut à la CNIL, puisque notre texte s'applique à tout traitement de données à caractère personnel. Si nous nous prononçons sur ces questions au cas par cas, nous pouvons, à partir de nos réponses, réussir à construire un système qui englobe le sujet de la reconnaissance faciale.
Le principe de vigilance figure parmi les recommandations de notre rapport, publié en 2017, sur les enjeux éthiques des algorithmes et de l'intelligence artificielle. Ce principe répondait à l'idée, répandue à l'époque - elle l'est un peu moins maintenant -, selon laquelle l'algorithme décide seul, que l'on n'a plus vraiment la main et que personne n'est en mesure de comprendre l'ensemble de la chaîne qui mène à une décision algorithmique basée sur la science artificielle.
De notre point de vue, le principe de vigilance signifiait que, à chaque moment de la construction de l'algorithme, depuis la collecte des données jusqu'à la prise de décision, toute une chaîne de responsabilités intervient. On ne peut demander à une personne externe de bien connaître l'algorithme ni à un ingénieur de connaître tous les enjeux associés au petit bout de code qu'il va développer ! L'idée est que ces systèmes soient compréhensibles par tous et pris en compte à chaque maillon de la chaîne de développement et de traitement des données.
M. Éric Delisle. - Existe-t-il un droit d'opposition en cas de décision individuelle automatisée pouvant conduire à la fin de l'algorithme ? Pas en tant que tel, pour des raisons juridiques complexes - la base légale n'est pas la bonne. Quoi qu'il en soit, l'article 22 prévoit la possibilité, pour la personne concernée par une décision entièrement automatisée, de contester la logique et de demander une réévaluation de sa situation. In fine, s'il s'avérait que le traitement des données ne répondait pas aux exigences du RGPD ; il pourrait y avoir une évolution de l'algorithme. L'avis de la CNIL italienne a ainsi conduit à une modification de l'algorithme. En tout état de cause, les personnes concernées par un algorithme ont bien un droit à une transparence sur le fonctionnement de ce dernier et à la possibilité de demander que leur décision soit réévaluée.
Sur la question du rôle des CSE, la CNIL partage évidemment la position du Défenseur des droits : on ne peut que soutenir la volonté de transparence et de dialogue. Néanmoins, il n'appartient pas à la CNIL d'encourager dans un sens ou un autre la modification législative sur le rôle des CSE, qui, jusqu'à présent, doivent être consultés avant l'introduction de nouvelles technologies. La commission, bien que ce ne soit pas sa compétence, a l'occasion, dans ses délibérations, de rappeler cette disposition du code du travail, en invitant les requérants à saisir le CSE.
M. Olivier Jacquin. - À vous entendre, je n'ai pas le sentiment que les plateformes de travail, par exemple dans le domaine du transport, soient complètement dans les clous par rapport aux dispositions du RGPD. Pourriez-vous être un peu plus précis sur ce point ?
Au-delà du secret des affaires, imaginez que le Parlement donne à la CNIL la possibilité réglementaire de tester et de certifier des algorithmes, dans le but de protéger les données des travailleurs. Si la CNIL disposait des moyens pour y procéder, saurait-elle tester les algorithmes en amont de leur utilisation, les certifier et appréhender leurs effets ? L'usage de données licites entraîne parfois des effets illicites - cela s'appelle, en droit, le principe de loyauté. Il faudrait cependant que le Parlement donne à la CNIL des moyens pour remplir cette mission.
Je reviens sur la très bonne question de M. le rapporteur sur le principe de vigilance : effectivement, il est difficile d'imaginer des contrôles uniques a priori sur des machines auto-apprenantes. On peut imaginer que les producteurs de ces algorithmes soient tenus responsables des effets de l'algorithme et en mesure de les traiter immédiatement. L'idée est de poursuivre le développement du numérique en responsabilisant mieux et en sécurisant les travailleurs et toute la société.
M. Nicolas Kanhonou. - Le principe de vigilance renvoie au règlement européen qui est en cours de négociation.
Pour ce qui concerne le principe de la responsabilité, nous considérons bien évidemment que les producteurs et les utilisateurs doivent être responsables. S'il y a discrimination, le premier dont on va chercher la responsabilité est celui qui a pris la décision ayant conduit à la discrimination. Que cette décision soit volontaire ou non n'est pas la question. Il ne faut donc pas négliger la responsabilité des utilisateurs.
Dans le dialogue que nous avons avec les entreprises, nous constatons un manque de prise de conscience de ces enjeux à tous les niveaux. Les entreprises qui utilisent les logiciels sont très peu conscientes des risques qu'elles prennent. Elles sont peu capables d'évaluer les logiciels qu'elles achètent à des vendeurs et qu'elles utilisent en négligeant leurs propres responsabilités. De même, chez les producteurs de logiciels, nous constatons un manque de culture juridique et, parfois, un manque de compréhension sociologique. Il existe donc un défaut de formation sur ces questions de non-discrimination. Au-delà des mesures réglementaires ou législatives, des transformations culturelles doivent accompagner les transformations technologiques et les usages nouveaux que permettent les technologies.
M. Éric Delisle. - Il me serait difficile de répondre exactement sur la conformité actuelle des plateformes aux articles 15 et 22 du RGPD, dans la mesure où cela nécessiterait de se rendre sur place. Néanmoins, je peux vous dire que ces obligations s'appliquent à tous les acteurs.
Certes, le respect du RGPD n'est pas toujours simple pour les acteurs tant privés que publics. Il est donc nécessaire que la CNIL offre un accompagnement afin de leur permettre de comprendre leurs obligations et de les respecter. Si cela ne suffit pas, la CNIL peut s'appuyer sur sa jambe répressive, qui permet de rappeler leurs obligations aux organismes. J'ose en tout cas espérer que les articles visés sont plutôt respectés. Je n'ai pas connaissance des procédures qui pourraient être en cours.
Au-delà du secret des affaires, la CNIL pourrait-elle disposer d'une compétence pour certifier les algorithmes ? Vous avez tout à fait raison, monsieur le sénateur : à effectif constant, ce serait compliqué... Imaginons qu'elle ait des effectifs suffisants. Elle dispose d'ores et déjà de compétences techniques très poussées dans le cadre tant des contrôles que de l'accompagnement, avec des ingénieurs, des doctorants, des cryptologues... Toutes ces compétences techniques sont nécessaires pour l'appréciation de la conformité des traitements de données qui nous sont soumis. Si le législateur donnait à la CNIL des compétences en matière de certification des algorithmes, nous les assumerions - il faudrait cependant que nous disposions des moyens nécessaires. Cela dit, la commission dispose d'ores et déjà, en vertu du RDGD, de compétences en matière de certification, pas spécifiquement sur les algorithmes, mais sur des services ou des produits. J'ignore si ces compétences nouvelles deviendraient notre coeur de métier, mais nous pourrions certainement le faire en complémentarité d'autres acteurs, dans la mesure où nous avons déjà une capacité d'analyse technique et juridique des traitements de données qui nous sont soumis, dans le cadre de la conformité, en amont, ou dans le cadre des contrôles, plaintes et sanctions, en aval.
Sur le principe de vigilance, j'ose espérer que les producteurs sont déjà responsables des effets des algorithmes, tant au regard de la réglementation en matière de discrimination que de celle en matière de protection des données ! Si les technologies qu'ils mettent en oeuvre ne respectent pas les principes posés par les différentes recommandations, ils en sont comptables et doivent procéder à des mesures correctrices.
M. Pascal Savoldelli, rapporteur. - Je veux relayer une question de Mme la présidente de la mission d'information. Les acteurs des plateformes vous sollicitent-ils, vous demandent-ils des conseils, des vérifications ?
J'ai beaucoup apprécié que vous parliez, pour les algorithmes, d'une chaîne de responsabilités. C'est un élément important pour notre mission. Cela implique qu'il y ait un superviseur et que l'algorithme organise une relation contractuelle.
Nous avons constaté que soit les initiateurs de ces plateformes, soit ceux qui travaillent sur ces dernières ont été confrontés à un rapport social sans relations, ce qui n'est pas conforme à notre modèle économique traditionnel. Les acteurs, les utilisateurs de ces plateformes forment une constellation. On parle beaucoup, à juste titre, des plateformes de mobilité, mais on constate une explosion de la « plateformisation » de l'économie.
Mme Sarah Benichou. - Le Défenseur des droits a été sollicité par des plateformes de mobilité ou des réseaux sociaux, parfois via des actions de lobbying assez évidentes, en lien avec des situations problématiques relayées dans les médias, et parfois de manière un peu plus intéressante, sans que l'on puisse entrer dans les détails ni accorder de certification parce que nous n'avons pas accès aux algorithmes qui peuvent être utilisés.
Il serait bon que nous disposions, en France, de quelques études sur les biais discriminatoires des algorithmes que nous utilisons, pour sensibiliser à la fois les travailleurs, les usagers et les professionnels. La reconnaissance faciale peut être problématique du point de vue de la proportionnalité et des données : on ne sait pas aujourd'hui si les systèmes utilisés dans notre pays connaissent des biais. Des enquêtes réalisées aux États-Unis ont montré des biais importants pour la détection, par exemple, des femmes afro-américaines. Au-delà de la reconnaissance faciale, on pourrait évoquer nombre d'autres systèmes.
De même, on ne dispose pas d'analyse sur les biais éventuels de Parcoursup, qui est pourtant un algorithme fermé, et non un algorithme d'apprentissage, même s'il combine des algorithmes locaux. Le Défenseur des droits a soulevé un risque de discrimination indirecte sur l'origine, le lycée d'origine étant utilisé pour pondérer les notes des élèves. Or on sait qu'il existe des problèmes de ségrégation assez importants au niveau scolaire, mais nous n'avons pas les outils nous permettant de réaliser cette analyse. Disposer de telles études serait vraiment un pas en avant pour sensibiliser l'ensemble de ces acteurs à la réalité des risques en France.
Je veux, pour terminer, évoquer un point important : l'ensemble des études montrent que ces algorithmes sont d'abord « subis » par les travailleurs pauvres. Peu de grands cadres et de grands dirigeants font l'objet de surveillance par vidéo ou sont évalués dans l'ensemble de leurs actions par des applications ! La capacité à contester ou à consentir à l'algorithme est évidemment minorée par la précarité de la personne concernée. Cela nous semble assez évident pour les plateformes, mais cela s'applique parfaitement à d'autres systèmes.
Il serait souhaitable que des moyens soient alloués pour réaliser des études qui permettent de mettre en lumière cette question à l'échelle française. À ce jour, nous nous appuyons sur des études étrangères ou des jurisprudences qui commencent à émerger au niveau européen, mais pas encore en France.
M. Régis Chatellier. - Dans le vaste écosystème des plateformes, on trouve des acteurs très différents dans leur forme et leurs capacités.
La CNIL a une double activité : outre son activité de contrôle et de sanction, que l'on connaît le plus souvent, elle a une activité d'accompagnement des acteurs, laquelle consiste notamment à échanger sur certains sujets avec les acteurs, des plus petites start-up jusqu'aux plus grandes plateformes, qui peuvent, dans certains cas, venir nous poser des questions, nous demander des conseils pour certains usages, certains algorithmes...
Nous n'avons pas de visibilité sur toutes les demandes que reçoit la CNIL, mais nous n'avons pas le souvenir que l'on nous ait consultés sur l'existence potentielle de biais dans un algorithme. Nous sommes compétents dans la mesure où les biais reposent sur des données personnelles. Il est important, dans le cadre de la réflexion sur l'intelligence artificielle que nous menons avec le Défenseur des droits, que nous ayons les moyens de caractériser ce qu'est un biais et de pouvoir agir une fois qu'il est caractérisé - si certains biais sont assez visibles, d'autres le sont beaucoup moins.
Effectivement, il arrive que l'on nous consulte sur la mise en place de systèmes. Globalement, les entreprises auxquelles nous avons affaire souhaitent bien faire, mais elles n'y parviennent pas toujours. Nous essayons, dans la mesure du possible, de les accompagner, soit en répondant à leurs demandes de conseils, soit en intervenant auprès des start-up. Nous le faisons autant que possible pour les sensibiliser à ces sujets et répondre à leurs questions, toujours avec la volonté de transformer la réponse que nous pouvons donner à une question spécifique en une publication qui pourra servir à d'autres entreprises. Nous essayons vraiment de les accompagner, avec les moyens qui sont les nôtres.
M. Pascal Savoldelli, rapporteur. - Madame, messieurs, je vous remercie de vos contributions respectives. Nous vous avons adressé un questionnaire écrit. J'attends tout particulièrement votre réponse à la question relative à l'ordonnance du 21 avril 2021, qui organise un dialogue social pour les travailleurs des plateformes de mobilité. Je souhaiterais que vous nous indiquiez si vous avez été associés à la rédaction de cette ordonnance et ce que vous en pensez, compte tenu de vos domaines de compétences.
Ce point de l'ordre du jour a fait l'objet d'une captation vidéo qui est disponible en ligne sur le site du Sénat.
La réunion est close à 11 h 15.