Question de M. MAUREY Hervé (Eure - UC) publiée le 03/10/2024
M. Hervé Maurey attire l'attention de M. le ministre de l'économie, des finances et de l'industrie sur la multiplication des fraudes financières s'appuyant sur l'intelligence artificielle (IA) générative.
Selon un rapport d'une grande entreprise d'identification numérique, les techniques de fraude financière s'appuyant sur l'intelligence artificielle générative ont rapidement évolué au cours des trois dernières années.
Si, en 2021, l'IA était utilisée pour contrefaire des pièces d'identité, elle est désormais largement employée à la création de « deepfakes » - ces hypertrucages audiovisuels produits par des outils d'IA - (dans 6,5 % des cas de fraude) et des plans d'extorsion de fonds s'appuyant sur la menace de divulgation d'informations personnelles de particuliers. Les deepfakes seraient souvent utilisés pour contrefaire des pièces d'identité électroniques afin de tromper des établissements bancaires, des entreprises des nouvelles technologies (fintech) et des grandes entreprises. Selon ce rapport, près de 42 % des fraudes identifiées s'appuient sur l'IA générative et ces fraudes fonctionneraient dans près d'un tiers des cas.
À la lumière de ce rapport, il souhaite connaître les mesures que compte prendre le Gouvernement afin de protéger les particuliers et les entreprises des nouvelles techniques de fraude financière permises par l'intelligence artificielle générative.
- page 3426
Transmise au Ministère de l'intérieur
Réponse du Ministère de l'intérieur publiée le 22/05/2025
En matière de fraude financière, l'étendue des possibilités a considérablement augmenté avec l'émergence de l'usage des intelligences artificielles (IA) génératives. En effet, ces dernières permettent par exemple de générer : - des campagnes de phishing en produisant des courriels très vraisemblables à partir d'études personnalisées des cibles ; on parle ici de "spear fishing" ; - des ransomwares, produits de manière automatique et en grande quantité ; - des deepfakes combinant audio et vidéo à des fins d'arnaques, comme les fraudes dites "au président"ou"à la romance". Ces méthodes d'intelligence artificielle s'appuient sur des fraudes connues, mais augmentent considérablement leur efficacité en améliorant significativement la vraisemblance et le ciblage des victimes. Face à ce fléau, le ministère de l'intérieur a choisi d'élargir sa coordination en matière d'intelligence artificielle au sein de l'espace cyber afin de mieux appréhender les opportunités de l'IA. C'est notamment les cas au sein du Comcyber-MI, service à compétence nationale rattaché au Directeur général de la gendarmerie nationale (DGGN) et chargé pour le compte du ministère de l'intérieur de la stratégie, de la performance et de l'anticipation de la menace cyber. Les initiatives entreprises à ce jour sont : - campagnes de prévention, d'information et d'alerte ciblées sur les risques de fraude par l'IA générative et notamment l'exploitation des deepfakes en matière de fraude ; - contact et proximité avec la FinTech en matière d'exploitation de l'IA, y compris l'IA générative ; - travaux d'échanges et de partage sur les applications frauduleuses de l'IA générative au niveau européen ; - travaux autour du développement d'outils capables de détecter des deepfakes (à titre d'illustration, la gendarmerie nationale a été primée en juin 2023 pour son projet Authentik'IA, qui avait vocation à détecter les formes de deepfakes les plus usitées à l'époque, en matière d'images, de texte et d'audio). Il existe néanmoins des difficultés dans la conduite des travaux. Tout d'abord, les données de fraude sont trop peu nombreuses en fonction des cas pour construire des modèles robustes. La solution réside alors dans l'élaboration par l'IA générative de données synthétiques capables de reproduire les formes de fraude. Ensuite, l'évolution rapide des méthodes de génération de deepfakes rend compliquée la mise à jour des solutions développées. La solution réside dans la collaboration avec les instituts de recherche et les fabricants pour prédire les menaces à venir et développer des mesures pour y remédier. C'est l'objectif d'un groupe de travail co-présidé par le conseiller IA du Comcyber-MI, des entreprises et instituts du Cyber Campus et le French IA Hub. Il est utile d'ajouter que les personnels qualifiés en IA sont une ressource rare. La solution est de mutualiser les capacités scientifiques et juridiques dans le domaine de l'IA au sein du ministère afin de renforcer la collaboration sur différents sujets, d'utiliser des machines de calcul partagées et d'obtenir des données plus conséquentes. Par ailleurs, la réglementation peut constituer une difficulté face à l'exploitation, à des fins de fraudes, de l'IA générative au regard des délais de traitement nécessaires pour mettre les applications en conformité. A ce jour, le délai minimum de mise en conformité pour une application (hors IA) au regard du RGPD est d'un an, et court bien souvent au-delà. La conformité au règlement européen sur l'IA (AI Act entré en vigueur le 1 août 2024 pour une mise en application globale en 2026) pourrait être encore plus longue et ne pas permettre aux forces d'être dans le temps adapté pour faire face à la sophistication criminelle en matière de fraude. Enfin, il est à noter que du côté des entreprises, il existe des possibilités d'exploitation de l'IA à des fins préventives pour renforcer les méthodes d'identification et la sécurité des moyens de paiement, mais aussi pour détecter toute requête qui pourrait paraître suspecte. Cela nécessite un travail de conception en lien direct avec le métier afin, par exemple, de préciser ce qu'est une transaction suspecte. Le ministère de l'Intérieur observe que, s'il ne fait aucun doute que la démocratisation de l'accès à des IA génératives a été récupérée par des criminels, et notamment des escrocs, il reste, en l'état actuel des connaissances, difficile d'évaluer la prévalence de son utilisation. Des contenus générés par IA ont effectivement pu être signalés à la plateforme PHAROS (plateforme, gérée par l'office anti-cybercrmilinalité (OFAC) de la direction nationale de la police judiciaire (DNPJ), chargée des signalements de tout contenu illicite relevé sur internet), notamment en matière de contenus pédocriminels. Pour autant, et alors qu'il n'est pas possible, en l'état, de les recenser, les craintes se concentrent plus particulièrement sur l'utilisation de l'IA générative à des fins de manipulation de l'information, de propagande, ou dans des contextes de campagnes de haine en ligne. Parmi les contenus signalés à PHAROS et relevant de cette catégorie, les enquêteurs constatent qu'elles sont, à ce stade, encore détectables par l'oeil humain. En revanche, leur qualité ne cesse de croître et peut laisser penser que le seuil de l'indétectable sera rapidement franchi. Dans ce contexte, les agents de PHAROS restent particulièrement attentifs à toutes les initiatives relatives à l'utilisation de l'IA ou à sa détection (PHAROS est par exemple en lien avec le service à compétence nationale dénommé « pôle d'expertise de la régulation numérique » - PEReN - service interministériel placé sous l'autorité conjointe des ministres chargés de l'économie, de la culture et du numérique). En ce qui concerne la plateforme THESEE, gérée par l'OFAC et qui est compétente en matière de e-escroqueries, si des soupçons d'utilisation d'IA existent, aucune affaire entrant dans son périmètre n'a permis à ce stade d'en mettre en exergue de façon formelle. Si les enquêteurs peuvent soupçonner son utilisation en matière d'escroqueries à la romance ou de création de faux sites de vente, les proportions de son usage restent à ce jour ignorées. Quant à l'usage de documents d'identité dans le cadre de ces escroqueries, il repose à ce stade principalement sur l'usurpation d'identité de victimes ou l'emploi de "mules". En matière de rançongiciels, l'OFAC étudie l'écosystème des groupes cybercriminels et a donc connaissance du recours par ces groupes à des développeurs. Si ces derniers peuvent s'aider de l'IA pour générer du code afin de produire un rançongiciel, une action humaine demeure en l'état des connaissances indispensable. La production automatisée par l'IA - sans intervention humaine - de multiples rançongiciels en grande quantité n'est donc pas actuellement observée. En revanche, l'OFAC a pu constater que de jeunes développeurs web avaient déjà pu avoir recours à l'intelligence artificielle pour déterminer comment procéder à un chiffrement de données. Le chiffrement réalisé par ces développeurs dans l'objectif de développer un rançongiciel, dont la production était très manuelle et grossière, n'a pas eu l'effet escompté dans la mesure où les conseils prodigués par l'outil d'intelligence artificielle auquel ils ont eu recours les ont amenés à produire eux-mêmes (et non l'outil lui-même) un code destiné à d'autres fins (chiffrement en vue de la sécurisation de messages). Ceci prouve que l'utilisation de l'intelligence artificielle pour produire des effets efficaces doit être effectuée par des développeurs plus expérimentés. En matière de prévention, et lorsque l'état des connaissances relatif à ces phénomènes sera consolidé, l'OFAC pourra notamment s'appuyer sur le réseau des experts en cyber-menaces (RECyM) qu'il pilote. Composé de réservistes cyber-préventeurs agissant sur l'ensemble du territoire au profit des entreprises (ETI/PME/TPE) et des collectivités territoriales, ce réseau permet de les sensibiliser aux risques cyber et les accompagner en cas de cyberattaque. Sur le plan juridique, il peut être ajouté que la loi n° 2024-449 du 21 mai 2024 modifiée visant à sécuriser et réguler l'espace numérique (SREN) a modifié le code pénal pour punir d'un an d'emprisonnement et de 15 000 euros d'amende le fait de porter à la connaissance du public ou d'un tiers un "contenu visuel ou sonore généré par un traitement algorithmique et représentant l'image ou les paroles d'une personne" sans l'autorisation de la personne concernée et qui n'apparaît pas à l'évidence comme un contenu généré par l'IA ou sur lequel l'utilisation de l'IA n'est pas expressément mentionnée. Cette sanction est portée à 45 000 euros d'amende et deux ans d'emprisonnement en cas d'utilisation d'un service de communication en ligne. Cette loi a également créé une infraction de deepfake à caractère sexuel (pouvant être employés au support de phénomènes d'extorsion en ligne) réprimé d'une peine de deux ans d'emprisonnement et 60 000 euros d'amende, et de trois ans d'emprisonnement et 75 000 euros d'amende lorsque l'infraction est commise en ligne. En outre, s'agissant de la fraude aux moyens de paiement, il convient en premier lieu de rappeler que beaucoup de leviers utiles de prévention et de détection en la matière ne relèvent pas des forces de sécurité intérieure de l'État, mais avant tout des acteurs financiers et de leurs régulateurs et tutelles. Il doit ensuite être relevé que, dans l'étude citée par le parlementaire, l'utilisation de « deepfakes » dans les fraudes aux moyens de paiement reste très marginale (6,5 %), bien qu'elle soit en augmentation rapide (+ 6,4 points en 3 ans). A cet égard, il peut être rappelé que le rapport annuel 2023 de l'observatoire des moyens de paiement - Banque de France fait ressortir la très faible fréquence de la fraude, notamment en matière de virements (89 % des transactions en valeur en 2023), avec un taux de 0,0010 %. Enfin, il doit être noté que ni l'analyse nationale des risques de blanchiment de capitaux et de financement du terrorisme en France (ANR / BC-FT) (Conseil d'orientation de la lutte contre le blanchiment de capitaux et le financement du terrorisme) ni l'analyse sectorielle (ASR) des risques de BC-FT de juin 2023 (Banque de France / Autorité de contrôle prudentiel et de résolution) ne mentionnent les « deepfakes » comme un risque émergent en matière de fraude aux moyens de paiement. Au contraire, l'ASR de juin 2023 fait mention de l'intelligence artificielle pour détecter et réduire le risque de fraude et d'usurpation d'identité.
- page 2584
Page mise à jour le