B. IA FRUGALE VS. GROS MODÈLES : LA QUESTION ÉNERGÉTIQUE
Le numérique est depuis longtemps un secteur intensif en énergie et en capacités de calcul et de stockage. Des investissements importants y sont un prérequis pour la conception d'outils utilisables par le plus grand nombre. Ceci favorise la concentration des solutions techniques chez un petit nombre d'acteurs d'envergure mondiale. Les principales entreprises, toutes américaines, sont d'ailleurs regroupées sous l'acronyme Gafam (Google, Apple, Facebook, Amazon et Microsoft), ce qui met en lumière la nature oligopolistique du domaine.
Cette caractéristique de l'économie numérique se retrouve naturellement dans le secteur spécifique de l'intelligence artificielle, en particulier pour les LLM. Les Gafam se sont d'ailleurs positionnés sur cette technologie, généralement par l'acquisition ou la participation au capital de start-up spécialisées. Microsoft détient par exemple 27 % des parts d'OpenAI, créateur de ChatGPT, qui est valorisé 500 milliards de dollars environ. Nvidia, qui fournit en processeurs graphiques les centres de données nécessaires à l'entraînement des modèles, a été la première entreprise à atteindre une valorisation de 5 000 milliards de dollars. En matière d'IA, les montants financiers mobilisés par les grands acteurs américains sont extrêmement élevés. Face à eux, peu de pays peuvent suivre la course au gigantisme ; seule la Chine se positionne comme un concurrent sérieux.
Les financements se matérialisent dans l'achat de toujours plus de capacités de calcul et de traitement de données, afin d'entraîner des modèles d'IA générative toujours plus importants. La taille d'un modèle se mesure en nombre de paramètres, ou « poids ». Ils sont caractéristiques du modèle en question et sont issus de son entraînement. Ils doivent être distingués des données utilisées en entrée, qui occupent bien plus de mémoire. Les modèles actuels comprennent souvent plusieurs centaines de milliards de paramètres, et la course à l'augmentation des performances s'appuie sur une hausse comparable de ce nombre. Dans ce paradigme, taille du modèle, investissements financiers et résultats obtenus aux évaluations peuvent sembler liés.
Ce lien pose cependant de nombreux problèmes, dont la dépendance des usagers à un tout petit nombre de fournisseurs, l'inadaptation des outils à certains cas d'usage, et l'augmentation de l'intensité énergétique de cette industrie. C'est pourquoi les experts s'exprimant dans le cadre de la première table ronde de l'audition publique ont mis en évidence l'intérêt de l'IA dite « frugale », non comme une voie par défaut, mais comme une alternative à la course aux gros modèles.
La frugalité consisterait à travailler plus finement sur la technologie afin de construire des modèles plus petits sans perte de performance, ce qui peut passer par une plus grande spécialisation du modèle, au détriment de son caractère généraliste. Il faut toutefois noter que même ces modèles relativement petits comptent des milliards de paramètres et demandent aussi de grandes quantités de données et une puissance de calcul significative ; ils restent néanmoins beaucoup moins gourmands en énergie que les « grands » modèles d'OpenAI ou de Google par exemple.
L'IA frugale offre un premier avantage, d'ordre pratique : elle ouvre le secteur aux pays n'ayant pas des moyens comparables à ceux des États-Unis. De l'avis commun des intervenants, la France est bien positionnée sur ces technologies et dispose d'un écosystème dynamique et performant. Si cela n'évacue pas totalement la question de la souveraineté, qui s'apprécie sur toute la chaîne de valeur, du semi-conducteur jusqu'aux paramètres du modèle, en passant par l'origine des données d'entraînement, la possibilité de développer des modèles d'IA français ou européens durablement compétitifs est réelle.
Par ailleurs, certaines applications nécessitent ce genre de modèles plus légers. C'est le cas de l'IA embarquée, notamment pour la robotique, qui semble être un usage prometteur de l'IA. Un modèle destiné à fonctionner sur un smartphone ou un drone, par exemple, voit sa demande de mémoire et de processeurs contrainte par les capacités matérielles de son vecteur, ce qui justifie de sacrifier la généralité du modèle contre sa frugalité. À ce stade, un modèle plus léger reste capable d'atteindre les performances des modèles généralistes dans son domaine de spécialisation.
Il existe aussi un intérêt théorique à la frugalité : elle est un excellent stimulant pour les scientifiques et ingénieurs qui travaillent à développer ces modèles, car elle constitue un défi à surmonter. Plutôt que de s'enfermer dans une course au gigantisme et aux financements, ils doivent réfléchir à des solutions alternatives plus subtiles pour arriver aux mêmes résultats. Les contraintes peuvent être un moteur d'innovation, comme souvent en science. La vitalité de la recherche académique française et sa forte interaction avec les entreprises d'innovation doit à ce propos être saluée.
Le concept de frugalité s'inscrit aussi en réaction à la consommation énergétique galopante liée à la diffusion des usages de l'IA. L'alimentation électrique de nouveaux centres de données est devenue un élément important des politiques énergétiques et devient une préoccupation majeure vis-à-vis du respect des trajectoires climatiques. Sans pour autant parler de sobriété, puisque les modèles qui s'en revendiquent utilisent aussi des capacités de calcul significatives, la frugalité serait un moyen de s'extraire du paradigme dominant qui voudrait consacrer à l'IA des moyens infinis en faisant fi des limites planétaires.
L'IA peut aussi contribuer à la lutte contre le réchauffement climatique. Associée à la collecte de grandes quantités de données, elle pourrait optimiser la consommation ou la production d'énergie. L'IA offre sans doute de nombreuses possibilités dans ce domaine ; encore faut-il s'assurer que les gains qu'elle induit font plus que compenser son coût énergétique propre. Le travail d'estimation du bilan des outils d'IA, et plus généralement du numérique, a commencé ; il doit se poursuivre. Il est cependant extrêmement complexe dans un domaine par nature global dont les chaînes de valeur suivent de multiples ramifications dans des zones géographiques souvent éloignées. Il importe pourtant d'être en mesure de quantifier les bénéfices apportés par les outils d'IA afin de pouvoir les comparer. Comme on le fait pour d'autres domaines - les transports, la production d'énergie, etc. , on doit évaluer les conséquences du numérique sur les émissions de gaz à effet de serre et sur les trajectoires climatiques et les faire connaître aux usagers.
Il est intéressant de remarquer que si des efforts sont menés en France pour quantifier ces impacts, avec des travaux faisant notamment intervenir l'INRIA, l'Institut national de recherche pour l'agriculture, l'alimentation et l'environnement (Inrae) et l'Agence de la transition écologique (Ademe), ce sujet ne semble pas être une source de préoccupation dans tous les pays du monde. Les grandes entreprises de l'IA, en particulier aux États-Unis, semblent assez indifférentes à leur empreinte climatique et poursuivent l'inflation de leurs modèles. La frugalité est donc un argument non négligeable pour faire advenir une forme de souveraineté numérique. Pour être en mesure d'estimer correctement les conséquences environnementales d'un modèle, il faut connaître le processus de conception à un niveau de détail inaccessible à ce stade, notamment pour les modèles américains. Des IA frugales développées en France pourraient donc s'intégrer dans une optique de développement durable de deux manières : par leur moindre consommation énergétique, et par la transparence à construire sur leur impact climatique. La France et l'Europe ont un rôle à jouer pour défendre un numérique vivable et soutenable, à la condition de disposer de solutions d'IA souveraines efficaces.