B. DES LIVRABLES DE QUALITÉ INÉGALE, QUI NE CONNAISSENT PAS TOUJOURS DE SUITE
Dans la mesure où le haut niveau d'expertise prêté au cabinet de conseil constitue souvent un argument avancé par les ministères pour justifier de recourir à leurs services, l'évaluation de leurs livrables constitue un enjeu de première importance.
À cet égard, la rapporteure a demandé à se faire communiquer plusieurs documents élaborés par ces cabinets à l'attention des ministères ainsi que les fiches d'évaluation réalisées.
L'examen d'un échantillon de 76 prestations de conseil réalisées au profit de la DITP entre 2018 et 2021 laisse apparaître de bons résultats au global .
Ainsi, la majorité des prestations (55) a été notée entre 4 et 5, la meilleure note . Des exemples concrets permettent de montrer l'apport des cabinets de conseil, en particulier sur des missions techniques.
Le mode de notation de la DITP
Les prestations commandées par la DITP sont notées entre 0 et 5 :
- 0 : « prestation très mal ou pas exécutée » ;
- 1 : « mauvaise exécution de la prestation » ;
- 2 : « niveau moyen » ;
- 3 : « niveau satisfaisant » ;
- 4 : « niveau très satisfaisant » ;
- 5 : « niveau excellent, véritable valeur ajoutée apportée par le prestataire ».
Outre cette notation, les fiches d'évaluation de la DITP comportent plusieurs rubriques : respect des délais, appréciation du transfert de compétences, évaluation de l'apport des consultants à chaque étape de la prestation puis des livrables.
L'apport des cabinets de conseil : des exemples concrets 212 ( * )
- « Excellent travail de l'équipe de consultants, apport d'expertise indéniable sur la méthode, le fond et la qualité des livrables » (Étude sur l'évolution des activités hors soins dans le cadre de la nouvelle AP-HP, Roland Berger, 2019, note : 5/5) ;
- « Bonne compréhension des enjeux de la mission, [avec une] qualité de livrables et de l'aide au processus de décision. [...] À noter la capacité à s'être adapté aux exigences de la crise sanitaire pour conduire la mission dans un calendrier revu » (Modernisation des processus de la direction spécialisée des finances publiques pour l'étranger, DSFIPE, Wavestone, 2020, note : 5/5) ;
- « Bonne compréhension des enjeux du projet et connaissance de l'écosystème concerné ; apport méthodologique ; bonne conduite de projet » (Rapprochement entre Centre Inffo et France Compétences, INOP'S, 2020, note : 4/5).
Il n'en reste pas moins que la qualité des livrables des cabinets de conseil reste hétérogène, alors que d'autres n'ont pas de suite tangible . Parfois, ces deux difficultés se cumulent comme pour la prestation de McKinsey sur l'avenir du métier d'enseignant.
La mission de McKinsey
sur l'avenir du métier
d'enseignant (496 800 euros)
213
(
*
)
La fiche d'évaluation de la DITP juge l'intervention de McKinsey « satisfaisante » (note de 3/5), constatant un « gros investissement de l'équipe mobilisée pour produire à un rythme soutenu les livrables attendus ». Elle souligne néanmoins de « nombreuses itérations pour arriver à répondre aux attendus du ministère de l'Éducation nationale ».
En réalité, le livrable principal se résume à une compilation - certes conséquente - de travaux scientifiques et à la production de graphiques fondés sur des données publiques, notamment de l'OCDE . Le professeur Yann Algan évoque ainsi « un rapport rassemblant des comparaisons et études de cas internationaux, ce qui est différent d'un rapport scientifique mobilisant essentiellement de la recherche ».
Sa valeur ajoutée apparaît donc réduite, alors que la journée des consultants de McKinsey a été facturée à 3 312 euros .
En outre, cette prestation n'a pas connu de suite tangible :
- le colloque de l'UNESCO, initialement prévu en mars 2020, a été annulé à cause de la crise sanitaire ;
- le travail de McKinsey n'a été qu'une « source parmi d'autres » pour un second colloque, organisé le 1 er décembre 2020 au Collège de France, comme l'a confirmé le professeur Yann Algan. Ce dernier a simplement utilisé « quelques graphiques de comparaisons internationales [...] qui reprenaient des données publiques de l'OCDE » ;
- le ministère de l'Éducation nationale reconnaît lui-même « qu'il n'est pas possible de déterminer les conséquences directes » du rapport de McKinsey sur le métier d'enseignant , malgré des demandes complémentaires sur la rémunération au mérite des professeurs et la gouvernance des établissements scolaires. Ce travail n'a été que « l'un des “intrants” des réflexions menées sur le métier enseignant ».
1. Des prestations inégales
Certaines prestations des consultants ont été jugées comme présentant une qualité insuffisante ou tout juste suffisante par la DITP (21) et ont obtenu des notes inférieures ou égales à 3/5.
Dans d'autres cas, des notes plus élevées masquent, en réalité, un grand nombre d'insatisfactions de la part de la DITP, que révèlent les commentaires détaillés des fiches d'évaluation.
Certains griefs mentionnés par les évaluateurs apparaissent en décalage avec l'idée que les cabinets de conseil mettraient à disposition des acheteurs un haut niveau d'expertise et de rigueur couplé à une connaissance fine des enjeux du secteur public .
L'intervention de Capgemini
sur la
«
Communauté 360
» : une note de
1/5
En 2021, la DITP missionne Capgemini sur le projet « Communauté 360 » , avec l'objectif de structurer un réseau de professionnels soutenant les parcours de vie des personnes en situation de handicap .
Ces travaux ont obtenu la note la plus basse : 1/5.
Ils ont été qualifiés par la DITP comme
témoignant d'une
«
compréhension
limitée du sujet
»,
d'une
«
absence de rigueur
sur le fond comme
sur la forme
» et d'une «
valeur
ajoutée quasi-nulle, contre-productive parfois
, sauf pour une
proposition de laboratoire d'innovation, de statuts juridiques et de
systèmes d'information ».
La DITP souligne que les consultants n'ont pas été capables d'organiser un transfert de compétences, mais que ce sont « des personnes de bonne compagnie ».
Le montant de cette prestation s'élèvera à 280 200 euros .
De façon tout aussi préoccupante, la prestation - pourtant notée 4/5 - d'EY en 2020 pour accompagner la transformation du secrétariat général du ministère de l'Économie et des finances , aurait été marquée par « l'absence de connaissance du secteur public par l'équipe » . Pour la DITP, « la pertinence et le recul nécessaire au jour le jour dans les travaux opérationnels ont fait défaut », malgré un budget de 433 470 euros.
Même constat pour la prestation de McKinsey sur la stratégie pour l'intermédiation des pensions alimentaires en 2019 : malgré une note de 4/5 et une « bonne maîtrise de ce type d'analyse (quantitative et qualitative) », l'évaluation souligne « un manque de culture juridique et plus largement du secteur public », pour une prestation facturée 260 880 euros.
Dans certains cas, les « connaissances sur le fond [sont] plutôt apportées par la DITP » 214 ( * ) et pas par les consultants. Dans d'autres, le prestataire peut avoir « une propension à proposer un dispositif surdimensionné et qui ne tient pas compte de la capacité à faire des parties prenantes (ministères, régions, etc .) » 215 ( * ) .
La DITP pointe à plusieurs reprises la « juniorité » des consultants et le « manque de valeur ajoutée » des managers .
Elle a été régulièrement contrainte de recadrer des prestataires dont la compréhension des besoins faisait défaut, de demander le remplacement de certains consultants « pas au niveau » et, surtout, de « retravailler » parfois entièrement des livrables peu exploitables.
La qualité des livrables des cabinets est parfois directement remise en cause .
L'exemple de l'intervention d'EY
sur la
réforme de l'aide juridictionnelle
L'équipe d'EY peut se prévaloir d'un « excellent niveau » sur l'analyse de données mais connaît de grandes difficultés sur le pilotage des travaux informatiques, ce qui implique que la DITP et le ministère de la justice reprennent à leur compte cette partie de la prestation.
La DITP conclut ainsi : « certains livrables co-construits ont beaucoup été construits par la DITP ».
Sa note varie de 2 à 5 en fonction des parties de la prestation, pour un montant total de 592 380 euros.
De façon plus surprenante, la rapporteure a pu constater que des missions « vitrines », mises en avant par les cabinets de conseil auditionnés par la commission d'enquête, avaient été jugées d'une qualité toute relative par la DITP .
Ainsi, les différentes missions du projet « Mille premiers jours de l'enfant » , conduites entre 2019 et 2020 par Roland Berger, ont obtenu une note moyenne de 2,5 / 5 .
De façon tout à fait notable, par le choix du vocabulaire employé comparativement aux autres fiches d'évaluation, la DITP a estimé que la prestation de Roland Berger n'était « pas au niveau » et que « la valeur ajoutée sur le scenarii de chiffrage [n'était] pas à la hauteur d'un cabinet de stratégie », pour une prestation facturée 425 565,60 euros.
De même, la mission d'accompagnement au déploiement des plateformes de dépistage précoce des troubles autistiques , réalisée par Eurogroup, a obtenu une note de 4/5 en 2019 mais de seulement 2/5 en 2021.
Pour la prestation de 2021, la DITP a pu relever un dispositif souffrant globalement « d'une absence de temps complet, limitant la capacité de l'équipe à monter en compétence sur une mission au sujet technique . En ont découlé beaucoup de confusions ou d'approximation lors des entretiens en immersion et dans la formulation des modèles ». Seuls « un resserrement de l'encadrement de la manager et un engagement accru » ont permis un « atterrissage globalement satisfaisant des livrables ».
Certaines missions ayant trait à des réformes importantes de l'action publique ou de l'organisation de l'administration ont aussi donné lieu à une évaluation plus que mitigée de la part de la DITP.
L'exemple de l'accompagnement à la transformation de la DGE
La prestation d'accompagnement à la transformation de la direction générale des entreprises (DGE) réalisée par INOP'S en 2019 a été marquée par un « manque de rigueur » et une « absence de pilotage par le manager » , favorisant la restitution de « nombreux livrables d'une qualité irrecevable ».
La DITP décrit de « quelques bonnes intuitions, mais une difficulté majeure à formaliser la pensée et à la synthétiser ».
Pour sa part, la DGE pointe « des erreurs de comportement » de la part du cabinet : « dans le cadre d'un atelier de sous-direction, les consultants ont ciblé une mission précise (tutelle des activités postales, opérée dans une autre sous-direction) pour susciter un questionnement sur la bonne allocation des ressources dans la maison (à peu près en ces termes : “est-il raisonnable d'affecter 6 personnes à la tutelle des activités postales” ?) ».
Le prestataire recevra la note de 1/5, pour une mission facturée 373 740 euros.
De façon analogue, la mission conduite par un sous-traitant d'INOP'S en 2021 sur la transformation de la direction générale des infrastructures, des transports et des mobilités ( DGITM ) fait apparaître que « certains livrables ont dû être travaillés par la DITP (niveau d'approfondissement, qualité rédactionnelle) » (note de 3,5/5, pour un montant de 342 360 euros) 216 ( * ) .
Enfin, la mission d'assistance à la création de la direction du numérique du ministère de l'Intérieur réalisée par Capgemini en 2019 s'est traduite par la présentation de livrables témoignant :
- d'un « faible apport sur le fond » , d'une « faible capacité à problématiser » ;
- d'une « expertise limitée apportée sur la transformation numérique » ;
- de « propositions initiales inadaptées » au besoin ;
- et d'un « manque de souplesse pour faire face aux imprévus du projet » (note de 3/5, pour une prestation facturée 301 320 euros).
On peut alors légitimement s'interroger sur l'intérêt que trouve l'État , au-delà des arguments convenus , à recourir à des consultants parfois peu expérimentés , mal encadrés , qui n'ont qu' une connaissance restreinte du secteur public et dont les livrables lui imposent parfois un important travail de correction.
2. Des prestations de conseil qui n'ont parfois pas de suite tangible : l'exemple de la CNAV et du projet de réforme des retraites
Au-delà de la qualité - manifestement variable - des missions conduites par les cabinets de conseil, l'administration ne parvient pas toujours à donner une suite aux travaux qu'elle a pourtant elle-même commandés et payés .
Ainsi, dans les réponses transmises à la rapporteure, la DITP indique qu'à ce jour aucune suite n'a été donnée au travail mené par Roland Berger en 2019 sur la refonte du pilotage des politiques de solidarité et la transformation de l'actuelle direction générale de la cohésion sociale (DGCS).
La DITP précise que « la réflexion a été interrompue par la crise sanitaire qui a fortement mobilisé la DGCS, notamment dans le suivi de la situation dans les Ehpad ; elle sera relancée quand la situation sanitaire le permettra ».
Cette mission, qui a coûté près de 600 000 euros à l'État (580 232,40 euros), pourrait néanmoins rester durablement sans lendemain . Il est vrai que sa qualité a également été jugée tout juste satisfaisante, la DITP notant la présence d'un manager de mission « pas au niveau » et un « défaut de connaissance du secteur public » .
La Caisse nationale d'assurance vieillesse (CNAV) a rencontré une difficulté similaire en commandant une prestation de près d'un million d'euros à McKinsey en vue de la réforme des retraites, qui n'a finalement jamais vu le jour .
La mission de McKinsey en vue de la réforme (avortée) des retraites
Après la remise du rapport Delevoye en juillet 2019, la CNAV commande le 21 novembre 2019 une prestation de conseil à l'UGAP, dont le prestataire est McKinsey .
Il s'agit d' aider à la Caisse à se transformer en vue de la réforme des retraites pour ne « pas subir la transformation mais [pour] pouvoir être force de proposition et centre d'impulsion » 217 ( * ) . Il faut également préparer le rapprochement avec l'Agirc-Arrco, que le Gouvernement souhaite pour 2025.
Cette mission anticipe largement le calendrier de la réforme des retraites : le projet de loi ne sera présenté en conseil des ministres que deux mois plus tard (le 24 janvier 2020), pour un examen par le Parlement au printemps. Le calendrier envisagé par le Gouvernement était toutefois très contraint, ce qui a conduit la CNAV à prendre les devants : la Caisse nationale de retraite universelle (CNRU) devait être créée au 1 er décembre 2020.
Le coût de cette mission s'élève à 957 674,20 euros pour 5 mois de prestation, soit un coût de 2 736,21 euros par jour de consultant (McKinsey ayant mobilisé 350 jours-hommes).
La mission se déroule en deux phases :
- une phase de définition du programme de transformation en décembre 2019 et janvier 2020 . McKinsey est alors chargé de préparer et d'animer les réunions de réflexion du comité exécutif de la CNAV (Comex), de proposer une feuille de route pour la transformation de la Caisse ainsi qu'une gouvernance « cible ».
À titre liminaire, les consultants de McKinsey doivent s'adonner à la « lecture des préconisations de M.Delevoye, sur la réforme des retraites » et en déduire « des implications sur chaque programme » de la CNAV 218 ( * ) ;
- une phase d'impulsion du programme de transformation, autour de 31 chantiers (« information des assurés », « évolution de l'offre de services », « évolution des applications » informatiques de la CNAV, etc .). Trois consultants de McKinsey sont dépêchés à la CNAV pour mener les concertations avec les responsables de chaque chantier (cadres de la Caisse).
Les livrables de McKinsey correspondent à des fichiers Powerpoint pour préparer les réunions hebdomadaires et à un guide d'une cinquantaine de pages pour les responsables de chantier, intitulé « Se préparer aux évolutions possibles de la branche retraite ». Ils sont présentés sous le logo de l'assurance retraite, non du cabinet .
Outre la présentation du programme de transformation, le guide de McKinsey émet des recommandations d'ordre général aux responsables de chantier : identifier « les contributions pertinentes », allouer « les tâches correspondantes », identifier « les besoins en ressources (humaines et matérielles) », résoudre « les points de blocage qui ne méritent pas d'escalade » ou encore communiquer « les avancées sur le chantier ».
Pour la direction de la CNAV, « la prestation fournie a répondu aux attentes [...] et a permis d'initier, dans un calendrier réduit, un programme de transformation extrêmement ambitieux ».
Néanmoins, deux événements ont eu un impact direct sur les suites données à la prestation :
- la crise sanitaire , qui a conduit la CNAV à adapter ses méthodes de travail ;
- l'abandon de la réforme des retraites .
La CNAV indique que, « dans ces conditions, certains des éléments du programme de transformation ont été arrêtés (notamment ceux liés à la mise en place programmée de la CNRU), d'autres ralentis et réajustés (en particulier, le rapprochement avec l'Agirc-Arcco) ».
En pratique, la prestation de McKinsey a donc eu peu, voire pas, de suites tangibles , même si la CNAV assure qu'elle « a permis de construire une vision cible et un programme regroupant de nouveaux projets, ce qui a favorisé la mobilisation des acteurs métiers et systèmes d'information et permis une avancée notable de différents chantiers ».
Au début de l'année 2021, la CNAV a d'ailleurs lancé une nouvelle réflexion sur sa transformation (programme « Retraite 2025 »), en recourant cette fois-ci à des compétences internes et non à des cabinets de conseil .
* 212 Sources : fiches d'évaluation transmises par la DITP.
* 213 Pour plus de précisions, voir l'étude de cas consacrée à cette mission sur l'avenir du métier d'enseignant.
* 214 Mission du BCG en 2020 sur le service public de l'accueil téléphonique, notée 4/5, pour un montant de 109 350 euros.
* 215 Mission de Capgemini en 2020, sur le cockpit de la rénovation énergétique, notée 3,5/5, pour un montant de 229 440 euros.
* 216 La fiche d'évaluation de la prestation du sous-traitant d'INOP'S indique ainsi : « Certains livrables ont dû être travaillés par la DITP (niveau d'approfondissement, qualité rédactionnelle). »
* 217 Contribution écrite de la CNAV transmise à la commission d'enquête.
* 218 Devis de McKinsey, en date du 8 novembre 2019.