B. LES CARENCES DE L'ÉVALUATION DES ACQUIS DES ÉTUDIANTS
1. Les observations formulées par votre rapporteur spécial en 2001 à la suite de la publication d'une étude du ministère relative aux taux de réussite au DEUG
Le ministère de l'éducation nationale a publié dans sa note d'information n° 01.47 d'octobre 2001 les résultats d'une première étude sur la réussite au DEUG par université.
La méthodologie de cette étude était la suivante :
- en premier lieu, elle calculait le taux de réussite au DEUG par établissement en rapportant le nombre de diplômés d'une université au nombre d'entrants « confirmés » en première année de premier cycle de cette université (c'est à dire ceux qui ont poursuivi leurs études, en premier cycle, un an après leur entrée), les étudiants en double cursus étant éliminés, mais les réorientations étant prises en compte (un étudiant entrant dans une discipline A, mais se réorientant au cours de l'une des deux années suivantes vers la discipline B, étant comptabilisé comme entrant dans la discipline B). Ce taux de réussite était alors décliné sur deux, trois, quatre et cinq ans 105 ( * ) . Au niveau national, le taux de réussite ainsi obtenu était de 45,5 % en deux ans (la durée normale), de 68,8 % en trois ans et de 79,7 % après cinq ans. Cependant, le taux de réussite en deux ans variait du simple au triple entre Paris-VIII (22 %) et Paris-IX (80 %) ;
- dans un second temps, cette étude s'efforçait d'éliminer l'incidence de certains facteur pour calculer un taux de réussite attendu ou simulé, compte tenu du profil des étudiants entrants à l'université. Les facteurs pris en compte étaient au nombre de trois : la série du baccalauréat (littéraire, économique, scientifique ou technologique), l'âge au baccalauréat selon trois modalités (« à l'heure » ou en avance, en retard d'un an, en retard de plus d'un an) et la discipline d'inscription selon sept modalités (droit, économie, et AES, lettres, langues, sciences humaines, sciences et STAPS). L'écart entre le taux de réussite effectif et le taux de réussite « attendu » correspondait alors à la « valeur ajoutée » de l'université.
Les résultats ainsi obtenus sont reproduits dans les tableaux ci-après.
Taux de réussite réels et simulés à la session 1999 par établissement pour tous bacheliers (hors professionnels) inscrits dans toutes les disciplines du DEUG
|
ETABLISSEMENT |
Taux de réussite au DEUG |
Valeur ajoutée |
Taux en 2 ans |
Valeur ajoutée |
||
|
Réels |
Simulés |
Réels |
Simulés |
|||
|
|
|
|
|
|
|
|
|
AIX I |
87,5 |
82,1 |
5,4 |
50,4 |
49,4 |
1,0 |
|
AIX II |
88,7 |
84,7 |
4,0 |
49,8 |
48,1 |
1,7 |
|
AIX III |
70,6 |
73,8 |
-3,2 |
37,3 |
37,8 |
-0,5 |
|
AMIENS |
77,0 |
80,7 |
-3,7 |
44,9 |
46,4 |
-1,5 |
|
ANGERS |
85,3 |
80,0 |
5,3 |
53,5 |
45,7 |
7,8 |
|
ANTILLES-GUYANE |
57,6 |
71,8 |
-14,2 |
27,6 |
38,4 |
-10,8 |
|
ARTOIS |
78,1 |
79,4 |
-1,3 |
46,5 |
45,3 |
1,2 |
|
AVIGNON |
99,4 |
76,6 |
22,8 |
55,8 |
42,5 |
13,3 |
|
BESANCON |
81,9 |
79,1 |
2,8 |
49,7 |
45,0 |
4,7 |
|
BORDEAUX I |
79,6 |
84,2 |
-4,6 |
37,1 |
41,1 |
-4,0 |
|
BORDEAUX II |
100,0 |
84,2 |
15,8 |
54,0 |
51,0 |
3,0 |
|
BORDEAUX III |
72,2 |
82,5 |
-10,3 |
41,8 |
51,4 |
-9,6 |
|
BORDEAUX IV |
58,6 |
70,3 |
-11,7 |
29,0 |
40,1 |
-11,1 |
|
BREST |
89,5 |
79,4 |
10,1 |
53,0 |
45,3 |
7,7 |
|
BRETAGNE SUD |
74,5 |
76,8 |
-2,3 |
48,8 |
43,1 |
5,7 |
|
CAEN |
68,9 |
81,1 |
-12,2 |
37,5 |
46,9 |
-9,4 |
|
CERGY PONTOISE |
86,2 |
76,1 |
10,1 |
45,4 |
40,7 |
4,7 |
|
CHAMBERY |
85,0 |
81,0 |
4,0 |
51,4 |
46,6 |
4,8 |
|
CLERMONT I |
72,7 |
72,7 |
0,0 |
42,3 |
40,2 |
2,1 |
|
CLERMONT II |
75,9 |
84,7 |
-8,8 |
48,5 |
49,7 |
-1,2 |
|
CORSE |
84,3 |
78,2 |
6,1 |
47,7 |
44,4 |
3,3 |
|
DIJON |
82,6 |
82,3 |
0,3 |
47,8 |
47,8 |
0,0 |
|
EVRY VAL D'ESSONNE |
81,2 |
71,4 |
9,8 |
49,0 |
37,3 |
11,7 |
|
GRENOBLE I |
67,2 |
87,6 |
-20,4 |
39,7 |
47,4 |
-7,7 |
|
GRENOBLE II |
73,4 |
76,9 |
-3,5 |
42,9 |
44,3 |
-1,4 |
|
GRENOBLE III |
86,2 |
82,4 |
3,8 |
56,3 |
51,1 |
5,2 |
|
LA REUNION |
76,1 |
78,7 |
-2,6 |
40,5 |
44,5 |
-4,0 |
|
LA ROCHELLE |
82,7 |
78,0 |
4,7 |
39,0 |
41,7 |
-2,7 |
|
LE HAVRE |
90,7 |
75,6 |
15,1 |
61,6 |
42,1 |
19,5 |
|
LE MANS |
79,3 |
82,5 |
-3,2 |
47,2 |
47,8 |
-0,6 |
|
LILLE I |
71,0 |
83,7 |
-12,7 |
41,3 |
44,4 |
-3,1 |
|
LILLE II |
60,6 |
76,1 |
-15,5 |
32,3 |
43,0 |
-10,7 |
|
LILLE III |
80,4 |
80,9 |
-0,5 |
48,6 |
49,6 |
-1,0 |
|
LIMOGES |
80,8 |
81,3 |
-0,5 |
40,3 |
46,6 |
-6,3 |
|
LITTORAL |
74,0 |
77,7 |
-3,7 |
45,6 |
44,1 |
1,5 |
|
LYON I |
88,5 |
83,3 |
5,2 |
50,6 |
42,2 |
8,4 |
|
LYON II |
99,7 |
81,3 |
18,4 |
64,1 |
50,0 |
14,1 |
|
ETABLISSEMENT |
Taux de réussite au DEUG |
Valeur ajoutée |
Taux en 2 ans |
Valeur ajoutée |
||
|
Réels |
Simulés |
Réels |
Simulés |
|||
|
LYON III |
84,0 |
76,6 |
7,4 |
49,5 |
44,2 |
5,3 |
|
MARNE LA VALLEE |
80,2 |
79,1 |
1,1 |
42,6 |
44,6 |
-2,0 |
|
METZ |
82,5 |
79,3 |
3,2 |
48,4 |
45,5 |
2,9 |
|
MONTPELLIER I |
70,6 |
77,5 |
-6,9 |
35,0 |
44,0 |
-9,0 |
|
MONTPELLIER II |
84,4 |
82,6 |
1,8 |
36,4 |
39,9 |
-3,5 |
|
MONTPELLIER III |
94,2 |
81,6 |
12,6 |
50,4 |
50,4 |
0,0 |
|
MULHOUSE |
65,8 |
79,5 |
-13,7 |
42,5 |
45,6 |
-3,1 |
|
NANCY I |
83,4 |
88,1 |
-4,7 |
44,1 |
46,7 |
-2,6 |
|
NANCY II |
85,7 |
78,5 |
7,2 |
43,4 |
46,6 |
-3,2 |
|
NANTES |
78,8 |
82,3 |
-3,5 |
45,5 |
47,8 |
-2,3 |
|
NICE |
73,5 |
79,7 |
-6,2 |
41,4 |
45,5 |
-4,1 |
|
ORLEANS |
77,9 |
80,9 |
-3,0 |
42,4 |
46,3 |
-3,9 |
|
PACIFIQUE |
51,7 |
62,2 |
-10,5 |
25,5 |
31,5 |
-6,0 |
|
PARIS I |
85,7 |
79,1 |
6,6 |
51,2 |
46,6 |
4,6 |
|
PARIS II |
71,0 |
74,3 |
-3,3 |
45,0 |
40,1 |
4,9 |
|
PARIS III |
59,2 |
80,8 |
-21,6 |
41,3 |
49,6 |
-8,3 |
|
PARIS IV |
82,0 |
83,2 |
-1,2 |
55,6 |
52,0 |
3,6 |
|
PARIS IX |
99,1 |
93,4 |
5,7 |
80,7 |
59,4 |
21,3 |
|
PARIS V |
84,5 |
75,1 |
9,4 |
40,7 |
41,8 |
-1,1 |
|
PARIS VI |
82,1 |
83,7 |
-1,6 |
38,8 |
39,1 |
-0,3 |
|
PARIS VII |
82,8 |
80,7 |
2,1 |
42,2 |
44,4 |
-2,2 |
|
PARIS VIII |
41,8 |
69,8 |
-28,0 |
22,9 |
40,5 |
-17,6 |
|
PARIS X |
79,8 |
75,0 |
4,8 |
52,9 |
43,1 |
9,8 |
|
PARIS XI |
81,9 |
79,2 |
2,7 |
41,7 |
40,6 |
1,1 |
|
PARIS XII |
86,2 |
75,8 |
10,4 |
43,5 |
42,3 |
1,2 |
|
PARIS XIII |
79,2 |
67,9 |
11,3 |
43,4 |
36,0 |
7,4 |
|
PAU |
81,6 |
79,5 |
2,1 |
43,0 |
44,8 |
-1,8 |
|
PERPIGNAN |
100,0 |
76,4 |
23,6 |
65,1 |
42,9 |
22,2 |
|
POITIERS |
77,9 |
81,7 |
-3,8 |
46,9 |
47,8 |
-0,9 |
|
REIMS |
77,5 |
79,0 |
-1,5 |
39,1 |
45,2 |
-6,1 |
|
RENNES I |
79,8 |
78,7 |
1,1 |
40,4 |
41,1 |
-0,7 |
|
RENNES II |
81,8 |
82,8 |
-1,0 |
57,0 |
50,8 |
6,2 |
|
ROUEN |
84,9 |
77,6 |
7,3 |
41,7 |
44,4 |
-2,7 |
|
ST-ETIENNE |
79,2 |
81,6 |
-2,4 |
49,5 |
47,7 |
1,8 |
|
STRASBOURG I |
82,6 |
86,2 |
-3,6 |
36,7 |
46,8 |
-10,1 |
|
STRASBOURG II |
81,2 |
87,3 |
-6,1 |
44,4 |
55,4 |
-11,0 |
|
STRASBOURG III |
63,9 |
74,4 |
-10,5 |
32,0 |
40,4 |
-8,4 |
|
TOULON |
90,8 |
77,7 |
13,1 |
47,3 |
43,2 |
4,1 |
|
TOULOUSE I |
77,4 |
72,1 |
5,3 |
46,4 |
39,3 |
7,1 |
|
TOULOUSE II |
89,1 |
81,3 |
7,8 |
49,0 |
49,9 |
-0,9 |
|
TOULOUSE III |
89,5 |
85,9 |
3,6 |
38,0 |
45,0 |
-7,0 |
|
TOURS |
86,0 |
81,7 |
4,3 |
49,0 |
47,7 |
1,3 |
|
VALENCIENNES |
72,5 |
80,7 |
-8,2 |
38,6 |
45,7 |
-7,1 |
|
VERSAILLES |
71,0 |
78,8 |
-7,8 |
46,2 |
42,0 |
4,2 |
|
FRANCE ENTIERE |
79,7 |
|
45,5 |
|
||
La publication de cette étude a eu un impact considérable , nombre de présidents d'université étant ainsi sommés par les média de s'expliquer sur les mauvaises performances de leurs établissements.
De fait, les chiffres ci-dessus sont sans aucun doute plus satisfaisants que les chiffres bruts qui sont été collectés et publiés chaque année par un grand hebdomadaire.
Votre rapporteur spécial avait toutefois formulé dans son rapport sur le projet de loi de finances pour 2002 les observations suivantes :
« - les indicateurs proposés sont restrictifs . En effet, l'étude ne porte que sur le seul taux de réussite au DEUG alors que les universités peuvent avoir des pratiques d'évaluation et des performances différenciées selon les niveaux ;
- en outre, cette étude ne fournit aucune explication sur l'origine (pédagogie plus ou moins adaptée, examens plus ou moins sévères, critères d'évaluation différents, etc.) des écarts constatés, alors même que le taux de succès à un examen est un critère très ambigu , puisqu'il peut refléter aussi bien l'efficacité des pratiques pédagogiques qu'un plus ou moins grand laxisme en matière d'évaluation : à la limite, toutes les universités qui le souhaitent pourraient très rapidement délivrer 100 % de DEUG en deux ans. En conséquence, le terme retenu de « valeur ajoutée » est sans doute maladroit ;
- par surcroît, et au contraire de la méthode utilisée pour évaluer la valeur ajoutée des lycées, cette étude ne retient pas le critère de la catégorie sociale des parents pour apprécier la valeur ajoutée des établissements. Or les différences sociales produisent des effets continus bien au delà du bac. De même, l'étude n'élimine pas l'impact des ressources financières des étudiants 106 ( * ) .
Ces imperfections ne doivent pas conduire à réitérer le précédent de 1997, lorsque la réalisation d'une étude semblable par la direction de la programmation et du développement du ministère de l'Education nationale avait fait long feu, en raison notamment des pressions exercées par des universités mécontentes de leurs résultats.
En effet, la publication d'enquêtes plus frustes encore par des grands média démontre que ce type de données correspond à une demande sociale forte et, au demeurant, légitime .
En outre, ce type d'évaluation peut constituer un puissant levier de modernisation, comme ce fut le cas pour les lycées .
Cependant, les observations précédentes illustrent à certains égards les carences du dispositif d'évaluation de l'enseignement supérieur, et invitent à un approfondissement des méthodes employées, ce qui requiert sans doute des progrès sensibles en matière de systèmes d'information.
En particulier il semble aujourd'hui indispensable de développer les travaux sur les liens entre l'insertion professionnelle des étudiants, leurs acquis, les taux de réussite aux examens, les pratiques pédagogiques et les moyens mis en oeuvre (ces derniers paraissant au premier abord entretenir des liens incertains avec les taux de réussite tels que définis ci-dessus) ».
2. Les observations analogues de la Cour des Comptes
Dans le cadre de son rapport public particulier d'avril 2003 relatif à la gestion du système éducatif, la Cour des Comptes a formulé des observations concourantes sur les disparités de taux de réussite aux diplômes :
« Force est de constater de très fortes disparités entre filières . Pour le DEUG, la formation la plus sélective est le droit (taux de réussite de 73 % quel que soit le nombre d'années pour y parvenir), la moins sélective, les STAPS (91 %). Pour la licence et la maîtrise, les taux se situent à 73 % et 72 % en droit alors qu'ils sont en langues de 57 % et de 33 %. Les écarts entre les universités sont tout aussi importants. Par exemple, dans les formations en droit, les taux de réussite vont du simple au triple selon les établissements.
L'amplitude de ces écarts ne s'explique pas par des considérations socio-économiques car certaines universités proches, voire même limitrophes, obtiennent des résultats très différents. Elle ne s'explique pas plus par la taille des établissements, ni par leur caractère multidisciplinaire ou, au contraire, spécialisé. Aucun élément, en dehors des caractéristiques pédagogiques et des spécificités d'organisation de chaque université, ne semble donc expliquer la réussite de certains établissements, que ni l'ancienneté, ni la réputation, ni le niveau de dotations en enseignants ou en moyens budgétaires ne distinguent particulièrement. En l'absence d'études comparatives entre les universités et d'analyse sur les facteurs de leurs performances contrastées, le ministère de l'éducation nationale n'est pas à même d'expliquer ces phénomènes .
Pour éclairer ces derniers, le ministère devrait être en mesure, ce qui n'est pas le cas, de lever les incertitudes concernant la connaissance et l'interprétation des performances des établissements. Il n'existe pas encore d'étude systématique et fiable des taux de réussite aux différents diplômes. Les études du ministère portant sur les chances de réussite des étudiants durant leur parcours de formation sont lacunaires et sujettes à caution. S'il existe des données sur les DEUG, le ministère n'a pas encore publié de données sur les probabilités qu'ont les bacheliers d'obtenir des diplômes tels que la licence ou la maîtrise. Le panel de bacheliers 1996 élaboré par la DPD devrait permettre une meilleure connaissance statistique, mais il n'a que cinq ans de recul, ce qui est trop court pour analyser les parcours d'étudiants. Par ailleurs, la base de données SISE qui recense les étudiants par diplôme et les enquêtes annuelles sur les diplômes obtenus souffre d'incertitudes sur les informations communiquées par les universités. Des erreurs ont notamment entaché certaines années l'identification des étudiants. L'amélioration de l'information est une préoccupation du ministère mais on ne peut pour l'instant que relever des divergences inexpliquées entre les diverses sources d'information ».
3. Les préconisations convergentes du Haut conseil de l'évaluation de l'école
De même, le Haut conseil de l'évaluation de l'école concluait dans son avis n°8 d'avril 2003 relatif à l'évaluation des acquis des étudiants :
« Les connaissances dont on dispose sur les acquis des étudiants sont très fragmentaires...
Les pratiques réelles d'évaluation sont mal connues : les tâches d'évaluation occupent une place importante - et de plus en plus importante - dans l'exercice du métier d'enseignant-chercheur, mais on sait peu de choses sur la façon dont ces enseignants-chercheurs s'acquittent de cette mission. De plus, l'évaluation n'est pas considérée comme une des composantes de leur « professionnalité »...
Or, la possibilité de mettre en rapport les progrès des étudiants avec les modalités et les coûts de leur formation est un enjeu essentiel puisque ces modalités et ces coûts sont très différents entre universités, écoles, IUT, lycées post-baccalauréat, etc. Ceci implique, non seulement une connaissance des acquis en fin de formations, mais aussi une appréciation des acquis à l'entrée de ces formations.
Une exigence de transparence et de compte rendu s'impose au service public de l'enseignement supérieur comme à tout autre service public. La lisibilité du contenu des formations et de ce que certifient les diplômes est indispensable pour permettre la mobilité des étudiants dans l'espace européen de l'enseignement supérieur. La création de l'Agence européenne de l'évaluation de la qualité de l'enseignement supérieur incite à l'évaluation des acquis des étudiants et, faute pour le service public de la réaliser, le marché s'en chargerait.
Dans le contexte de l'accroissement de l'accès à l'enseignement supérieur, rester ambigu quant aux objectifs des formations et à leurs critères d'évaluation défavorise les « nouveaux » étudiants par rapport à ceux qui connaissent les règles implicites. L'équité, aussi, exige la transparence à cet égard. De même, la transparence de l'évaluation favorise la motivation et l'engagement des étudiants dans l'apprentissage. S'ils doivent passer leur temps à essayer de comprendre les règles, ils n'apprennent pas.
Une volonté politique forte doit soutenir la mise en place de dispositifs d'évaluation des acquis des étudiants qui contribuent au pilotage national du service public d'enseignement supérieur et à la qualité des formations qui y sont délivrées...
... Pour ce faire.. il convient d'explorer la possibilité de réaliser des enquêtes sur échantillon, sur le modèle des évaluations-bilans que réalise la direction de l'évaluation et de la prospective à différents niveaux de la scolarité primaire et secondaire... ».
4. Les suites envisagées par le ministère
En réponse aux questions de votre rapporteur spécial, le ministère de la jeunesse, de l'éducation nationale et de la recherche a transmis les éléments d'information suivants relatifs aux suites qu'il entend donner aux observations précédentes :
« Le ministère envisage d'étendre prochainement la publication des taux de réussite à d'autres diplômes , en particulier à la licence, en adaptant la méthodologie en fonction de la durée théorique de la formation (un an pour ce diplôme) ou au futur « cursus licence » d'une durée théorique de trois ans après le baccalauréat ... »
D'ailleurs, « la notion de valeur ajoutée doit être considérée comme un élément essentiel de la politique de pilotage des établissements, notamment dans le cadre de la politique contractuelle . Au même titre que l'évaluation des enseignements, la valeur ajoutée de l'établissement devient ainsi un des principaux critères de la politique d'habilitation des diplômes et un axe fort de la négociation contractuelle ».
* 105 Le taux de réussite sur cinq ans ne peut pas s'interpréter exactement comme une probabilité de réussite, puisqu'il correspond à la somme des taux de réussite en deux, trois, quatre et cinq ans, qui sont indépendants et calculés sur des populations différentes. Ce mode de calcul surestime le taux de réussite lorsque le rythme de réussite a ainsi eu tendance à s'accélérer. Il peut même de la sorte dépasser 100 %.
* 106 En réponse au questionnaire de votre rapporteur spécial, le ministère indique à cet égard en 2003 que « la méthode utilisée pour calculer les taux de réussite permet, en s'efforçant d'en limiter l'incidence, de prendre en compte les effets de structure des populations étudiantes dans les résultats des universités. L'origine sociale des étudiants n'a pas été retenue dans ces critères de redressement des effets de structure, la catégorie socioprofessionnelle des parents étant imparfaitement déclarée par les étudiants dans les fichiers. Cependant, on peut considérer que cette caractéristique intervient de façon implicite, du fait qu'il y a une corrélation assez forte entre la série du baccalauréat et l'âge au baccalauréat d'une part, le milieu social d'autre part.
Bien entendu, cette méthode ne permet pas de rendre compte complètement des différences entre établissements en ce qui concerne la réussite au DEUG qui, de plus, n'est pas un examen national. Des facteurs spécifiques aux universités peuvent intervenir, parmi lesquels le mode de recrutement des étudiants en premier cycle, les critères de passage en deuxième année, les pratiques de notations. Ces particularités sont difficilement mesurables dans l'élaboration des indicateurs de réussite ».