B. LES CARENCES DE L'ÉVALUATION DES ACQUIS DES ÉTUDIANTS
1. Les observations formulées par votre rapporteur spécial en 2001 à la suite de la publication d'une étude du ministère relative aux taux de réussite au DEUG
Le
ministère de l'éducation nationale a publié dans sa note
d'information n° 01.47 d'octobre 2001 les résultats d'une
première étude sur la réussite au DEUG par
université.
La
méthodologie
de cette étude était la
suivante :
- en premier lieu, elle calculait le
taux de réussite au DEUG
par
établissement en rapportant le nombre de diplômés d'une
université au nombre d'entrants « confirmés »
en première année de premier cycle de cette université
(c'est à dire ceux qui ont poursuivi leurs études, en premier
cycle, un an après leur entrée), les étudiants en double
cursus étant éliminés, mais les réorientations
étant prises en compte (un étudiant entrant dans une discipline
A, mais se réorientant au cours de l'une des deux années
suivantes vers la discipline B, étant comptabilisé comme entrant
dans la discipline B). Ce taux de réussite était alors
décliné sur deux, trois, quatre et cinq ans
105(
*
)
. Au niveau national, le taux de
réussite ainsi obtenu était de 45,5 % en deux ans (la
durée normale), de 68,8 % en trois ans et de 79,7 %
après cinq ans. Cependant, le taux de réussite en deux ans
variait du simple au triple entre Paris-VIII (22 %) et Paris-IX
(80 %) ;
- dans un second temps, cette étude s'efforçait d'éliminer
l'incidence de certains facteur pour calculer un
taux de réussite
attendu
ou simulé, compte tenu du profil des étudiants
entrants à l'université. Les facteurs pris en compte
étaient au nombre de trois : la série du baccalauréat
(littéraire, économique, scientifique ou technologique),
l'âge au baccalauréat selon trois modalités
(« à l'heure » ou en avance, en retard d'un an, en
retard de plus d'un an) et la discipline d'inscription selon sept
modalités (droit, économie, et AES, lettres, langues, sciences
humaines, sciences et STAPS). L'écart entre le taux de réussite
effectif et le taux de réussite « attendu »
correspondait alors à la « valeur ajoutée »
de l'université.
Les résultats ainsi obtenus sont reproduits dans les tableaux
ci-après.
Taux de réussite réels et simulés à la session 1999 par établissement pour tous bacheliers (hors professionnels) inscrits dans toutes les disciplines du DEUG
|
ETABLISSEMENT |
Taux de réussite au DEUG |
Valeur ajoutée |
Taux en 2 ans |
Valeur ajoutée |
||
|
Réels |
Simulés |
Réels |
Simulés |
|||
|
|
|
|
|
|
|
|
|
AIX I |
87,5 |
82,1 |
5,4 |
50,4 |
49,4 |
1,0 |
|
AIX II |
88,7 |
84,7 |
4,0 |
49,8 |
48,1 |
1,7 |
|
AIX III |
70,6 |
73,8 |
-3,2 |
37,3 |
37,8 |
-0,5 |
|
AMIENS |
77,0 |
80,7 |
-3,7 |
44,9 |
46,4 |
-1,5 |
|
ANGERS |
85,3 |
80,0 |
5,3 |
53,5 |
45,7 |
7,8 |
|
ANTILLES-GUYANE |
57,6 |
71,8 |
-14,2 |
27,6 |
38,4 |
-10,8 |
|
ARTOIS |
78,1 |
79,4 |
-1,3 |
46,5 |
45,3 |
1,2 |
|
AVIGNON |
99,4 |
76,6 |
22,8 |
55,8 |
42,5 |
13,3 |
|
BESANCON |
81,9 |
79,1 |
2,8 |
49,7 |
45,0 |
4,7 |
|
BORDEAUX I |
79,6 |
84,2 |
-4,6 |
37,1 |
41,1 |
-4,0 |
|
BORDEAUX II |
100,0 |
84,2 |
15,8 |
54,0 |
51,0 |
3,0 |
|
BORDEAUX III |
72,2 |
82,5 |
-10,3 |
41,8 |
51,4 |
-9,6 |
|
BORDEAUX IV |
58,6 |
70,3 |
-11,7 |
29,0 |
40,1 |
-11,1 |
|
BREST |
89,5 |
79,4 |
10,1 |
53,0 |
45,3 |
7,7 |
|
BRETAGNE SUD |
74,5 |
76,8 |
-2,3 |
48,8 |
43,1 |
5,7 |
|
CAEN |
68,9 |
81,1 |
-12,2 |
37,5 |
46,9 |
-9,4 |
|
CERGY PONTOISE |
86,2 |
76,1 |
10,1 |
45,4 |
40,7 |
4,7 |
|
CHAMBERY |
85,0 |
81,0 |
4,0 |
51,4 |
46,6 |
4,8 |
|
CLERMONT I |
72,7 |
72,7 |
0,0 |
42,3 |
40,2 |
2,1 |
|
CLERMONT II |
75,9 |
84,7 |
-8,8 |
48,5 |
49,7 |
-1,2 |
|
CORSE |
84,3 |
78,2 |
6,1 |
47,7 |
44,4 |
3,3 |
|
DIJON |
82,6 |
82,3 |
0,3 |
47,8 |
47,8 |
0,0 |
|
EVRY VAL D'ESSONNE |
81,2 |
71,4 |
9,8 |
49,0 |
37,3 |
11,7 |
|
GRENOBLE I |
67,2 |
87,6 |
-20,4 |
39,7 |
47,4 |
-7,7 |
|
GRENOBLE II |
73,4 |
76,9 |
-3,5 |
42,9 |
44,3 |
-1,4 |
|
GRENOBLE III |
86,2 |
82,4 |
3,8 |
56,3 |
51,1 |
5,2 |
|
LA REUNION |
76,1 |
78,7 |
-2,6 |
40,5 |
44,5 |
-4,0 |
|
LA ROCHELLE |
82,7 |
78,0 |
4,7 |
39,0 |
41,7 |
-2,7 |
|
LE HAVRE |
90,7 |
75,6 |
15,1 |
61,6 |
42,1 |
19,5 |
|
LE MANS |
79,3 |
82,5 |
-3,2 |
47,2 |
47,8 |
-0,6 |
|
LILLE I |
71,0 |
83,7 |
-12,7 |
41,3 |
44,4 |
-3,1 |
|
LILLE II |
60,6 |
76,1 |
-15,5 |
32,3 |
43,0 |
-10,7 |
|
LILLE III |
80,4 |
80,9 |
-0,5 |
48,6 |
49,6 |
-1,0 |
|
LIMOGES |
80,8 |
81,3 |
-0,5 |
40,3 |
46,6 |
-6,3 |
|
LITTORAL |
74,0 |
77,7 |
-3,7 |
45,6 |
44,1 |
1,5 |
|
LYON I |
88,5 |
83,3 |
5,2 |
50,6 |
42,2 |
8,4 |
|
LYON II |
99,7 |
81,3 |
18,4 |
64,1 |
50,0 |
14,1 |
|
ETABLISSEMENT |
Taux de réussite au DEUG |
Valeur ajoutée |
Taux en 2 ans |
Valeur ajoutée |
||
|
Réels |
Simulés |
Réels |
Simulés |
|||
|
LYON III |
84,0 |
76,6 |
7,4 |
49,5 |
44,2 |
5,3 |
|
MARNE LA VALLEE |
80,2 |
79,1 |
1,1 |
42,6 |
44,6 |
-2,0 |
|
METZ |
82,5 |
79,3 |
3,2 |
48,4 |
45,5 |
2,9 |
|
MONTPELLIER I |
70,6 |
77,5 |
-6,9 |
35,0 |
44,0 |
-9,0 |
|
MONTPELLIER II |
84,4 |
82,6 |
1,8 |
36,4 |
39,9 |
-3,5 |
|
MONTPELLIER III |
94,2 |
81,6 |
12,6 |
50,4 |
50,4 |
0,0 |
|
MULHOUSE |
65,8 |
79,5 |
-13,7 |
42,5 |
45,6 |
-3,1 |
|
NANCY I |
83,4 |
88,1 |
-4,7 |
44,1 |
46,7 |
-2,6 |
|
NANCY II |
85,7 |
78,5 |
7,2 |
43,4 |
46,6 |
-3,2 |
|
NANTES |
78,8 |
82,3 |
-3,5 |
45,5 |
47,8 |
-2,3 |
|
NICE |
73,5 |
79,7 |
-6,2 |
41,4 |
45,5 |
-4,1 |
|
ORLEANS |
77,9 |
80,9 |
-3,0 |
42,4 |
46,3 |
-3,9 |
|
PACIFIQUE |
51,7 |
62,2 |
-10,5 |
25,5 |
31,5 |
-6,0 |
|
PARIS I |
85,7 |
79,1 |
6,6 |
51,2 |
46,6 |
4,6 |
|
PARIS II |
71,0 |
74,3 |
-3,3 |
45,0 |
40,1 |
4,9 |
|
PARIS III |
59,2 |
80,8 |
-21,6 |
41,3 |
49,6 |
-8,3 |
|
PARIS IV |
82,0 |
83,2 |
-1,2 |
55,6 |
52,0 |
3,6 |
|
PARIS IX |
99,1 |
93,4 |
5,7 |
80,7 |
59,4 |
21,3 |
|
PARIS V |
84,5 |
75,1 |
9,4 |
40,7 |
41,8 |
-1,1 |
|
PARIS VI |
82,1 |
83,7 |
-1,6 |
38,8 |
39,1 |
-0,3 |
|
PARIS VII |
82,8 |
80,7 |
2,1 |
42,2 |
44,4 |
-2,2 |
|
PARIS VIII |
41,8 |
69,8 |
-28,0 |
22,9 |
40,5 |
-17,6 |
|
PARIS X |
79,8 |
75,0 |
4,8 |
52,9 |
43,1 |
9,8 |
|
PARIS XI |
81,9 |
79,2 |
2,7 |
41,7 |
40,6 |
1,1 |
|
PARIS XII |
86,2 |
75,8 |
10,4 |
43,5 |
42,3 |
1,2 |
|
PARIS XIII |
79,2 |
67,9 |
11,3 |
43,4 |
36,0 |
7,4 |
|
PAU |
81,6 |
79,5 |
2,1 |
43,0 |
44,8 |
-1,8 |
|
PERPIGNAN |
100,0 |
76,4 |
23,6 |
65,1 |
42,9 |
22,2 |
|
POITIERS |
77,9 |
81,7 |
-3,8 |
46,9 |
47,8 |
-0,9 |
|
REIMS |
77,5 |
79,0 |
-1,5 |
39,1 |
45,2 |
-6,1 |
|
RENNES I |
79,8 |
78,7 |
1,1 |
40,4 |
41,1 |
-0,7 |
|
RENNES II |
81,8 |
82,8 |
-1,0 |
57,0 |
50,8 |
6,2 |
|
ROUEN |
84,9 |
77,6 |
7,3 |
41,7 |
44,4 |
-2,7 |
|
ST-ETIENNE |
79,2 |
81,6 |
-2,4 |
49,5 |
47,7 |
1,8 |
|
STRASBOURG I |
82,6 |
86,2 |
-3,6 |
36,7 |
46,8 |
-10,1 |
|
STRASBOURG II |
81,2 |
87,3 |
-6,1 |
44,4 |
55,4 |
-11,0 |
|
STRASBOURG III |
63,9 |
74,4 |
-10,5 |
32,0 |
40,4 |
-8,4 |
|
TOULON |
90,8 |
77,7 |
13,1 |
47,3 |
43,2 |
4,1 |
|
TOULOUSE I |
77,4 |
72,1 |
5,3 |
46,4 |
39,3 |
7,1 |
|
TOULOUSE II |
89,1 |
81,3 |
7,8 |
49,0 |
49,9 |
-0,9 |
|
TOULOUSE III |
89,5 |
85,9 |
3,6 |
38,0 |
45,0 |
-7,0 |
|
TOURS |
86,0 |
81,7 |
4,3 |
49,0 |
47,7 |
1,3 |
|
VALENCIENNES |
72,5 |
80,7 |
-8,2 |
38,6 |
45,7 |
-7,1 |
|
VERSAILLES |
71,0 |
78,8 |
-7,8 |
46,2 |
42,0 |
4,2 |
|
FRANCE ENTIERE |
79,7 |
|
45,5 |
|
||
La
publication de cette étude a eu un
impact considérable
,
nombre de présidents d'université étant ainsi
sommés par les média de s'expliquer sur les mauvaises
performances de leurs établissements.
De fait, les chiffres ci-dessus sont sans aucun doute plus satisfaisants que
les chiffres bruts qui sont été collectés et
publiés chaque année par un grand hebdomadaire.
Votre rapporteur spécial avait toutefois formulé dans son rapport
sur le projet de loi de finances pour 2002 les observations suivantes :
« -
les indicateurs proposés sont
restrictifs
.
En effet, l'étude ne porte que sur le seul taux de réussite au
DEUG alors que les universités peuvent avoir des pratiques
d'évaluation et des performances différenciées selon les
niveaux ;
- en outre, cette étude ne fournit aucune explication sur l'origine
(pédagogie plus ou moins adaptée, examens plus ou moins
sévères, critères d'évaluation différents,
etc.) des écarts constatés, alors même que
le taux de
succès à un examen est un critère très ambigu
,
puisqu'il peut refléter aussi bien l'efficacité des pratiques
pédagogiques qu'un plus ou moins grand laxisme en matière
d'évaluation : à la limite, toutes les universités
qui le souhaitent pourraient très rapidement délivrer 100 %
de DEUG en deux ans. En conséquence, le terme retenu de
« valeur ajoutée » est sans doute maladroit ;
- par surcroît, et au contraire de la méthode utilisée
pour évaluer la valeur ajoutée des lycées, cette
étude ne retient pas le critère de la
catégorie
sociale
des parents pour apprécier la valeur ajoutée des
établissements. Or les différences sociales produisent des effets
continus bien au delà du bac. De même, l'étude
n'élimine pas l'impact des ressources financières des
étudiants
106(
*
)
.
Ces imperfections ne doivent pas conduire à réitérer le
précédent de 1997, lorsque la réalisation d'une
étude semblable par la direction de la programmation et du
développement du ministère de l'Education nationale avait fait
long feu, en raison notamment des pressions exercées par des
universités mécontentes de leurs résultats.
En effet, la publication d'enquêtes plus frustes encore par des grands
média démontre que ce type de données correspond à
une
demande sociale
forte et, au demeurant,
légitime
.
En outre, ce type d'évaluation peut constituer un puissant levier de
modernisation, comme ce fut le cas pour les lycées
.
Cependant, les observations précédentes illustrent à
certains égards les carences du dispositif d'évaluation de
l'enseignement supérieur, et invitent à un approfondissement des
méthodes employées, ce qui requiert sans doute des progrès
sensibles en matière de systèmes d'information.
En particulier il semble aujourd'hui indispensable de développer les
travaux sur les liens entre l'insertion professionnelle des étudiants,
leurs acquis, les taux de réussite aux examens, les pratiques
pédagogiques et les moyens mis en oeuvre (ces derniers paraissant au
premier abord entretenir des liens incertains avec les taux de réussite
tels que définis ci-dessus)
».