4. Une notice méthodologique plus complète et plus accessible
Comme indiqué précédemment, la législation sur les sondages impose une obligation pour le sondeur de communiquer à la commission des sondages, avant la publication du sondage, une notice d'information comportant les principales données techniques relatives à la réalisation du sondage. Afin de favoriser la transparence dans les conditions de production des enquêtes, le législateur a souhaité en 2002 ouvrir à toute personne le droit de consulter ces notices méthodologiques. La loi a en outre précisé que les personnes devaient être informées de l'existence de ce droit à consultation au moment de la publication du sondage.
Vos rapporteurs préconisent de compléter le contenu de cette notice.
En premier lieu, devraient y figurer les marges d'erreur des résultats publiés , le cas échéant par référence à la méthode aléatoire.
Indiquons tout d'abord que le sondage ne relevant pas de la science exacte, il est nécessairement affecté d'une marge d'erreur , dite aussi marge d'incertitude ou intervalle de confiance. Beaucoup avancent l'idée qu'avec un échantillon de 1000 personnes (taille généralement retenue pour les sondages), la marge d'erreur serait d'environ 3 %. Elle serait toutefois plus faible quand les écarts sont importants (par exemple environ 2 % quand les deux options testées recueillent 15 et 85 %) 22 ( * ) . En revanche, la marge d'erreur progresse à mesure que la taille de l'échantillon se réduit. Or, comme indiqué plus haut, la taille des échantillons utilisée par les instituts est parfois très faible.
On ne peut donc que se réjouir que le législateur ait prévu, dès 1977, que, pour la clarté du débat, la notice fasse apparaître « les limites d'interprétation des résultats publiés », c'est-à-dire la marge d'erreur qui affecte le sondage.
Toutefois, les instituts de sondage ont très vite considéré que l'obligation qui leur est faite de présenter cette donnée n'était pas applicable puisque d'un point de vue statistique une marge d'erreur n'a pas de sens avec la méthode des quotas .
Vos rapporteurs estiment qu'il est tout à fait possible de considérer que la méthode des quotas génère des marges d'incertitude similaires à celles obtenues par la méthode aléatoire . Ce point a été confirmé par de nombreuses personnes entendues, en particulier par le statisticien M. Pascal Ardilly dont la contribution, certes complexe, est fort intéressante sur ce point 23 ( * ) .
Il est donc proposé de remplacer la formule actuelle « les limites d'interprétation des résultats publiés » par une rédaction plus claire et plus contraignante , à savoir : « les marges d'erreur des résultats publiés, le cas échéant par référence à la méthode aléatoire ».
En revanche, vos rapporteurs ont acquis la conviction que la marge d'erreur ne doit pas figurer parmi les mentions qui accompagnement la publication du sondage, et ce pour trois raisons essentielles :
- compte tenu des contraintes inhérentes au format de l'information, une telle mention supplémentaire serait de nature à décourager les organes de presse de publier un sondage sauf s'ils entendent consacrer une large place à ce sondage et à ses commentaires ;
- vos rapporteurs considèrent que la proposition relative aux observations méthodologiques de la commission des sondages rend inutile toute référence à la marge d'erreur au moment de la publication ou de la diffusion du sondage ; en effet, ces observations feront, le cas échéant, apparaître, au moins dans le cas où la marge d'erreur est anormalement élevée (par exemple parce que la taille de l'échantillon est réduite), que le sondage doit être interprété avec la plus grande prudence , ce qui peut paraître suffisant, à charge ensuite pour les personnes intéressées de consulter la notice pour en savoir plus ;
- enfin, comme l'ont souligné les représentants de l'INSEE lors de leur audition, il faudrait préciser que les pourcentages ne sont pas équiprobables puisque la probabilité qu'on soit au centre de l'intervalle est la plus forte. Concrètement, si l'on part du principe que la marge d'erreur d'une enquête est de 3,2 % pour 1000 sondés, cela signifie que si 50 % d'un échantillon de 1000 personnes a répondu A à une question, il y a 95 % de chances sur 100 pour que cette même réponse A soit effectivement donnée dans l'ensemble de la population par un pourcentage situé entre 46,8 % et 53,2 %. Le plus probable est cependant que la réponse se situe très près de 50 %.
Enfin, la notice devrait être non seulement plus complète et mais également plus accessible . Elle devrait être systématiquement mise en ligne sur le site de la commission des sondages.
Sur ce point signalons l'effort de transparence de la commission des sondages qui en 2007 a décidé que la notice pourrait non seulement être consultée sur place mais également être adressée par mail, sur simple demande.
Vos rapporteurs souhaitent que cette transparence franchisse une étape supplémentaire .
* 22 Autrement dit, plus les avis sont divisés sur une question (50 % de satisfaits par exemple), plus la marge d'erreur est forte alors qu'à l'inverse plus les répondants convergent dans leurs réponses (85% de satisfaits), plus cette marge est réduite.
2 Cette contribution figure en annexe du présent rapport.