compte rendu du séminaire

SFdS – Version définitive du 12 avril 2012
Le bon usage des sondages électoraux
Séminaire du 19 mars 2012
Compte rendu
Ce séminaire s’est tenu à l’initiative de la Société française de Statistique (groupes Enquêtes
et Statistique et sociétés) et du Centre d’Etudes de la vie politique Française de Sciences-Po.
La séance s’est ouverte sur une présentation de Jean Chiche, statisticien au CEVIPOF et viceprésident du groupe Enquêtes. Après avoir clarifié les différents types de sondages électoraux,
il a décrit les étapes menant à l’estimation des intentions de vote.
Les exposés suivants ont été donnés par Jérôme Sainte-Marie, directeur général adjoint de
CSA et Bruno Jeanbart, directeur à OpinionWay. Ils ont décrit le processus commun aux
enquêtes téléphoniques de CSA et aux enquêtes Internet d’OpinionWay en détaillant les
étapes menant à l’estimation diffusée.
Ensuite, Thierry Vedel, politologue au CEVIPOF, a traité de l’usage médiatique des sondages
électoraux, et Marie-Eve Aubin, présidente de la Commission des sondages a introduit la table
ronde finale en précisant le rôle de la Commission. Au cours des échanges, Daniel Boy,
politologue du CEVIPOF a apporté son éclairage. Le séminaire s’est terminé par un débat
nourri avec la salle.
Le compte-rendu qui suit fait la synthèse des interventions et des échanges sur les quatre
points principaux abordés pendant le séminaire :
- Les étapes de calcul des estimations diffusées
- L’effet des modes de collecte
- La précision
- L’influence de ces enquêtes et le rôle de la Commission des sondages
1° Les étapes de calcul des estimations diffusées
Les trois premiers exposés ont présenté des descriptions très semblables des étapes de calcul
des estimations à la suite d’un sondage d’intentions de vote. Le support de présentation des
résultats est un tableau dont les lignes correspondent aux candidats, les colonnes à des
estimations successives (pourcentages de somme 100 dans chaque colonne). Voir à ce propos
le diaporama de Jean Chiche.
1-1 La première colonne correspond aux résultats bruts de l’enquête : dépouillement simple
de la question sur les intentions de vote, dans lequel chaque répondant est traité pour une
unité.
1-2 Interviennent ensuite les pondérations socio-démographiques. Chaque réponse est affectée
d’un « poids », c’est-à-dire d’un coefficient multiplicatif. Les poids sont calculés de telle
façon que les structures par sexe, âge, catégorie socio-professionnelle de la population totale,
qui sont connues par ailleurs (recensements de population) soient reproduites à l’identique
lorsqu’on dépouille le sondage avec ces poids. Exemple : si dans l’échantillon le pourcentage
de jeunes est inférieur à ce qu’il devrait être d’après les recensements, chaque jeune de
l’échantillon recevra un poids supérieur à un, pour rectifier cet écart. En appliquant ces poids
SFdS – Version définitive du 12 avril 2012
au dépouillement de la question des intentions de vote, on obtient une colonne de résultats
« repondérés pour les structures socio-démographiques »1.
1-3 Les instituts de sondage effectuent ensuite un deuxième calcul de poids. Cette fois-ci, il
s’agit d’une pondération qualifiée de « politique », car elle porte sur une question du sondage
relative à un vote antérieur : « Pour quel candidat avez-vous voté à l’élection de tel type il y a
x années ? ». Le résultat que devrait donner le dépouillement de cette question est connu, il
s’agit du résultat officiel de ce vote antérieur. Le nouveau jeu de pondération est calculé pour
faire en sorte que le dépouillement de la question du vote antérieur donne le bon résultat.
Exemple : si dans l’échantillon le pourcentage de personnes déclarant avoir voté
antérieurement pour le candidat X est inférieur à ce qu’il devrait être d’après les résultats de
l’élection passée, chaque personne de l’échantillon déclarant avoir voté antérieurement pour
le candidat X recevra un poids supérieur à un, pour rectifier cet écart. On applique alors ce
nouveau jeu de pondérations aux intentions de vote, pour obtenir une colonne de résultats
« repondérés pour les structures politiques »2.
Les calculs 1-2 et 1-3 sont effectués avec des variantes, éventuellement de nombreuses
variantes. Les instituts ont en particulier deux choix importants à faire :
- Le choix du « champ » sur lequel ils font porter l’estimation. Il peut s’agir de
l’ensemble de leur échantillon, ou bien seulement de l’ensemble des répondants en
capacité de voter (inscrits sur une liste électorale), ou bien seulement de l’ensemble
des répondants ayant indiqué leur intention d’aller voter, ou bien seulement de
l’ensemble des répondants ayant indiqué qu’ils étaient sûrs de leur choix d’un
candidat.
- Le choix du scrutin antérieur utilisé pour la repondération « politique » (dans la
mesure où dans l’enquête plusieurs choix antérieurs ont été recueillis). Faut-il utiliser
l’élection antérieure la plus récente du même type (présidentielle lorsqu’on enquête
sur les intentions de vote à une présidentielle, par exemple), ou la plus récente dans
l’absolu ? D’autres possibilités existent ; on peut aussi utiliser plusieurs de ces
questions.
Souvent, les instituts multiplient les variantes, ce qui revient à multiplier les colonnes du
tableau de résultats. A noter que la présence de candidats qui n’étaient pas présents à
l’élection antérieure3 n’est pas un obstacle à la mise en œuvre d’une pondération de type
politique : c’est l’échantillon qui est redressé en fonction d’une situation politique de
référence antérieure, note un participant, et non tel ou tel résultat lié à l’offre politique
actuelle, décrite dans le questionnaire.
1-4 Notion de « colonne de référence » : il y a quelques années, des instituts de sondage
choisissaient l’estimation finale des intentions de vote pour chaque candidat à partir des
multiples colonnes du tableau, en étant seulement astreints à la situer dans la « fourchette »
constituée par le score minimum et le score maximum de ce candidat à travers les colonnes. A
1
Un participant a fait remarquer que la catégorie « retraité » est encore très utilisée dans ces procédures, alors
qu’elle est très nombreuse et très hétérogène : ne faudrait-il pas distinguer les retraités selon leur profession
antérieure ? D’après un des intervenants, cette distinction a été quelquefois tentée, elle n’apporte pas beaucoup
de changements aux résultats.
2
La reconstitution d’un vote antérieur dans une enquête peut différer du résultat réel pour plusieurs raisons : la
moindre représentation dans l’échantillon des partisans de certains candidats est l’une d’entre elles, à laquelle la
repondération remédie ; mais il peut s’agir aussi de dissimulation sur les votes passés, ou d’oublis…Le souvenir
de vote varie…Les effets de la repondération peuvent donc être incertains ou complexes.
3
L’exemple cité a été celui de Jean-Luc Mélenchon candidat à la présidentielle actuelle au nom d’un parti qui
n’existait pas en 2007
SFdS – Version définitive du 12 avril 2012
la demande de la commission des sondages, les instituts sont désormais tenus de choisir pour
tous leurs sondages relatifs à une même élection une « colonne de référence », c'est-à-dire en
pratique un champ et un mode de calcul des pondérations, et de s’y tenir. Le choix de cette
« colonne de référence » est donc connu de la commission, mais il n’est pas public : un
représentant des instituts de sondage a évoqué le « grand jeu » consistant à deviner le choix
des élections de référence prises en compte par les instituts concurrents ! Néanmoins, un
autre4 a affirmé qu’il n’existe aucun « secret de fabrication » à protéger dans le choix de
l’estimation statistique.
1-5 Ecarts possibles par rapport à la colonne de référence. Les estimations diffusées par les
instituts de sondage s’écartent parfois des résultats de la colonne de référence. C’est le cas en
particulier lorsque l’évolution du score d’un candidat par rapport aux enquêtes précédentes du
même institut est sensiblement différente selon que l’on examine les résultats bruts ou les
résultats repondérés : les instituts hésitent à accorder une confiance suffisante aux
repondérations, notamment les repondérations politiques, lorsque celles-ci amènent à
contredire une nette évolution des résultats bruts. Ils apportent alors une « correction
d’expert » aux résultats de la colonne de référence.5 Un autre cas a été cité, dans lequel deux
candidats ont été mis à égalité pour éviter de déclencher des commentaires démesurés du fait non significatif – que l’un avait légèrement dépassé l’autre. La commission des sondages
demande que les écarts à la colonne de référence lui soient expliqués : une de ses « mises au
point » de 2011 a porté sur un cas dans lequel elle n’a pas jugé suffisantes les explications de
l’institut concerné.
Au cours du débat qui a clôturé ce séminaire, cette question des écarts à la colonne de
référence a tenu une bonne place. Plusieurs participants ont estimé que la rigueur statistique
impose qu’il n’y ait jamais de modification des chiffres par rapport à ce que donne une
procédure codifiée à l’avance6. Les représentants des instituts, et certains utilisateurs, ont
rétorqué en invoquant les risques de mauvaise utilisation de résultats trop incertains, justifiant
ainsi, selon eux, une sorte de « droit à la prudence » de leur part.
2° L’effet des modes de collecte
Les enquêtes d’intentions de vote étaient autrefois collectées en « face à face » par des
enquêteurs. Pour des raisons de moindre coût et de moindre difficulté de collecte (pas de
nécessité d’accès aux logements), les enquêtes par téléphone ont supplanté le face à face au
cours de la décennie 1990-2000, et sont encore très pratiquées. Le tirage au sort (dans un
annuaire) et la génération aléatoire de numéros de téléphone (portables notamment) sont
utilisés conjointement à des quotas sociodémographiques ; de sorte qu’il y a un rapport élevé
entre le nombre d’appels passés et le nombre d’appels aboutissant effectivement à un
questionnaire rempli (le chiffre de quinze a été cité). L’utilisation d’Internet est plus récente :
les élections présidentielles de 2007 ont connu les premières réalisations d’enquêtes
d’intentions de vote par ce moyen, qui gagne du terrain, pour des raisons de moindre coût, de
nouveau, et aussi de rapidité de mise en œuvre. Le recrutement de l’échantillon ne consiste
4
Bruno Jeanbart
L’expression « écho des bruts » a été citée.
6
Le bureau du groupe Enquêtes de la SFdS a, sur son site, pris position sur le fait que, si l’estimation statistique
de la colonne de référence était modifiée ce fait devait être public et justifié
(http://www.sfds.asso.fr/ressource.php?fct=ddoc&i=970).
5
SFdS – Version définitive du 12 avril 2012
pas à placer une annonce d’enquête sur une bannière et à accepter n’importe quel internaute
volontaire ainsi auto-recruté, ce qui entraînerait d’énormes biais. Les instituts comme
OpinionWay utilisent les « access-panels », vastes viviers d’internautes qui acceptent d’être
sollicités et dont on connait les caractéristiques sociodémographiques grâce à un questionnaire
préalable ; ces bases leur permettent de désigner les échantillons par tirage au sort et
d’enquêter en respectant in fine des quotas sociodémographiques. Les internautes panélistes
sont dédommagés par des bons d’achat ou l’accès à une loterie, sans que des montants
financiers importants entrent en jeu : quelques euros, au maximum quelques dizaines d’euros
par an pour un panéliste répondant à une enquête d’OpinionWay en moyenne par mois ; rien
ne permet d’affirmer, comme certains media l’ont fait, que des panélistes pourraient vivre de
ce revenu.
Le mode de collecte n’est pas neutre : il conditionne en partie le comportement des enquêtés,
et peut donc influencer les résultats. Deux exemples ont été donnés :
- Les taux de non-réponses à une question donnée sont très sensibles au mode de
collecte. Au téléphone, les enquêteurs reçoivent des instructions à ce sujet :
généralement, ils doivent relancer la question, et n’accepter la non-réponse qu’en
dernier ressort. Sur Internet, de deux choses l’une : ou bien la non-réponse est incluse
dans les modalités présentées au panéliste, auquel cas le taux de non-réponse va
monter ; ou bien elle ne l’est pas, et résultera simplement de l’action pour passer à la
question suivante sans avoir choisi, auquel cas on obtiendra probablement des taux de
non-réponse faibles7.
- L’expression d’opinions extrêmes semble être freinée dans le cas des enquêtes
téléphoniques, libérée dans le cas des enquêtes par Internet. Dans le premier cas, il y a
la crainte de la réaction ou du jugement de l’interlocuteur « vivant » qui est au bout du
fil. En généralisant un peu, l’expression des opinions sur Internet pourrait être plus
fluctuante que par téléphone. A titre d’exemple, est citée une « poussée » d’intentions
de vote pour l’extrême-droite dans un sondage par Internet (finalement non publié),
réalisé immédiatement après la publicité faite à un titre-choc d’un hebdomadaire
annonçant lui-même les résultats d’un sondage favorable à l’extrême-droite. Rien de
tel ne s’est alors produit pour les enquêtes téléphoniques. En définitive, la sousdéclaration du vote Front National, atténuée en 2007 et par Internet, demeurera-t-elle
en 2012 ? Seul le vote dévoilera la réponse à cette question.
Les particularités des modes de collecte se traduisent-elles par des biais systématiques dans
les estimations ? C’est bien difficile à savoir. Pour les enquêtes par Internet, la question des
inégalités de taux d’usage parmi les différentes catégories sociales a été soulevée : les
retraités, en particulier, emploient moins l’Internet que les plus jeunes. Les quotas parmi les
panélistes sont une réponse partielle. A voir les résultats, il semblerait que l’interrogation
téléphonique surreprésente le centre-gauche…
7
La question de l’estimation des « intentions d’abstention » a également été évoquée : c’est une des intentions
les plus difficiles à estimer correctement, car elle est très fluctuante, et par ailleurs chargée d’une certaine
opprobre pouvant amener à la dissimuler.
SFdS – Version définitive du 12 avril 2012
3° La précision
Bien qu’aucun exposé n’ait porté spécifiquement sur la précision des estimations, ce sujet a
été abordé à plusieurs reprises au cours de l’après-midi. Statisticiens et sondeurs ont des
points de vue complémentaires.
Les statisticiens font référence aux sondages aléatoires, et particulièrement au plus
élémentaire d’entre eux, le sondage aléatoire simple. Dans ce cas, l’erreur due à
l’échantillonnage peut être évaluée en se servant du calcul des probabilités : si l’échantillon
est de taille n, et si la proportion à mesurer est p dans la population, un intervalle de largeur
4 (p(1 - p)/n) autour du résultat du sondage recouvrira la vraie valeur p dans 95% des cas.
Cet « intervalle de confiance » peut être estimé à partir du résultat de l’enquête. Si n vaut
1000 et si p vaut 50%, la largeur de l’intervalle est proche de 6% (±3,1%) ; pour p voisin de
10%, la largeur est ramenée à 3,6% (±1,8%). La largeur de l’intervalle de confiance diminue
si on augmente la taille de l’échantillon : mais pas très vite, du fait de la présence dans la
formule du terme 1/n . Ainsi un échantillon 100 fois plus important donnerait lieu à des
intervalles divisés par 10 seulement : il a été rappelé que la taille de l’échantillon annuel de
l’enquête emploi de l’Insee avec laquelle on estime le taux de chômage était environ de
100 000. A l’inverse, si l’on publie une proportion mesurée sur un sous-échantillon restreint
de l’échantillon initial, c’est la taille de ce sous-échantillon qui importe : des proportions
portant sur 250 personnes extraites d’un échantillon aléatoire de 1000 seront affectées
d’intervalles de confiance deux fois plus larges que ceux indiqués ci-dessus.
Les instituts de sondage les plus renommés acceptent cette référence, comme en témoigne le
tableau publié par l’institut IFOP dans un hebdomadaire (cf. diaporama de Thierry Vedel).
Cependant, d’autres instituts se risquent à publier sans précaution des estimations portant sur
des sous-populations très petites : l’un d’eux a fait l’objet en 2011 d’une « mise au point » de
la commission des sondages pour ce motif. Trop souvent, seule la taille de l’échantillon total
est communiquée au public, alors que ce qui compte, c’est la taille de la fraction de
l’échantillon sur laquelle ont été calculées les proportions.
Un participant estime qu’il est légitime d’agréger les près de 8000 enquêtés interrogés par les
huit instituts8 qui réalisent régulièrement des enquêtes d’intentions de vote pour les élections
présidentielles de 2012 : dans cette perspective, l’erreur d’échantillonnage serait réduite d’un
facteur 8 égal à 2,8. Une proportion de 50 % voit alors son intervalle de confiance réduit de
±3,1% à ±1,1%.
Cependant, pour plusieurs raisons, les formules du sondage aléatoire simple ne peuvent
constituer qu’une référence, et non pas une véritable estimation des risques d’erreur inhérents
aux enquêtes d’intentions de vote. D’une part, dans celles-ci, les échantillons ne sont pas
purement aléatoires, et la probabilité de chaque membre de la population d’être tiré n’est pas
connue ; de plus, les tirages et les estimations sont plus complexes que ceux du sondage
aléatoire simple. D’autre part, l’erreur d’échantillonnage n’est qu’une des sources d’erreur
possible : il peut s’y ajouter des erreurs de déclaration en cours d’interview. De ces faits
peuvent s’ajouter des écarts systématiques avec la réalité appelés biais d’échantillonnage et
biais de réponse. Certains participants ont fait appel à cette notion pour expliquer les écarts
assez constants entre les résultats des différents instituts, les biais pouvant alors être attribués
aux modes de collecte et aux pratiques de dépouillement. Dans cette ligne de pensée, les
8
Cf. le « Comparateur des sondages des présidentielles » du Nouvel Observateur.
SFdS – Version définitive du 12 avril 2012
niveaux des scores attribués aux différents candidats seraient fiables que les évolutions, qui
échappent à ces biais constants pour un institut. On remarque d’ailleurs que les graphiques
d’évolution se multiplient en 2012, et c’est certainement une bonne chose (cf. diaporama de
Jean Chiche). Les évolutions moyennes tous instituts confondus peuvent être considérées
comme précises et sans biais.
Finalement le « juge de paix » de la précision des enquêtes d’intentions de vote ne serait-il
pas…le résultat de l’élection lui-même ? A ce propos, un participant fait remarquer ce qu’il
considère comme une contradiction. D’un côté, on présente les enquêtes d’intentions de vote
comme destinées à mesurer l’état actuel d’une opinion, et non pas à prédire un résultat de
vote ; mais, d’un autre côté, on ne cesse de dire « telle méthode est meilleure que telle autre »
en se référant au rapprochement des résultats d’enquêtes d’intentions de vote et des votes
effectifs. Une nouvelle fois, il faut sans doute penser aux graphiques d’évolution des
intentions : plus la date de l’élection se rapproche, plus les intentions (si on les mesure
correctement) tendent à devenir des prévisions. On peut donc apprécier certaines
caractéristiques stables des méthodes d’enquête en comparant aux les résultats électoraux les
dernières intentions publiées.
4° L’influence des enquêtes d’intentions de vote et le rôle de la Commission des sondages
Pour évaluer l’influence des enquêtes d’intentions de vote, il faut prendre en compte non
seulement ce qu’elles sont, la manière dont les résultats sont produits, mais aussi comment
elles sont communiquées par les media, qui d’ailleurs en sont souvent les commanditaires…et
parfois les critiques virulents !
Thierry Vedel décrit la situation française de ce point de vue, en la comparant à celle de la
Grande-Bretagne, où la BBC a établi à l’usage de ses journalistes un code de déontologie pour
l’utilisation des sondages pré-électoraux. Un article de ce code interdit de commencer une
émission par le résultat d’un sondage ; un autre de reproduire l’interprétation qu’en donne son
commanditaire. En France, il n’existe pas de code de ce type, et on peut citer des exemples de
présentations très critiquables (cf. diaporama). Il faut se garder d’en conclure que les sondages
donnent aux media le pouvoir de manipuler l’opinion.
Certes les sondages influencent le scrutin, en premier lieu en contribuant à l’élaboration des
stratégies ou à la sélection des candidats. On l’a vu avec l’abandon de candidatures au
centre. Mais la dramaturgie des campagnes électorales a précédé l’instauration des sondages.
Et surtout, bien malin qui saurait prévoir dans quel sens va jouer un résultat : l’enquêté va-t-il
au secours de la victoire (effet « bandwagon ») ou à celui du candidat mésestimé (effet
« underdog ») ? D’ailleurs une majorité des citoyens estiment que les sondages influencent
…les autres ! Un participant à la table ronde cite cette expérience : il a l’habitude de proposer
à ses étudiants une situation fictive dans laquelle ils auraient le pouvoir de projeter dans
l’opinion l’estimation qu’ils préfèreraient, en se mettant à la place d’un candidat particulier au
second tour ; les étudiants se divisent rapidement sur le sens qu’il faudrait donner à cette
manipulation.
Les sondages sont un outil d’information des électeurs, mais ses effets sur le vote sont
multiformes, contradictoires, variables selon les individus. Son instrumentation manipulatrice,
théoriquement possible, serait donc bien délicate.
Le rôle de la commission des sondages, rappelé par sa présidente, est de veiller à la sincérité
du scrutin tout en préservant le plus possible cette liberté fondamentale qu’est la liberté
SFdS – Version définitive du 12 avril 2012
d’expression. Sa méthode est une méthode de régulation « douce », utilisant le plus possible le
dialogue avec les instituts. Chaque enquête fait l’objet conformément à la loi d’une
transmission d’information par l’institut de sondage à la commission avant la publication des
résultats. Cette documentation est étudiée par les experts auprès de la commission, et si un
problème est relevé, un dialogue est provoqué entre l’institut et les représentants de la
commission. Dans la plupart des cas, ce dialogue suffit à régler le problème. Dans un petit
nombre de cas, la commission est amenée à publier une « mise au point » qui fait état de ses
réserves sur l’enquête en question. Ce dispositif a permis de faire évoluer les pratiques des
instituts de sondage vers plus de transparence et de rigueur statistique. Certains regrettent
cependant que cette transparence ne soit pas plus poussée encore, en faisant notamment
allusion aux interventions d’experts sur la colonne de référence (voir plus haut). Une partie,
fixée par la loi, de la notice transmise par les instituts de sondage à la commission est
publique et consultable auprès de la commission : elle ne contient pas les données qui
permettraient de connaitre l’importance de ces interventions.
5° Conclusions
Un participant à la table ronde a évoqué les différentes sphères professionnelles qui ont à
connaître des enquêtes d’intentions de vote : statisticiens, praticiens des instituts de sondage,
politologues et sociologues, journalistes enfin. Des représentants des trois premières de ces
sphères se sont exprimées au cours de ce séminaire, et ce participant en a retiré l’impression
d’une progression de la compréhension mutuelle et de la confiance, par rapport aux échanges
similaires d’il y a une dizaine d’années, même si sur certains points les positions restent
différentes, quand ce n’est pas opposées.
Les représentants des instituts de sondage eux-mêmes attestent d’une évolution du métier de
sondeur vers un plus grand professionnalisme, notamment statistique. Selon l’un d’eux, cela
s’accompagne d’une qualité croissante des résultats : pour lui, si certains sondages relatifs aux
municipales de 2001 avaient vraiment fourni des résultats très éloignés de ceux de l’élection,
rien de tel ne s’est produit depuis (y compris à la présidentielle de 2002, compte-tenu des
fortes évolutions des intentions au cours des derniers jours avant le premier tour de l’élection).
Ce constat assez optimiste s’accompagne d’une impression de progrès du côté de la
publication des enquêtes : présence systématique de la taille d’échantillon, apparition de la
notion d’intervalle de confiance, publication de graphiques d’évolution et de comparatifs des
enquêtes…
Mais le verre n’est qu’à moitié plein : la concurrence entre les media amène non seulement la
multiplication des sondages pré-électoraux – environ 300 pour l’élection présidentielle de
2012, alors qu’il n’y en avait eu que 14 en 1965 – mais aussi la tentation pour eux de se
démarquer les uns des autres par des formulations et des interprétations n’ayant plus qu’un
lointain rapport avec une connaissance factuelle de l’état de l’opinion. Protégés par la liberté
d’expression, les médias voient les critiques relatives à leurs publications se déporter souvent
indûment vers les instituts.
La présidente de la Commission a rappelé que la seule justification des contraintes induites
par la loi de 1977 relative aux sondages politiques était la préservation de la sincérité du
scrutin. A sons sens, la régulation de la Commission a abouti puisque 99 % des sondages
publiés ne justifient aucune remarque de sa part. Elle ne voit donc pas de raisons de
réglementer davantage la pratique des instituts, d’autant que l’évolution réglementaire actuelle
tend à substituer des contrôles a posteriori aux contrôles préalables.
SFdS – Version définitive du 12 avril 2012
Il faut donc poursuivre l’effort entrepris pour rendre les conditions du « bon usage » des
enquêtes d’intentions de vote claires, transparentes et compréhensibles pour le plus grand
nombre de nos concitoyens.
************************************