Discussion :

[omen999]

un résumé assez bien fait du principe de fonctionnement des sondages modernes
pour répondre à certaines interrogations légitimes de ce fil de discussion.
l'article a été écrit il y a 8 ans mais il est toujours d'actualité.

pour compléter le chapitre "Les questionnaires et les fausses déclarations" de cet article, petit rappel historique :
le sondage politique au sens moderne du terme a été popularisé aux USA par un certain G.H.Gallup
créateur en 1936 d'un institut éponyme.
l'application de la technique de "l'échantillon représentatif" - dont il n'est pas l'inventeur - lui permettra d'annoncer
l'élection de Franklin Roosevelt en 1936 et ce à moindre frais.
le succès est au rendez-vous et l'institut Gallup devient le partenaire incontournable des médias américains à compter de cette date.
Le 1er institut de sondage d'opinion français - l'IFOP - est créé en 1938 sur le même principe.
lorsque l'IFOP reprend ses activités après la guerre, elle découvrira très vite un décalage flagrant entre les intentions déclarées
et les votes exprimés lorsqu'ils concernent le parti communiste. (élections de 1946 : 28,3%)
ce décalage sera pris en compte en appliquant au résultat brut un coefficient inspiré des résultats précédents.
ce phénomène avéré est appelé "spirale du silence" dans l'article susvisé, "désidérabilité sociale" par les sociologues ou "l'effet Bradley"
quand il s'applique au biais racial aux USA.

on voit bien que ce retraitement des données brutes est un problème central pour tous les instituts de sondage qui doivent composer
entre la nécessité de l'appliquer de façon cohérente et la tentation de le modeler en fonction des attentes du client.
tentation facilitée par le fait qu'il n'existe en réalité aucun moyen rigoureux de le déterminer
le fait que le retraitement s'inspire des résultats antérieurs donne inévitablement aux intentions de vote "une inertie" qui ne rend compte
qu'avec retard des changements d'opinion (d'où la surestimation systématique des résultats du PC entre 1981 et 2002 et la sous-estimation
du FN pendant cette même période)
plutôt que de délirer sur une interdiction des sondages, il serait au contraire plus constructif d'imposer à ces instituts de publier
la TOTALITE de ceux-ci. (les données brutes, la logique des retraitements et le résultat final)
utopique évidemment

[TallyHo]

Bon article, c'est peut-être même celui-ci auquel je faisais référence dans mon souvenir

A part ça, j'adore être moinser alors que cet article rejoint mon propos sur les questionnaires... Le vote est toujours aussi impartial sur DVP... Là vous pouvez vous lâcher, j'assume complétement ma crotte de nez

Je crois que le problème est la façon de poser les questions, ce qui peut "orienter" la réponse. C'est utilisé par les communicants et ça peut être repris par des sondeurs. C'est là-dessus qu'ils devraient être jugés ou critiqués. Il y a un bout de temps, il y avait un article (un des rares...) qui les a attaqué sous cet angle justement... Mais alors pour le retrouver...

[Mingolito]

Pour ma part j'ai compris le texte de omen999 et j'ai rien compris au tien, désolé...

C'est toute la différence entre un Rédacteur et un Troll que veux tu

[TallyHo]

Non mais toi c'est normal que tu ne captes rien... Ca ne change pas le fait que cet article rejoint mon raisonnement, dommage pour le petit groupe qui n'est là que pour flinguer

Tiens d'ailleurs... Dénoncez vous au lieu de rager sur des pouces. Mettez des réponses, des arguments, au moins vous serez utiles à l'avancement du débat. Promis, je ne me vengerais pas avec du rouge

[Matthieu Vergne]

Ouais parce que moi je réponds mais je mets rarement des pouces rouges. {^_^}

[TallyHo]

Au moins tu réponds bien et on discute, qu'on soit d'accord ou pas... Je préfère très largement ça même si tu mettais du rouge

[Shepard]

Tiens d'ailleurs... Dénoncez vous au lieu de rager sur des pouces. Mettez des réponses, des arguments, au moins vous serez utiles à l'avancement du débat. Promis, je ne me vengerais pas avec du rouge

Je ne mets que du vert quand je suis d'accord :p Rarement voire jamais de rouge ^^

Et en l'occurence je suis d'accord avec MV sur le fait que les statistiques sont fondées sur une vraie théorie et que ce système de choisir la population participante semble totalement infondé, et que dire que les résultats sont meilleurs que prendre un échantillon aléatoire ressemble à du mépris à l'encontre des mathématiciens sérieux qui mettent au point ces méthodes et prouvent leurs allégations avec des théorèmes et pas des FAQ au contenu discutable :p Après comme l'a dit MV, ils vendent leur produit ... Il y a une différence entre un labo de recherche en math/info et le monde réel, j'en suis bien conscient

[TallyHo]

...

Il faut savoir un truc quand même : dans le sondage, le sondeur pose des questions pour te valider (ou pas) dans le panel défini. Après on ne connait peut-être pas toutes les démonstrations, un mathématicien pourra surement expliquer le quota. Ca ne doit pas sortir de nul part, je suppose que les organismes de sondage ont des statisticiens qui bossent sur ces problématiques.

Si tu regardes la recherche médicale, ils sont un peu dans le même cas, ils font des tests avec un nombre réduit d'individus et ils ont des variables qualitatives (donc non scientifique / quantifiable). Quand j'étais sur Paris, j'avais un voisin chercheur et il m'avait expliqué ça une fois mais j'avoue que je ne redonnerais pas l'explication... Bref je sais qu'ils ont parfois aussi une part d'intuition ou de qualitatif aussi.

Sinon admettons que le quota soit nul donc on part sur l'aléatoire mais ce n'est pas beaucoup mieux... Le hasard peut faire en sorte que tu tombes sur une majorité de gens à gauche par exemple parce que tu auras pioché dans des régions fortement ancrées à gauche. Alors là tu vas me dire qu'il faut essayer de choisir les régions pour mieux distribuer... Ben tu commences à penser quota

[Shepard]

Il faut savoir un truc quand même : dans le sondage, le sondeur pose des questions pour te valider (ou pas) dans le panel défini. Après on ne connait peut-être pas toutes les démonstrations, un mathématicien pourra surement expliquer le quota. Ca ne doit pas sortir de nul part, je suppose que les organismes de sondage ont des statisticiens qui bossent sur ces problématiques.

Si tu regardes la recherche médicale, ils sont un peu dans le même cas, ils font des tests avec un nombre réduit d'individus et ils ont des variables qualitatives (donc non scientifique / quantifiable). Quand j'étais sur Paris, j'avais un voisin chercheur et il m'avait expliqué ça une fois mais j'avoue que je ne redonnerais pas l'explication... Bref je sais qu'ils ont parfois aussi une part d'intuition ou de qualitatif aussi.

Sinon admettons que le quota soit nul donc on part sur l'aléatoire mais ce n'est pas beaucoup mieux... Le hasard peut faire en sorte que tu tombes sur une majorité de gens à gauche par exemple parce que tu auras pioché dans des régions fortement ancrées à gauche. Alors là tu vas me dire qu'il faut essayer de choisir les régions pour mieux distribuer... Ben tu commences à penser quota

Là je ne suis déjà plus d'accord Si tu demandes à 30 personnes par région, alors tu obtiens une meilleure estimation région par région, mais tu ne peux pas dire (et tout cas a priori) que l'estimation globale est meilleure que l'estimation si tu avais pris [30 * nombre de régions] personnes au hasard dans toute la France. Si l'échantillon n'est pas aléatoire on n'a plus aucune garantie sur la marge d'erreur ...

Par contre ça aurait du sens de filtrer par zone géographique aux États-Unis, où le système de grands électeurs représentera mieux le résultat final de l'élection ^^

[Matthieu Vergne]

Il faut savoir un truc quand même : dans le sondage, le sondeur pose des questions pour te valider (ou pas) dans le panel défini. Après on ne connait peut-être pas toutes les démonstrations, un mathématicien pourra surement expliquer le quota. Ca ne doit pas sortir de nul part, je suppose que les organismes de sondage ont des statisticiens qui bossent sur ces problématiques.

Si on avait déjà une explication pour les quotas, je pense plutôt que les organismes comme Ipsos éviteraient de dire le contraire. Ce qui prouve une chose : soit il n'y a pas d'explication solide, soit il y en a une mais ils n'ont personne qui bosse (vraiment) dessus pour s'en rendre compte. Bien sûr il y a toujours un facteur chance, mais il existe des méthodes de recherche de littérature systématiques. Plutôt qu'un manque de chance, le manque de compétence me semble plus plausible.

Si tu regardes la recherche médicale, ils sont un peu dans le même cas, ils font des tests avec un nombre réduit d'individus et ils ont des variables qualitatives (donc non scientifique / quantifiable). Quand j'étais sur Paris, j'avais un voisin chercheur et il m'avait expliqué ça une fois mais j'avoue que je ne redonnerais pas l'explication... Bref je sais qu'ils ont parfois aussi une part d'intuition ou de qualitatif aussi.

Pas que la médecine. La recherche compte souvent sur l'intuition (i.e. rares sont les travaux où il n'y en a pas). Mais celle-ci est grandement limitée par des méthodes systématisées. Quand tu développes une nouvelle méthode, tu dois motiver non seulement pourquoi tu utilises celle-ci mais, si tu n'en utilises pas une autre bien connue, tu dois motiver pourquoi cette dernière n'est pas bonne. Si tu utilises un échantillonnage aléatoire dans un travail de recherche, alors tu te dois de spécifier les marges qui s'appliquent. Si tu utilises un échantillonnage par quotas, tu dois expliquer pourquoi l'échantillonnage aléatoire ne te va pas (e.g. coût trop important). Dans le cas d'une étude sur sujets vivants tu pourras le justifier, mais dans le cas logiciel, où la génération de cas est grandement facilitée, ce sera bien moins trivial. Dans tous les cas, si tu utilises la méthode des quotas mais commence à donner des marges de confiance sur la base des échantillonnages aléatoires, je suis persuadé que tu verras très vite le retour de bâton lors d'une revue par les pairs. Bien entendu, il y a aussi des erreurs ou de la corruption dans la recherche, donc ce genre de travaux peut aussi passer, mais ça n'en fait pas pour autant quelque chose de légitime. C'est pour ça que je trouve l'affirmation d'Ipsos (normalement ça ne s'applique pas mais on fait comme si) scandaleuse en tant que chercheur.

Sinon admettons que le quota soit nul donc on part sur l'aléatoire mais ce n'est pas beaucoup mieux... Le hasard peut faire en sorte que tu tombes sur une majorité de gens à gauche par exemple parce que tu auras pioché dans des régions fortement ancrées à gauche.

Tout à fait, mais comme le dit Shepard la méthode des quotas ne protège pas non plus contre cela, car on cherche à obtenir un échantillon représentatif sur des variables autres que les intentions de vote, rien ne prévient donc d'avoir un cas extrême sur cette dimension. C'est justement une hypothèse de départ de la méthode des quotas que la représentativité sur ces autres variables équivaut à une représentativité sur celle mesurée. On n'est pas obligé d'être d'accord.

L'aléatoire peut générer un cas extrême mais la probabilité de générer un tel cas dépend de la distribution. Si on n'a aucune information sur le sujet, on favorise une distribution uniforme, discrète ou continue selon le contexte, car c'est celle qui nécessite le moins d'information. Dans le cas contraire, on favorisera une loi qui se rapproche de la distribution attendue, en général une loi normale mais pas forcément. Ce choix pourra être fait en fonction d'une étude préliminaire. Si le résultat obtenu est proche de la distribution attendue, alors il n'y a pas de raison particulière de se dire qu'on a un cas extrême, ce qui n'empêche pas de répéter l'expérience pour diminuer les chances de cas extrême (l'étude préliminaire est déjà une répétition, lacunaire mais informative). Si on obtient un résultat qui contredit la distribution attendue, l'analyse doit expliquer pourquoi une telle différence se présente et prévoir une répétition de l'expérience. Dans tous les cas, pour éviter de généraliser à partir d'un seul cas, il faudra répéter l'expérience. C'est comme ça qu'on évite de généraliser à partir de cas extrêmes. Et c'est à partir de ces répétitions que d'autres pourront faire ensuite un travail de synthèse pour en tirer des conclusions générales.

C'est une différence fondamentale entre un travail de recherche et un sondage : une expérience scientifique isolée, quand bien même de grande qualité, n'apporte rien de significatif (je ne parle pas de travaux abstraits, qui sont généralement une question de preuve formelle et donc se suffisent à eux-même, la question étant de savoir si le modèle décrit s'applique à notre cas). C'est l'agrégation d'expériences qui permet de valider les théories. Quand tu veux appuyer une affirmation, soit tu cites un travail unique et dans ce cas ce n'est qu'un "il se peut que", soit tu cites un ensemble de travaux ou, mieux, un travail de synthèse qui fait l'analyse de l'agrégat. Dans ce cas tu peux partir du principe que c'est vrai. Bien entendu, toujours à condition que personne ne trouve d'erreur significative dans les travaux cités. Mais quelle que soit l'agrégat, ça ne prouve jamais rien de manière absolue car il peut y avoir des erreurs non décelées (e.g. des hypothèses trop fortes qui, une fois décelées, amènent à des changements de paradigmes) ou des évolutions (e.g. même un sondage parfait ne pourra pas affirmer que le résultat ne changera pas avec le temps).

[GPPro]

Euh c'est exactement ce que font les quotas : essayer d'approximer la loi sous-jacente aux votes... D'un point de vue scientifique la méthode et leur affirmation me semble correcte (et oui en tant que scientifique il arrive qu'on doive bosser avec des hypothèses que l'on admet, plus ou moins facilement). Après c'est la mise en oeuvre qui peut être mise en doute et là je rejoins omen999, les sondeurs devraient TOUT publier, pas juste le résultat de leur interprétation.

[TallyHo]

C'est l'agrégation d'expériences qui permet de valider les théories.

Donc tu as ta réponse, fais une synthèse des résultats des sondages pour voir si ils sont plutôt dans le vrai ou pas.

Mais quelle que soit l'agrégat, ça ne prouve jamais rien de manière absolue car il peut y avoir des erreurs non décelées (e.g. des hypothèses trop fortes qui, une fois décelées, amènent à des changements de paradigmes) ou des évolutions (e.g. même un sondage parfait ne pourra pas affirmer que le résultat ne changera pas avec le temps).

C'est ce que je te dis depuis le début... Surtout dans les stats où tu as une part d'incertitude, d'intuition, d'interprétation, de qualitatif ou même de biais induits dès le départ avec des questions mal formulées.

[Ryu2000]

Quel est l’intérêt de réaliser des sondages ?
Il suffit d'attendre le résultat et on a le vrai score...

Si les sondages étaient interdit, il n'y aurait pas de stupide "vote utile" et tout serait beaucoup mieux !

[Grogro]

J'ai seulement essayé de comprendre pourquoi il y à des gens qui votent Macron, pas de dire mon avis personnel, si je devais voter il n'y à absolument aucun candidat qui représente mes idées...

Les seuls moteurs du vote Macron sont le dégoût pour la politique politicienne de l'UMPS, et la crainte que tous les autres candidats soient dangereux pour la France, surtout vu la radicalité de nombreuses propositions de Fillon, Le Pen et Mélenchon. Ce n'est pas un vote d'adhésion mais un vote par défaut, dont la base sociologique est forcément assez fragile.

Le seule argument construit et cohérent que je peux percevoir dans le programme de Macron, c'est la lutte contre les rentes de situation qui verrouillent l'économie française. Mais ce n'est même pas un sujet de campagne.

[Ryu2000]

Les seuls moteurs du vote Macron sont le dégoût pour la politique politicienne de l'UMPS

Vous savez qu'Hollande et Valls soutiennent Macron ?
Côté UMP il y a Douste-Blazy, De Villepin, etc...

Cet article pourrait être fun si il était à jour :
Présidentielle : de Renaud à BHL en passant par Robert Hue... On a listé 66 soutiens (très hétéroclites) d'Emmanuel Macron

"Le programme économique de Macron se situe dans la continuité de François Hollande"



Si vous voulez une politique différente de Sarkozy et d'Hollande, je ne sais pas si voter Macron c'est le meilleur plan ^^

[Lucio_]

Vous savez qu'Hollande et Valls soutiennent Macron ?
Côté UMP il y a Douste-Blazy, De Villepin, etc...

Cet article pourrait être fun si il était à jour :
Présidentielle : de Renaud à BHL en passant par Robert Hue... On a listé 66 soutiens (très hétéroclites) d'Emmanuel Macron

"Le programme économique de Macron se situe dans la continuité de François Hollande"



Si vous voulez une politique différente de Sarkozy et d'Hollande, je ne sais pas si voter Macron c'est le meilleur plan ^^

Si c'est pour prendre le meilleur des deux, et laisser le moins bon, pourquoi pas?

[TallyHo]

Si tu prends le meilleur des deux, ça donne Toto...

[GPPro]

Si c'est pour prendre le meilleur des deux, et laisser le moins bon, pourquoi pas?

Si tu es banquier / dans la finance tu auras alors ce que tu appelles le meilleur des deux et tu pourras être un homme comblé !

[Ryu2000]

Si c'est pour prendre le meilleur des deux, et laisser le moins bon, pourquoi pas?

La somme du meilleur de Sarkozy et de meilleur d'Hollande ne pèse pas lourd...
Ça ne ferait pas un homme entier ^^

Ils étaient fort pour battre les records d'impopularité, pour trahir les français, etc...
Sarkozy a participé à l'assassinat de Kadhafi et par conséquent à la destruction de la Libye.
Il a également vendu beaucoup d'or français pour acheter du dollar (exactement l'inverse de ce qui serait logique de faire).

[Lucio_]

Maintenant la question que je me pose, est la suivante ; est ce que des personnes qui sont incapable de voir du bon dans les bilans de Hollande et de Sarkozy, ont le recule nécessaire pour juger Macron?
Bien sur, cete question n'a de sens qui si on considere Macron comme une fusion de Sarkozy et de Hollande.