Discussion :

[Matthieu Vergne]

Pas la peine de t'énerver, je te donne une information. Si tu connais une méthode parfaite, je suis tout ouïe... Surtout en stats...

Tu n'apportes rien de plus que ce que les autres ont apporté avant.

Et la question n'est pas d'avoir une méthode parfaite mais de connaître les tenants et aboutissants de la méthode utilisée. Une méthode dont on ne connaît pas les propriétés mais dont on part du principe que c'est pareil qu'une autre méthode, normalement ça te vaux un 0 à un contrôle. Je trouve effarant que des pros se permettent de parler de marges de x% sur la base d'une théorie dont ils savent qu'elle ne s'applique pas à leur cas. Ça donne un côté scientifique qui, dans les faits, n'existe pas.

Juste pour la forme, le code pénal définie l'escroquerie comme "le fait, soit par l'usage d'un faux nom ou d'une fausse qualité, soit par l'abus d'une qualité vraie, soit par l'emploi de manoeuvres frauduleuses, de tromper une personne physique ou morale et de la déterminer ainsi, à son préjudice ou au préjudice d'un tiers, à remettre des fonds, des valeurs ou un bien quelconque, à fournir un service ou à consentir un acte opérant obligation ou décharge". Si on considère la notion de représentativité affirmée par ces sondages comme une fausse qualité (pour ceux qui parlent de représentativité des résultats) ou comme un abus de qualité vraie (pour ceux qui font passer la représentativité de la population comme un gage de confiance sur les résultats). Si on considère que ces informations permettent aux votants de déterminer leurs choix de vote, potentiellement au préjudice d'une personne tierce (leur candidat favoris), typiquement pour favoriser un vote utile qui ne serait alors qu'une prophétie autoréalisatrice. Si on considère enfin que ce vote est un acte opérant décharge (délégation de pouvoir), et bien on est en plein dans de l'escroquerie.

Donc je ne pense pas qu'il soit exagéré de trouver cela scandaleux. Qu'ils fassent des sondages s'ils veulent, mais les réserves d'usage seraient non pas de dire que les résultats sont à prendre avec une marge de x%, mais que ces résultats ne sont pas forcément représentatifs et n'ont aucune valeur statistique, purement et simplement.

[TallyHo]

Tu poses une question, je te donne une indication et un lien en toute bonne foi, point. Pas besoin de monter sur tes grands chevaux. Si ça ne te convient pas, ce n'est pas sur moi qu'il faut passer tes nerfs, écris à IPSOS pour leur exposer tes griefs ou fait un procès pour escroquerie.

[Ryu2000]

Ce serait chouette si dans chaque sondage on rappelait ça :

ces résultats ne sont pas forcément représentatifs et n'ont aucune valeur statistique

En règle générale les gens apportent trop d'importance aux sondages...
Alors qu'ils ne sont pas basé sur grand chose et ne reflètent pas la réalité.

Les personnes qui forment le "panel représentatif" sont parfois incité à donner des réponses qui vont dans un certains sens.

[Matthieu Vergne]

@TallyHo, il y a 2 points : répondre à ma question et avoir un avis sur la méthode des quotas.

Sur le premier point, tu réponds à côté car je demande un modèle mathématique et tu me donnes une affirmation Ipsos. Erreur déjà faite juste avant toi par BenoitM qui donne la même suggestion (contacter Ipsos) et que j'ai repris avant que tu ne répondes, tu te contentes donc de répéter l'erreur. Encore une fois, ce n'est pas à Ipsos de donner des démonstrations mathématiques. Tout comme ce n'est pas à une utilisateur de technique d'IA de démontrer que la technique qu'il utilise fait ceci ou cela. Ipsos utilise une méthode, c'est son droit. J'ai demandé une démonstration et il n'en donne pas, mais ce n'est pas leur boulot. La faute viens de toi qui a mal compris ma question et donc je te corrige, c'est aussi simple que ça.

Sur le second, j'ai un avis clairement contre quant à l'usage actuel de ces méthodes. Pour autant, je ne me rappelle pas t'avoir personnellement reproché cela.

[TallyHo]

Ok tu as raison. Dorénavant je ne te répondrais plus pour ne pas insulter ton intelligence... Problème réglé.

[Grimly]

En voila une belle idée à la con, parce que si tu interdit les sondages "bien faits" tu verra foisonner des sondages "mal faits" partout sur le net en remplacement, exemple ici : Mélenchon donné président
Sans compter la mondialisation, par exemple les sites français ont interdiction de donner les résultats d'une élection en France avant telle heure mais les sites belges le peuvent, et il le font, donc "interdir" ça sert le plus souvent à rien.

Sans compter que vouloir interdire de l'information ça prouve que tu as une sale mentalité de facho !
On doit autoriser l'information, après ce que les gens en font c'est un autre problème on ne peux pas faire une loi qui interdit aux gens d'être con

Vive la liberté !

Sympa l'insulte gratuite. Je te rassure, je n'en pense pas moins de toi.

Aujourd'hui tes "sondages" ont le même crédit que n'importe quel sondage en ligne, c'est à dire aucun.

Les statisticiens indiquent qu'un échantillon représentatif de 1000 individus d'une population permet d'avoir avec une marge correcte la réponse à une question d'un point de vue global. Cependant je remet fortement en cause la représentativité.

Nous savons tous que les sondages sont l'outil de la manipulation de masse qui s'applique aux français. C'est ce que je dénonce et que j'aimerai voir interdit.

[Mingolito]

Ce dernier sondage à pas le même avis que l'article sus cité, mais bon c'est qu'un sondage, donc ça n'à pas de valeur ?

[Ryu2000]

mais bon c'est qu'un sondage, donc ça n'à pas de valeur ?

J'aurais tendance à dire oui.
Mais la meilleure solution c'est d'attendre le résultat et de comparer.

En prenant la marge en compte Mélenchon peut passer devant Macron et le sondage sera toujours juste...
Plus que 3 jours à attendre et vous pourrez faire le bilan.

[TallyHo]

Cependant je remet fortement en cause la représentativité.

Je ne pense pas que ce soit le vrai problème car ils sont assez bien renseignés sur les panélistes pour en faire des échantillons représentatifs. Je crois que le problème est la façon de poser les questions, ce qui peut "orienter" la réponse. C'est utilisé par les communicants et ça peut être repris par des sondeurs. C'est là-dessus qu'ils devraient être jugés ou critiqués. Il y a un bout de temps, il y avait un article (un des rares...) qui les a attaqué sous cet angle justement... Mais alors pour le retrouver...

[Mingolito]

Enfin je peux me tromper mais moi la prédiction Macron président j'y crois, essayons de comprendre l'avis des gens (pas mon avis personnel) :

Mélenchon : non, peur du stalinien
Marine : non, peur de la facho, peur du retour au franc monnaie de singe
Fillon : grillé avec les affaires, sans parler des 5 millions de fonctionnaires qui vont voter contre lui.
Macron : On ne comprends rien avec ce qu'il dit, il dit tout et son contraire, difficile d'être contre ce qu'il dit du coup, vu que c'est incompréhensible.

Macron, le champion de l'enfumage et de la langue de bois : président

C'est le vote des gens : "On vote pour le moins pire et on change rien surtout". (pas mon avis je précise, mon avis est qu'il faudrait changer beaucoup de choses...)

[Matthieu Vergne]

Je ne pense pas que ce soit le vrai problème car ils sont assez bien renseignés sur les panélistes pour en faire des échantillons représentatifs.

Il y a aussi des cas de fausses données. Et de là, encore une fois il semble qu'il n'y a pas d'étude pour quantifier le phénomène mais une croyance qu'il reste marginal, ce qui me semble difficile à justifier quand les sondages sont fait sur des panélistes qui ont intérêt à répondre (récompense à la clé) sans avoir nécessairement intérêt à donner de vrais données (tous les sondeurs ne contrôlent pas l'identité des sondés).

[GPPro]

Non, pas voilà. Je parle des maths qui sont derrière, pas juste ce qu'on en dit ici ou là. Je sais ce qu'est la méthode des quotas, ce que je veux savoir c'est les maths sur lesquelles elles s'appuient. Pourquoi 1000 c'est bien et pas besoin de plus ? Pourquoi 5% de marge ?

Je ne suis pas statisticien mais ayant pas mal bossé avec des statisticiens et ayant dû bosser sur l'interprétation j'ai quelques idées de la chose.

Tout d'abord le 5% : c'est une marge classique en stat qui correspond grosso modo à une "certitude" . On considère qu'au delà de 95% de confiance le résultat est à peu près certain.

Cette marge dépend de la taille de l'échantillon donc les 1000 doivent être une taille d'échantillon permettant d'atteindre ces 5% d'erreur. (quel que soit le calcul stat que tu fais la taille de l'échantillon a un impact sur l'incertitude)

Concernant ta question sur aléatoire complet vs quota et pourquoi il considère les quotas + fiables : intuitivement je suis d'accord avec leur affirmation. Si tu prends un échantillon strictement aléatoire bah c'est con à dire mais il est strictement aléatoire et du coup tu n'es pas certain d'avoir dedans une représentation réelle de la réalité. Tu vas me dire oui mais l'échantillon est calculé en fonction de ça etc. Mais les stats sont faites pour reproduire des expés un bon nombre de fois, chose que tu ne peux pas faire avec un sondage, ça coute cher ces choses là. Et t'as pas envie d'avoir un tirage qui te renvoie des numéros de téléphone uniquement d'adhérents PS (par exemple). Du coup ils forcent le représentativité de différentes catégories pour s'assurer d'avoir un échantillon plus proche de la réalité. Après reste à savoir de quelle manière ils définissent leurs catégories, tout le secret de leur tambouille est là (entre autres ils se basent sur les élections précédentes, la perception qu'ils ont de ce qu'une personne va admettre qu'elle a certaines idées - FN au hasard - et c'est là que les biais s'introduisent le plus imo).

Si un vrai statisticien passe j'espère ne pas avoir dit trop de bêtises

Edit : concernant le 1000, il y a des méthodes pour calculer les tailles d'échantillons nécessaires, ce n'est pas un chiffre sorti du chapeau (normalement...).

[Ryu2000]

Mélenchon : non, peur du stalinien

Il n'est pas Stalinien, il n'est pas Léniniste, il est trotskiste... Ce qui est pire.

peur du retour au franc monnaie de singe

Alors ce serait pas un retour, ce serait une avancé.
Et les monnaies de singe sont :
1. Le dollar
2. Le Yen
3. La Livre
4. L'euro

Vous connaissez les quantitative easing un peu ?
Ils achètent des bons du trésors entre eux avec leur billet de Monopoly.
Les monnaies sont totalement virtuelles.
Ils créer de l'argent à l'infini (ce qui provoque une augmentation de la dette).

Fillon : grillé avec les affaires

Pour un gros homme politique faire croire que sa femme travail pour soi afin de récupérer une paie supplémentaire c'est basique.
Les gens savent qu'ils sont tous voleurs...

Macron : On ne comprends rien avec ce qu'il dit, il dit tout et son contraire

Ouais mais au moins il reconnait que lui non plus ne comprend pas son discours.
Peut être que les auteurs des discours eux même ne comprennent pas ce qu'ils écrivent.
Si ça se trouve c'est un algorithme qui produit ses discours ^^

C'est le vote : "On vote pour le moins pire et on change rien surtout".

Je ne sais pas comment vous faites pour ne pas identifier Macron comme étant le pire...
Mais bon vous êtes libre de pensez ce que vous voulez.

[TallyHo]

Il y a aussi des cas de fausses données. Et de là, encore une fois il semble qu'il n'y a pas d'étude pour quantifier le phénomène mais une croyance qu'il reste marginal, ce qui me semble difficile à justifier quand les sondages sont fait sur des panélistes qui ont intérêt à répondre (récompense à la clé) sans avoir nécessairement intérêt à donner de vrais données (tous les sondeurs ne contrôlent pas l'identité des sondés).

Ce n'est pas parce qu'il te semble que d'autres options n'existent pas. Tu es quand même au courant qu'il peut y avoir des croisements avec d'autres fichiers (civils par exemple) ? Que les panélistes ne sont pas choisis automatiquement dès qu'ils s'inscrivent et que le sondeur peut refuser un candidat ?

De toute façon, ton questionnement "scientifique" n'a aucun sens. Le sondage n'est pas une science exacte par définition puisque c'est une estimation que tu vas extrapoler à la population.

entre autres ils se basent sur les élections précédentes, la perception qu'ils ont de ce qu'une personne va admettre qu'elle a certaines idées - FN au hasard - et c'est là que les biais s'introduisent le plus imo

Oui aussi. C'est pour ça que c'est absurde d'aborder les sondages avec une approche purement scientifique car tu as une part qualitative parfois donc non scientifique ou quantifiable.

[Mingolito]

Je ne sais pas comment vous faites pour ne pas identifier Macron comme étant le pire...
Mais bon vous êtes libre de pensez ce que vous voulez.

J'ai seulement essayé de comprendre pourquoi il y à des gens qui votent Macron, pas de dire mon avis personnel, si je devais voter il n'y à absolument aucun candidat qui représente mes idées...

[Ryu2000]

J'ai seulement essayé de comprendre pourquoi il y à des gens qui votent Macron

D'accord, je n'avais pas compris...
"Des gens votent Macron" je suis pressé de voir les résultats quand même, j'ai hâte de connaitre son score réel.
A mon avis, on l'a bien gonflé, mais il se vide (il doit y avoir une crevaison lente ou quelque chose).

Généralement le vainqueur d'une élection c'est l'abstention.
Les gens se disent "J'en ai rien à foutre de ces conneries ! Vous pouvez bien mettre n'importe qui de toute façon ce sera exactement la même merde".
Ça c'est de la vraie sagesse, au lieu d'avoir l'espoir vain que les choses puissent s'améliorer...
Il n'y a qu'un truc qui est certains, c'est que nous n'allons pas vers le beau.
Le futur ne sera pas fais de croissance, de plein emploi, d'augmentation du pouvoir d'achat, de bonne santé, de paix, etc...

Moi je vois plus des entreprises qui font faillite, des jeunes qui ne trouvent pas de boulot, des guerres, etc.
Ce n'est pas la fête, comme on dit.

[ManusDei]

Après reste à savoir de quelle manière ils définissent leurs catégories, tout le secret de leur tambouille est là (entre autres ils se basent sur les élections précédentes, la perception qu'ils ont de ce qu'une personne va admettre qu'elle a certaines idées - FN au hasard - et c'est là que les biais s'introduisent le plus imo).

Et ça c'est fort probablement protégé par le secret professionnel.

[TallyHo]

Et même si on le savait, ça changerait quoi ? On pourrait interroger tous les français qu'on ne serait pas encore certain que le sondage soit la réalité car il peut y avoir des menteurs dans le tas.

La méthode de calcul des sondeurs n'est pas parfaite mais je ne pense pas qu'on puisse leur reprocher pour le coup. Essayer de mettre une certitude scientifique infaillible ou incontestable dans le sondage ou les stats, c'est créé une impasse car le sondage est une estimation donc il y aura toujours une part d'incertitude.

Je pense que c'est plutôt le type de questions qui posent problème... Pour bien faire, il faudrait des réponses libres au minimum.

[Matthieu Vergne]

[...]

Si un vrai statisticien passe j'espère ne pas avoir dit trop de bêtises

Edit : concernant le 1000, il y a des méthodes pour calculer les tailles d'échantillons nécessaires, ce n'est pas un chiffre sorti du chapeau (normalement...).

Oui, je sais. Le principe de base est la loi des grands nombres, qui veut qu'un échantillon représentatif adopte une distribution très similaire à celle de la population entière. Ça c'est pour la notion de représentativité dans le cadre d'un tirage aléatoire. On parle là de représentativité vis à vis de la variable mesurée, autrement dit dans notre cas d'une représentativité vis à vis des intentions de vote. De toute évidence, si tu cherches à créer un échantillon non aléatoire mais qui est représentatif de la population, ce qui veut dire que tu connais déjà le résultat est que tu choisis tes sondés pour obtenir le même résultat, de toute évidence l'échantillon est représentatif, mais l'exercice est juste totalement inutile. Ne connaissant pas le résultat, on part donc sur un sondage aléatoire.

La question étant ensuite de savoir combien il faut en sonder pour que ce soit représentatif. Or, pour savoir cela, il faut connaître la distribution en question, et c'est par le théorème central limite qu'on décide d'utiliser la loi normale, ou loi de Gauss comme le rappel Ipsos cité précédemment. Cette loi fait intervenir une moyenne et un écart-type (ou moyenne et variance) et est la plus utilisée de par ses propriétés intéressantes, notamment quand tu souhaites combiner des données.

Rien que là, déjà il y a de quoi critiquer car tout ne se modélise pas avec une loi normale, et le théorème central limite ne s'applique que sur une somme de variables respectant des propriétés particulières (même loi, variables indépendantes, etc.). Pour autant énormément d'études sont faites sur la base d'une loi normale. C'est comme la valeur p à 0.05, beaucoup de gens l'utilisent sans vraiment se demander pourquoi. Mais là n'est pas la question.

C'est à partir de cette loi qu'on définit alors des intervalles de confiance, qui s'appuient justement sur la moyenne, l'écart-type et la taille de l'échantillon pour déterminer l'intervalle : si on souhaite une confiance de 95%, pour une moyenne et un écart-type de autant avec un échantillon de telle taille, alors il nous faut considérer un intervalle de telle taille. C'est de là qu'on sort les fameuses marges des sondages... sauf que ces résultats ne s'appliquent que dans le cas d'un échantillon aléatoire. La méthode des quotas faisant tomber cela pour avoir à la place un échantillon représentatif de variables autres que celle mesurée (e.g. distribution géographique, emploi, âge), tout le raisonnement tombe. Non pas que les marges (s'il y en a) sont forcément différentes, mais on n'a juste rien pour les déterminer.

Ce que je critique n'est donc pas les chiffres, ils ont bien une base solide, mais je critique leur usage, car ils sont utilisés dans un contexte différent, où on ne sait pas si ces chiffres s'appliquent encore. Et l'intuition est bien gentille mais elle n'est pas scientifique.

Ce n'est pas parce qu'il te semble que d'autres options n'existent pas. Tu es quand même au courant qu'il peut y avoir des croisements avec d'autres fichiers (civils par exemple) ? Que les panélistes ne sont pas choisis automatiquement dès qu'ils s'inscrivent et que le sondeur peut refuser un candidat ?

Je n'ai pas dit il me semble, mais il semble. Je reprenais là le témoignage d'un responsable du milieu justement, de souvenir celui d'Opinion Way. C'était dans une émission sur le sujet que j'ai vu en suivant des liens. Me rappelle plus laquelle. Le deal c'était que le responsable du sondage fournissait ledit sondage à un autre organisme, qui lui a juste une grosse base de mails mais n'a rien d'un sondeur (donc pas de gros besoin de qualité quant au profil des sondés). Le truc est que l'organisme de sondage fournie les variables à représenter et fait confiance quant à la qualité de la base de données. Pas de contrôle a posteriori, seuls les résultats sont récupérés.

De toute façon, ton questionnement "scientifique" n'a aucun sens. Le sondage n'est pas une science exacte par définition puisque c'est une estimation que tu vas extrapoler à la population.

Estimation ne veut pas dire non scientifique. Les sciences humaines ne sont pas exactes mais restent des sciences. Les probas ne te garantissent pas d'être juste mais te donnent la probabilité d'avoir tort. L'existence du boson de Higgs se base sur une probabilité d'erreur extrêmement faible (0,00006%), pour autant je ne pense pas que tu oserais dire que ce n'est pas un résultat scientifique.

C'est pour ça que c'est absurde d'aborder les sondages avec une approche purement scientifique car tu as une part qualitative parfois donc non scientifique ou quantifiable.

Si on se la joue au doigt mouillé, là c'est purement et simplement de la falsification de données. Pour le reste, on a du quantifiable. Les résultats des dernières élections sont des quantités connues par exemples. Ce qui l'est moins, c'est la corrélation avec les intentions actuelles (quand on reprend le même candidat) ou avec le candidat actuel (quand on reprend les stats de l'un pour l'appliquer à l'autre). Je suis tout à fait d'accord que le redressement introduit des biais supplémentaires. Mais si dès le départ on part sur des chiffres fantasques, le redressement c'est secondaire, car un redressement ne va pas changer beaucoup les valeurs, juste éventuellement changer l'ordre de ceux qui sont proches. Selon cette même émission dont j'ai parlé plus haut, qui a interrogé un expert chargé par la commission nationale des sondages de vérifier justement les redressements effectués (et qui sont donc les seules personnes à avoir les données brutes en plus des redressées), le critère principal est justement que les données ne varient pas trop une fois redressées.

[TallyHo]

Ce que je critique n'est donc pas les chiffres, ils ont bien une base solide, mais je critique leur usage, car ils sont utilisés dans un contexte différent, où on ne sait pas si ces chiffres s'appliquent encore. Et l'intuition est bien gentille mais elle n'est pas scientifique.

Sauf que tu auras toujours une part d'intuition dans les études, ça commence déjà à l'élaboration des questions comme je le disais. Le biais peut se faire dès la création du projet. En général, ils sont sensibilisés à ces biais mais l'erreur est humaine. Ou alors intentionnelle pour influencer la réponse et ça je crois qu'il a pu y avoir ce genre de choses. Les commerciaux utilisent ces stratégies alors pourquoi pas un sondeur ami de tel politicien ?

Ce qu'il faudrait savoir, ce sont les vrais sondages d'Etat qui sont impartiaux car ils sont faits pour prendre la température, la popularité de telle mesure / politicien, etc... Souvent ils sortent pour moquer ou s'offusquer (genre le sondage sur Valls récemment) mais je suis certain qu'il y en a des plus sérieux qui ne sont pas portés à notre connaissance.

Le truc est que l'organisme de sondage fournie les variables à représenter et fait confiance quant à la qualité de la base de données. Pas de contrôle a posteriori, seuls les résultats sont récupérés.

Là encore, ce n'est pas parce que une personne a dit ceci ou semble peu professionnelle que ça en fait une généralité. Les contrôles existent et le sondeur peut aussi choisir le sondé grâce à des recoupements de fichiers. N'as tu jamais reçu d'appel téléphonique d'un sondeur alors que tu ne t'es pas inscrit chez lui ? N'as tu jamais reçu de mail pro en tant que responsable informatique pour te demander des renseignements sur ton parc, etc... ? Si ils te l'envoient, c'est qu'ils t'ont ciblé comme correspondant au panel (toi ou ta boite).