Sérieux des études scientifiques citées dans la presse

[electroremy]

Bonjour,

Comme beaucoup de gens j'ai un abonnement à Science & Vie et j'écoute les émissions scientifiques, notamment la quotidienne de France Culture (La Science CQFD, qui a pris la suite de La Methode Scientifique)

Lors de mes études d'ingénieur, on nous a sensibilisé aux biais et aux marges d'erreurs des analyses statistiques et des essais.

J'ai vraiment pris conscience de l'importance de ces problèmes plus tard dans la vie, lorsque, très modestement, j'ai fait un peu de "politique" en étant conseiller municipal dans mon village. La grande collectivité et les autorités administratives dont on dépendait nous présentaient des études et des chiffres mais lorsqu'on rentrait dans le détail on se rendait compte que soit la marge d'erreur était énorme, ou pire, que les affirmations qu'on nous disaient contredisaient les données (!) Ca mettait beaucoup d'ambiance quand je posait les questions qui fâche en réunion  

Dans le Science & Vie de septembre, à la fin, il y a la fameuse rubrique "C'est dans nos vies", avec des affirmations souvent étonnantes de choses concrètes sur notre vie quotidienne basée sur des études scientifiques. Le problème, c'est que ces études ne sont pas très solides... Concrètement :

 "Le moment idéal pour s'entraîner varie selon les objectifs et le sexe", étude basée sur 27 hommes et 20 femmes volontaires

"Homoparentalité : leurs enfants ne sont pas plus stressés que les autres",  étude basée sur 62 enfants de familles homoparentales et 72 de familles de parents hétérosexuels

"La bière avec modération améliore la flore intestinale" : étude basée sur 22 hommes volontaires

"La gratitude entre collègues permet de réduire le stress" : étude basée sur 200 volontaires ayant participé à un test

"La musique aide a rester éveillé au volant" : étude basée sur 97 volontaires ayant conduit dans un simulateur

Pour que ce type d'étude soit valable :

- non seulement il faut des échantillons suffisamment grand mais aussi que cet échantillon soit représentatif de la population (on cite souvent un nombre minimum de 1000 personnes), sinon la marge d'erreur est importante, les résultats ne sont alors que du bruit aléatoire

- un test en "double aveugle", sinon le simple fait de savoir qu'on participe à l'étude ou d'être volontaire constitue un biais important : effet placébo ou nocébo, qui est encore pire lorsque l'effet mesuré est d'ordre psychologique ou subjectif

Or toutes ces études sont basées sur un faible échantillon, et les participants sont tous volontaires. De plus, ces études concernent surtout des aspects subjectifs ou psychologiques difficiles à mesurer de façon fiable. Ces études sont donc plus ou moins bidon.

Le problème c'est qu'en étant publiés dans une revue réputées, puis reprises dans la presse généraliste pour certaines, elles vont s'inscrire comme étant des "vérités" venant parfois influencer des comportements sociaux ou des politiques publiques.

Je trouve ça assez problématique. 

A bientôt

 

Modifié (le) Septembre 25, 2022 par electroremy

[PPAC]

Oui le gros problème c'est que pour vendre il faut que ce soit "sexy" ... or les résultats d'une bonne étude c'est pas forcement "sexy" ...

Sinon contre thèse pour

il y a 27 minutes, electroremy a dit :

"La musique aide a rester éveillé au volant" : étude basée sur 97 volontaires ayant conduit dans un simulateur

https://www.autoplus.fr/securite-routiere/des-musiques-dangereuses-en-voiture-248244.html

Citation

Le « Top 10 » des titres à éviter au volant

1. Marconi Union – « Weightless »
2. Airstream – « Electra »
3. DJ Shah – « Mellomaniac (Chill Out Mix) »
4. Enya – « Watermark »
5. Coldplay – « Strawberry Swing »
6. Barcelona – « Please Don’t Go »
7. All Saints – « Pure Shores »
8. Adele – « Someone Like You »
9. Mozart – « Canzonetta Sull’aria »
10. Café Del Mar – « We Can Fly »

Citation

 

 

Modifié (le) Septembre 25, 2022 par PPAC

[KpDp_3D]

Je suis bien d'accord, pour qu'une étude soit un tant soit peu fiable, il faut que l'échantillon soit à la fois suffisant et représentatif.

Soit on choisit un échantillon pour qu il soit représentatif ( ex: institut de sondage qui sélectionnent des bureaux de vote pour obtenir une estimation à 20h00, en fonction des résultats des précédents votes)   soit on prend un très large échantillon tiré au hasard (randomisé dans une autre langue)

Après, en ce qui concerne S&V (entre autre) c'est un journal, ce sont des journalistes et comme dit @PPAC, il faut vendre !

(voir les anciens journalistes de S&V qui ont quitté le journal vu la pression du groupe de presse ayant racheté le journal).

J'ai moi aussi exercé un mandant municipal et c'est bien vrai que, parfois, les sociétés en face ou les intercommunalités n'aiment pas trop qu'on posent des questions précises, Mais j'ai tjrs penser que c'était mon rôle dans la mesure où j'avais des connaissances dans un domaine.

D'où l'attention et surtout le regard critique que nous devons exercer sur les informations portées à notre connaissance.

[Savate]

Il y a 3 heures, PPAC a dit :

Le « Top 10 » des titres à éviter au volant

et après un repas bien arrosé : j'ai failli m'endormir dès la première minute  

il y a 5 minutes, KpDp_3D a dit :

soit on prend un très large échantillon tiré au hasard (randomisé dans une autre langue)

Encore faut-il que les questions soient neutres pour ne pas faire pencher l'étude dans le sens souhaité par le commanditaire  

il y a 7 minutes, KpDp_3D a dit :

D'où l'attention et surtout le regard critique que nous devons exercer sur les informations portées à notre connaissance.

Dans un monde ou tout doit être immédiat/instantané réfléchir et avoir un semblant d'esprit critique est - malheureusement - devenu un luxe ... 

[KpDp_3D]

 

Il y a 4 heures, Savate a dit :

Dans un monde ou tout doit être immédiat/instantané réfléchir et avoir un semblant d'esprit critique est - malheureusement - devenu un luxe ...

C'est vrai tu as raison @Savate, mais justement qui ou qu'est ce qui fait que " tout doit être immédiat/instantané " ? Un peu de la faute de la société, enfin de notre faute ?

Alors que si " tout n’est qu’ordre et beauté, Luxe, calme et volupté. " L'invitation au voyage serait bien plus agréable (désolé, j'aime bcp Baudelaire)

[methylene67]

Le fait est qu’en plus de l’échantillon pas assez large (et même avec un échantillon  assez large et représentatif et une marge d’erreur réduite, quand il s’agit d’études basées sur une observation humaine, et bien on peut avoir des surprises, la preuve lors des dernières élections législatives, certes il s’agit de sondages mais le principe est le même) on est pas sûr du purement scientifique irréfutable, mais sur des études pseudo scientifiques.

Tu rajouteras à cela que la presse (et même la plus “sérieuse”) parfois par précipitation et besoin de publier (et parfois aussi par incompétence) ne vérifie pas toujours au mieux ce qu’elle publie (on pourra rappeler le scandale d’une certaine étude publiée dans une des plus prestigieuses revues de médecine qui s’est avérée être quasiment complètement bidon).

Au final c’est un peu comme pour les faits divers ou la vie politique ou encore l’actualité internationale, il ne faut jamais croire de manière “brut” tout ce qu’un journal/personne/ou tout autre mode de transmission d’information (et ça vaux même pour un membre de la famille ou un collègue de bureau), sans avoir à minima recroiser cette même information par une ou plusieurs sources différentes.

Cela développe également l’esprit critique. Malheureusement c’est un effort que pas tout le monde fait (pour ne pas dire peu de monde) et c’est comme cela qu’on en revient en 2022 à avoir des gens qui croient que la terre est plate .

Et je ne dis pas non plus qu’il faut remettre en question toute les affirmations que l’on nous fait un .

[electroremy]

En fonction de l'étude, si on veut un échantillon représentatif, on doit :

- avoir les deux sexes

- avoir toutes les tranches d'âges

- avoir des gens répartis sur le territoire français (ou mondial)

- avoir une variété génétique (tous les groupes sanguins, couleurs de cheveux / de peau / des yeux, petits et grands, minces et gros...)

- avoir toutes les catégories socio-professionnelles

Ca fait beaucoup de combinaisons ! Même 1000 personnes ce n'est pas beaucoup

 

Alors c'est sûr, ces études coûtent cher, surtout s'il faut les faire en double aveugle en plus...

Mais il vaut mieux financer 5 études solides que 50 ou 100 études bidons.

 

Il y a aussi le "big data"... mais il n'implique pas l'absence de biais

Plus vicieux, il ne suffit pas d'avoir des données, elles doivent être analysées par un expert du domaine, comme le montre le paradoxe de Simpson

https://fr.wikipedia.org/wiki/Paradoxe_de_Simpson

Du coup, des "big data" avec un "logiciel d'intelligence artificielle" qui "analyse tout" ne suffit pas non plus.

D'ailleurs on ne devrait pas parler d'intelligence artificielle, mais de "logique floue".

Les réseaux de neurone, algorithmes génétiques, ne datent pas d'hier... 

Avec quelque lignes de code et un exemple judicieusement choisi on peut facilement "en mettre plein la vue" à des personnes qui n'y connaissent pas grand chose en programmation informatique, c'est ce que font les GAFAM avec les politiques et c'est assez inquiétant.

[methylene67]

il y a 15 minutes, electroremy a dit :

Avec quelque lignes de code et un exemple judicieusement choisi on peut facilement "en mettre plein la vue" à des personnes qui n'y connaissent pas grand chose en programmation informatique, c'est ce que font les GAFAM avec les politiques et c'est assez inquiétant.

Quand tu te dis que de plus en plus de film sont "écrits avec des algorithmes" c'est un peu du même acabit.

[fran6p]

il y a 17 minutes, electroremy a dit :

avoir les deux sexes

Heureusement que l'on est entre nous

Les réseaux de neurones, à la mode en ce moment, sont capables de choses franchement étonnantes voire inquiétantes pour certains métiers «artistiques», par exemple créer une image / photographie à partir de quelques mots clés (Dall-E 2).