Voici pourquoi beaucoup de recherches évaluées par des pairs sont erronées

La science est difficile. Si vous voulez faire une nouvelle découverte, vous devez non seulement observer un effet, tester votre hypothèse, la faire examiner par des pairs et la publier, mais votre idée doit également résister à des tests indépendants rigoureux.

C’est ce qu’on appelle la méthode scientifique, et c’est ainsi que nous tentons d’éliminer la plupart des erreurs et des faux positifs des recherches publiées.

Mais, comme l’explique le dernier épisode de Veritasium, malgré ce long processus, un grand nombre de recherches évaluées par les pairs sont en fait erronées, ce qui met en évidence un grave problème dans notre façon de faire de la science.

Que se passe-t-il donc ? Cela se résume en grande partie à un problème : les données ne parlent pas d’elles-mêmes et doivent toujours être interprétées par quelqu’un. Et malheureusement, les humains sont une variable imprévisible.

Prenez cet article publié en 2011 dans le Journal of Personality and Social Psychology intitulé “Feeling the future : Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect”, par exemple.

Dans cette étude, les chercheurs ont déclaré avoir trouvé des preuves que les humains pouvaient prédire l’avenir… en se basant sur le fait que lorsqu’on leur a demandé de choisir lequel de deux rideaux aurait une image derrière lui, les participants ont choisi la bonne réponse dans 53 % des cas.

Les auteurs ont affirmé que s’il s’agissait d’un simple hasard, le nombre de réponses correctes aurait été de 50 %.

Cela semble assez ridicule, mais il faut savoir que l’étude était statistiquement “significative”, ce qui signifie que les chercheurs ont calculé les chiffres et obtenu une valeur p inférieure à 0,05. En d’autres termes, il y avait moins de 5 % de chances qu’ils obtiennent ce résultat au hasard.

Pendant des décennies, l’obtention d’un score p > 0,05 a été la règle absolue pour déterminer la valeur d’un résultat, et ce seul chiffre détermine généralement si une étude mérite d’être publiée ou non.

Mais comme nous l’avons déjà mentionné, cette méthode est incroyablement problématique et non seulement elle produit un grand nombre de faux positifs, mais elle rend également les données sujettes au p-hacking, c’est-à-dire lorsque les résultats sont légèrement modifiés jusqu’à ce que les chercheurs obtiennent un résultat significatif.

Nous laissons Derek vous parler de ce problème dans la vidéo ci-dessus, car il s’agit d’une question complexe mais importante, qui mérite d’être étudiée de plus près.

Mais ce qu’il faut savoir, c’est que la plupart des scientifiques n’agissent pas de manière malveillante – beaucoup de ces faux résultats sont un symptôme du système : la seule façon de trouver un emploi est de publier des articles, et on ne publie pas d’articles avec des résultats non significatifs ou répliqués.

La bonne nouvelle, c’est que de nombreux scientifiques reconnaissent aujourd’hui qu’il existe une crise de la reproductibilité dans le domaine scientifique et cherchent activement des moyens de modifier le processus de publication pour le rendre plus précis et plus transparent.

Nous sommes impatients de voir ce qui va se passer, car s’il y a une chose dont nous avons besoin, c’est d’un modèle scientifique sur lequel nous pouvons compter.