Des scientifiques ont tenté de reproduire 100 expériences de psychologie et 64% ont échoué

Une étude historique à laquelle ont participé 100 scientifiques du monde entier a tenté de reproduire les conclusions de 270 études récentes publiées dans des revues de psychologie de renom. Selon une mesure, 36 % seulement des résultats obtenus étaient identiques. Cela signifie que pour plus de la moitié des études, lorsque les scientifiques ont utilisé la même méthodologie, ils n’ont pas pu aboutir aux mêmes résultats.

“Une grande partie des réplications ont produit des preuves plus faibles pour les résultats originaux malgré l’utilisation de matériel fourni par les auteurs originaux, la révision préalable de la fidélité méthodologique et la puissance statistique élevée pour détecter les tailles d’effet originales”, rapporte l’équipe dans Science aujourd’hui.

L’étude a été organisée en demandant à plusieurs équipes du monde entier de sélectionner une expérience dans une édition 2008 de l’une des trois principales revues de psychologie, puis de suivre la méthodologie originale aussi fidèlement que possible. Il leur a été demandé d’entrer en contact avec les auteurs principaux si possible, afin d’avoir une meilleure idée de la façon dont les choses ont été faites la première fois.

Alors que 97 des 100 études ont rapporté à l’origine des résultats statistiquement significatifs – ce qu’Ed Yong explique à The Atlantic comme “si vous refaisiez l’étude, vos chances d’obtenir par hasard les mêmes résultats (ou mieux) seraient inférieures à 1 sur 20” – seuls 36 de ces résultats ont pu être reproduits comme statistiquement significatifs la deuxième fois.

Et ces articles étaient tirés des meilleures revues – les plus difficiles à publier. Si les études avaient été tirées de toutes les revues de psychologie disponibles, les résultats auraient probablement été encore pires.

le taux de réussite est plus faible que je ne l’aurais pensé”, a déclaré à Yong John Ioannidis, de l’université de Stanford, auteur de l’article largement cité intitulé ” Why Most Published Research Findings are False “. “Je me sens mal de voir que certaines de mes prédictions ont été validées. J’aurais préféré qu’on prouve qu’elles étaient fausses”

Mais cela ne signifie pas que les résultats des deux tiers des études psychologiques les plus médiatisées de 2008 étaient incorrects. Même si les résultats n’ont pas pu être reproduits, cela n’enlève rien au fait qu’il y a probablement quelque chose dans les conclusions originales, mais comme pour toutes les études qui n’ont pas été vérifiées et reproduites de manière indépendante, elles doivent être prises avec un grain de sel.

Si les études de psychologie sociale, qui examinent comment certaines choses influencent le comportement, sont connues pour être moins reproductibles que les études cognitives, qui étudient le fonctionnement du cerveau lorsqu’il stocke des souvenirs, apprend de nouvelles choses, etc.

les auteurs de l’étude, qui ont constaté que le changement climatique est probablement dû à l’activité humaine, ont découvert qu’ils étaient criblés d’erreurs méthodologiques, ce qui aurait rendu leurs résultats impossibles à reproduire. Et plus tôt cette année, hier encore, nous avons rapporté qu’une étude distincte a révélé que la prévalence de la recherche préclinique irreproductible dépasse 50 %, “ce qui se traduit par des dépenses d’environ 28 millions de dollars par an pour la recherche préclinique qui n’est pas reproductible, rien qu’aux États-Unis”.

L’étude d’aujourd’hui ne doit donc pas être considérée comme une indication que la psychologie est une science moins fiable. La science, à son niveau le plus élémentaire, consiste à émettre des hypothèses, à les tester, à les valider et à les retester, et même si cela aurait dû être fait dès le départ avec ces expériences de 2008, mieux vaut tard que jamais. “En effet, le fait que ces chercheurs tentent d’analyser la crédibilité de résultats issus de leur propre discipline est sûrement un indicateur d’un engagement envers la rigueur scientifique”, souligne Victoria Turk sur Motherboard.

Les raisons pour lesquelles ces études sont publiées sans être répliquées sont, comme vous pouvez l’imaginer, incroyablement complexes, mais Ed Yong en aborde les principales dans son article sur l’Atlantique. Cela tient en grande partie au fait que les humains veulent des réponses, que la science n’est en aucun cas obligée de donner. Comme le soulignent les auteurs de l’étude publiée aujourd’hui dans Science : “Les humains désirent des certitudes, et la science ne les fournit que rarement. Bien que nous puissions souhaiter qu’il en soit autrement, une seule étude ne fournit presque jamais une résolution définitive pour ou contre un effet et son explication.”