Depuis des années, les chercheurs mettent en garde contre une crise de la reproductibilité dans le domaine scientifique. Ils se rendent compte que de nombreux articles fondamentaux, notamment en psychologie, ne tiennent pas la route lorsque les scientifiques prennent le temps d’essayer de reproduire les résultats.
Aujourd’hui, deux autres articles clés en psychologie ont échoué au test de reproductibilité, ce qui nous rappelle que de nombreux “faits” scientifiques auxquels nous avons fini par croire ne sont pas nécessairement aussi solides que nous le pensions.
Pour être juste, ce n’est pas parce que des résultats ne peuvent pas être reproduits qu’ils sont automatiquement faux. La reproduction est un élément important de la méthode scientifique qui nous aide à comprendre ce qui se passe réellement – il se peut que les nouveaux chercheurs aient agi différemment ou que la tendance soit plus subtile que prévu.
Le problème est que, depuis des décennies, l’importance de la reproduction des résultats a été largement négligée, les chercheurs choisissant généralement de courir après une “nouvelle” découverte plutôt que de vérifier les faits d’une ancienne, et ce en raison de la pression exercée sur eux pour qu’ils publient des résultats passionnants et inédits afin d’obtenir un emploi.
Comme l’a dit John Oliver plus tôt cette année : “Il n’y a pas de prix Nobel pour le fact-checking.”
Cela nous a amenés à la “crise” que nous traversons actuellement, où la plupart des articles publiés ne peuvent être reproduits. L’année dernière, l’université de Virginie a mené un nouveau projet de reproductibilité qui a permis de répéter 100 expériences… dont un tiers seulement a pu être reproduit avec succès – bien que cette étude ait depuis été critiquée pour ses propres erreurs de réplication.
Les deux derniers exemples en date sont des articles largement cités datant de 1988 et 1998.
L’étude de 1988 a conclu que nos expressions faciales peuvent influencer notre humeur – ainsi, plus nous sourions, plus nous sommes heureux, et vice versa.
L’étude de 1998, menée par Roy Baumestier de la Case Western University, a apporté la preuve de ce que l’on appelle l’épuisement de l’ego, c’est-à-dire l’idée que notre volonté peut s’épuiser avec le temps.
Cette hypothèse a été à l’origine d’un grand nombre d’études psychologiques ultérieures, mais Martin Hagger, de l’université Curtin en Australie, a dirigé des chercheurs de 24 laboratoires pour tenter de recréer l’article fondateur et n’a trouvé aucune preuve de l’existence de cet effet.
Grande nouvelle : Le RRR de l’épuisement de l’ego ne révèle aucun effet. Nada. Zip. Rien. @ME_McCullough l’a annoncé en premier #spsp2016
– Michael Inzlicht (@minzlicht) 30 janvier 2016
Ses résultats ont été acceptés pour être publiés dans la revue Perspectives in Psychological Science dans les prochaines semaines.
La tentative de reproduction des expressions faciales suit à peu près la même tendance.
Dans l’article original, des chercheurs allemands ont demandé à des participants de lire la bande dessinée The Far Side de l’artiste Gary Larson, en tenant un stylo entre leurs dents (pour les forcer à sourire) ou entre leurs lèvres (pour reproduire une moue).
L’équipe a constaté que les personnes qui souriaient trouvaient les bandes dessinées plus drôles que celles qui faisaient la moue, ce qui a amené les chercheurs à conclure que le fait de modifier notre expression faciale peut changer notre humeur, ce que l’on appelle l’hypothèse de la rétroaction faciale.
Mais lorsqu’une équipe de chercheurs de l’université d’Amsterdam, aux Pays-Bas, a mené la même expérience – en utilisant même les mêmes bandes dessinées des années 80 – elle n’a pas réussi à reproduire les résultats “de manière statistiquement convaincante “.
“Dans l’ensemble, les résultats n’étaient pas cohérents avec le résultat initial”, conclut l’équipe dans Perspectives in Psychological Science – un article distinct de la réplication de l’épuisement de l’ego, mais dont la publication est également prévue dans quelques semaines.
Encore une fois, cela ne signifie pas nécessairement que le résultat original n’était pas exact – neuf des 17 laboratoires néerlandais qui ont tenté de recréer l’expérience ont en fait rapporté un résultat similaire à celui de l’étude de 1988. Mais les huit autres laboratoires ne l’ont pas fait, et lorsque les résultats ont été combinés, l’effet a disparu.
“Cela ne signifie pas que toute l’hypothèse du feedback facial est morte et enterrée”, écrit Christian Jarrett dans le Research Digest de la British Psychological Society.
“De nombreuses études diverses ont soutenu l’hypothèse, y compris des recherches impliquant des participants ayant subi un traitement au botox, qui affecte leurs muscles faciaux.”
Les résultats pourraient être dus à un certain nombre d’autres variables – comme, peut-être que les gens d’aujourd’hui ne trouvent plus The Far Side drôle. De plus, l’étude néerlandaise a fait appel à des étudiants en psychologie, dont beaucoup auraient été familiarisés avec l’article de 1988, ce qui aurait pu fausser les résultats.
Seules des recherches plus poussées nous permettront d’en avoir le cœur net.
Mais en attendant, tout ce battage médiatique autour de la crise de la reproductibilité ne peut être qu’une bonne chose pour l’état de la science.
“Cela montre combien d’efforts et d’attention ont été consacrés à l’amélioration de l’exactitude des connaissances produites”, a déclaré John Ioannidis, un chercheur de l’université de Stanford qui a dirigé une étude sur la reproductibilité en 2005, à Olivia Goldhill de Quartz.
“La psychologie est une discipline qui a toujours été très forte sur le plan méthodologique et qui était en première ligne pour décrire les différents biais et les meilleures méthodes. Aujourd’hui, elle prend à nouveau l’initiative d’améliorer son bilan en matière de réplication.”
Un point positif qui a déjà émergé est une discussion sur le pré-enregistrement des essais, qui empêcherait les chercheurs de modifier leurs résultats après qu’ils ont été collectés pour obtenir des résultats plus intéressants.
Et, espérons-le, plus les gens parleront et réfléchiront à la reproduction des résultats, plus le public sera capable de faire preuve d’esprit critique à l’égard des nouvelles scientifiques qu’il lit.
“La science n’est pas une question de vérité et de fausseté, elle consiste à réduire l’incertitude”, a déclaré à Quartz Brian Nosek, le chercheur à l’origine du projet de reproductibilité.
“Vraiment, tout ce projet est de la science sur la science : des chercheurs qui font ce que la science est censée faire, c’est-à-dire être sceptiques à l’égard de notre propre processus, de notre procédure, de nos méthodes, et chercher des moyens de nous améliorer.”