Des échecs spectaculaires dans la reproduction de résultats scientifiques clés ont été documentés ces derniers temps, notamment en biologie, en psychologie et en médecine.
Un rapport sur la question, publié dans la revue Nature en mai dernier, révèle qu’environ 90 % des quelque 1 576 chercheurs interrogés estiment aujourd’hui qu’il existe une crise de la reproductibilité dans le domaine scientifique.
Si cette situation ternit à juste titre la confiance du public dans la science, elle a également de graves conséquences pour les gouvernements et les organismes philanthropiques qui financent la recherche, ainsi que pour les secteurs pharmaceutique et biotechnologique. Cela signifie qu’ils pourraient gaspiller des milliards de dollars en recherche chaque année.
Un facteur contributif est facilement identifiable. Il s’agit du taux élevé de “fausses découvertes” dans la littérature. Il s’agit de résultats faussement positifs qui conduisent à la perception erronée qu’une découverte scientifique définitive a été faite.
Ce taux élevé s’explique par le fait que les études publiées ont souvent une faible puissance statistique pour identifier une véritable découverte lorsqu’elle existe, et que les effets recherchés sont souvent faibles.
De plus, des pratiques scientifiques douteuses augmentent les chances de trouver un résultat statistiquement significatif, avec une probabilité généralement inférieure à un sur 20. En fait, notre seuil de probabilité pour l’acceptation d’une découverte devrait être plus strict, tout comme il l’est pour les découvertes de nouvelles particules en physique.
Le mathématicien anglais et père de l’informatique Charles Babbage a relevé ce problème dans son ouvrage de 1830 intitulé Reflections on the Decline of Science in England, and on Some of Its Causes. Il a formellement divisé ces pratiques en “hoaxing, forging, trimming et cooking”.
le “détourage et la cuisson” des données aujourd’hui
Dans le jargon actuel, l’élagage et la cuisson consistent à ne pas communiquer toutes les données, toutes les conditions expérimentales, toutes les statistiques, et à retravailler les probabilités jusqu’à ce qu’elles paraissent significatives.
La fréquence de bon nombre de ces pratiques indéfendables est supérieure à 50 %, comme l’indiquent les scientifiques eux-mêmes lorsqu’ils sont incités à dire la vérité.
Le philosophe anglais Francis Bacon a écrit, il y a près de 400 ans, que nous sommes plus influencés par les affirmations que par les négations et a ajouté :
“L’homme préfère croire ce qu’il préfère être vrai”
Des préjugés cognitifs profondément ancrés, consciemment et inconsciemment, poussent les scientifiques à prendre des raccourcis au nom de la découverte.
Il s’agit notamment de modifier l’hypothèse principale testée après avoir pris connaissance des résultats réels ou de modifier les tests statistiques, les données ou les deux jusqu’à ce qu’un résultat statistiquement significatif soit trouvé. De telles pratiques sont courantes.
Même les grands essais cliniques contrôlés et randomisés publiés dans les principales revues médicales sont concernés (voir compare-trials.org) – bien que les plans de recherche soient spécifiés et enregistrés avant le début de l’essai.
Il est rare que les chercheurs respectent exactement les plans (environ 15 % le font). Au contraire, ils suppriment souvent les résultats prévus enregistrés (qui sont vraisemblablement négatifs) et ajoutent des résultats non enregistrés (qui sont vraisemblablement positifs).
Publier ou périr
Il n’est pas nécessaire de chercher bien loin pour découvrir la cause fondamentale des pratiques problématiques qui caractérisent de nombreuses sciences. Le mantra “publier ou périr ” dit tout.
La progression académique est entravée par l’absence de publication dans les revues contrôlées par les pairs, alors qu’elle est favorisée par la publication fréquente de résultats de recherche, presque toujours positifs. Ce type de sélection compétitive vous semble-t-il familier ?
Il s’agit d’une forme de sélection naturelle culturelle – naturelle, dans la mesure où elle est ancrée dans la culture scientifique moderne, et sélective dans la mesure où seuls les survivants progressent. Les parallèles entre la sélection naturelle biologique et la sélection liée à la culture sont acceptés depuis longtemps. Charles Darwin a même décrit son rôle dans le développement du langage dans son ouvrage The Descent of Man (1871).
En termes clairs, le taux de publication varie selon les scientifiques. Les scientifiques qui publient à un rythme élevé sont préférentiellement sélectionnés pour des postes et des promotions. Ces scientifiques ont des “enfants” qui créent de nouveaux laboratoires et poursuivent les pratiques de publication de leurs parents.
La bonne science en souffre
Dans une autre étude publiée en mai, des chercheurs ont modélisé les interactions intuitives mais complexes entre la pression et les efforts déployés pour publier de nouveaux résultats et la nécessité de les reproduire pour mettre la main sur de véritables découvertes. Il s’agit d’une simulation bien argumentée du fonctionnement et de la culture de la science moderne.
Les auteurs concluent également qu’il existe une sélection naturelle pour les mauvaises pratiques scientifiques en raison des incitations qui récompensent simplement la “quantité de publications” :
Une recherche scrupuleuse sur des problèmes difficiles peut nécessiter des années de travail intense avant de donner des résultats cohérents et publiables. Si l’on favorise un travail plus superficiel générant davantage de publications, les chercheurs intéressés par la recherche de questions complexes risquent de se retrouver sans emploi, peut-être au détriment de la communauté scientifique dans son ensemble.
Les auteurs rappellent également la faible puissance de nombreuses études pour trouver un phénomène s’il existe vraiment. Malgré les appels lancés pour augmenter la puissance statistique, par exemple en recueillant davantage d’observations, celle-ci est restée constamment faible au cours des 50 dernières années.
Dans certains domaines, elle n’est en moyenne que de 20 à 30 %. La sélection académique naturelle a favorisé la publication d’un résultat plutôt que la production de nouvelles connaissances.
L’impact de la sélection darwinienne parmi les scientifiques est amplifié lorsque le soutien gouvernemental à la science est faible, que la croissance de la littérature scientifique se poursuit sans relâche et que les universités produisent un nombre croissant de docteurs en sciences.
Nous avons une vision idéalisée selon laquelle la science est rarement faillible, en particulier la biologie et la médecine. Pourtant, de nombreux domaines sont remplis de publications d’études de faible puissance, dont la majorité sont peut-être erronées.
Ce problème exige une action de la part des scientifiques, de leurs enseignants, de leurs institutions et des gouvernements. Nous ne renverserons pas la sélection naturelle, mais nous devons mettre en place des pressions de sélection pour obtenir la bonne réponse plutôt que la simple publication.