Des scientifiques ont élaboré un plan en huit pages pour réparer ce qui ne va pas dans le domaine scientifique

L’heure de la mauvaise science a sonné. Une équipe internationale de chercheurs vient de publier un “manifeste” de huit pages sur la façon d’améliorer la qualité de la recherche scientifique, et c’est plutôt lourd.

En 2016, la communauté scientifique s’est largement inquiétée du fait que nous étions en pleine “crise de reproductibilité “, ce qui signifie que de nombreux résultats publiés ne peuvent pas être reproduits – même lorsque les scientifiques répètent exactement la même expérience. Et la culture de recherche actuelle, qui consiste à “publier ou périr “, ne fait qu’aggraver le problème.

Mais le nouveau document, intitulé “Un manifeste pour la science reproductible “, suggère qu’il existe des moyens de corriger les failles du processus scientifique actuel et de sauver la science avant qu’elle ne devienne “de mauvaise qualité et peu fiable “.

“Il existe un moyen de réaliser une science bonne, fiable, crédible, reproductible, digne de confiance et utile”, a déclaré l’un des chercheurs, John Ioannidis, de la faculté de médecine de l’université de Stanford.

“Nous avons des moyens de nous améliorer par rapport à ce que nous faisons actuellement, et il y a beaucoup de scientifiques et d’autres parties prenantes qui sont intéressés par cette démarche.”

Tout d’abord, les problèmes actuels. Pour conserver leur emploi, les chercheurs doivent continuellement publier de nouveaux travaux, et le moyen le plus facile d’être publié est de présenter des résultats nouveaux et sensationnels.

Cela signifie que moins de chercheurs assument la tâche cruciale de vérifier les faits et de reproduire les travaux d’autrui, car une découverte répétée fait très peu de publicité.

Cela signifie également qu’il y a une pression pour “bidouiller” les résultats, c’est-à-dire manipuler les analyses statistiques jusqu’à ce que vous obteniez le résultat que vous voulez, et manipuler les données pour que les résultats semblent plus impressionnants qu’ils ne le sont réellement.

Et si personne ne prend le temps de relire votre étude pour repérer un “p-hack” douteux… vous pouvez comprendre que cela pose un problème.

Une étude réalisée l’année dernière a montré que ces pressions font évoluer la science vers quelque chose de peu fiable. Cela signifie non seulement que des résultats douteux sont communiqués au public, mais aussi que nous gaspillons beaucoup d’argent pour financer des recherches inexactes.

Chaque année, le gouvernement américain consacre à lui seul près de 70 milliards de dollars à la recherche et au développement hors défense, dont 30 milliards pour les National Institutes of Health.

Mais les recherches ont montré que 85 % de la recherche biomédicale est une perte de temps.

Le nouveau manifeste, publié dans le numéro inaugural de Nature Human Behaviour, explique que cela est dû en partie au fait qu’un grand nombre de chercheurs s’efforcent de trouver des modèles significatifs dans les données afin de les publier.

Tout comme lorsque nous essayons très fort de voir des visages et des animaux dans les motifs des nuages, si vous consacrez suffisamment d’argent et de recherche aux données, vous finirez par trouver un motif.

Et ce problème va bien au-delà des scientifiques eux-mêmes – le manifeste suggère que certains des plus grands changements doivent se produire au niveau des parties prenantes, en exhortant les institutions de recherche, les revues scientifiques, les organismes de financement et les agences de réglementation à modifier leur approche.

“La plupart des changements que nous proposons dans le manifeste sont interdépendants, et les parties prenantes sont reliées comme par des élastiques”, a déclaré Ioannidis

“Si vous faites bouger l’un d’entre eux, il risque de tirer les autres. Dans le même temps, il ou elle peut être limité parce que les autres ne bougent pas.”

Quelle est donc leur solution ? Le document de huit pages examine quatre catégories qui doivent être améliorées : les méthodes, les rapports et la diffusion, la reproductibilité et l’évaluation et les incitations.

Il y a beaucoup de détails dans ce document, mais voici quelques-unes des recommandations les plus notables :

Conception des études avant l’enregistrement : les scientifiques doivent concevoir des études qui minimisent les biais, ce qui signifie qu’ils ne doivent pas informer les patients, les médecins et les autres participants de ce qu’ils testent avant la recherche.

C’est déjà la norme pour de nombreuses études, mais le manifeste va plus loin en recommandant que tous les scientifiques enregistrent le plan de l’étude avant même le début de la recherche. Cela signifie que l’équipe ne peut pas revenir en arrière plus tard et modifier ses résultats pour les adapter au résultat souhaité.

Surmonter le “problème du tiroir à dossiers” : Le problème du tiroir à dossiers se pose essentiellement lorsque les chercheurs choisissent ce qu’ils rapportent – en choisissant de mettre en évidence les résultats positifs et notables, et en laissant le reste de leurs résultats dans un tiroir à dossiers.

“La conséquence”, écrivent les auteurs, “est que la littérature publiée indique des preuves plus fortes pour les résultats que ce qui existe en réalité.”

La réponse à ce problème est d’obtenir que les universités, les revues et les organismes de financement s’engagent tous à rechercher la vérité plutôt que de se contenter de publier quelque chose de notable qui pourrait ne pas dire toute l’histoire. Cela pourrait impliquer le recours à des comités indépendants qui aideraient à guider les chercheurs, mais n’auraient rien à gagner de leur travail.

Promouvoir la science ouverte : les auteurs suggèrent que les chercheurs partagent leurs résultats avec d’autres équipes et que les revues mettent gratuitement à la disposition du public les articles complets, afin que chacun puisse y avoir accès et les interpréter par lui-même.

Bousculer l’examen par les pairs: les auteurs approuvent également les sites de préimpression tels que arXiv.org et bioRxiv afin d’accélérer la vitesse à laquelle les chercheurs peuvent évaluer et examiner les travaux des autres.

Au lieu de s’en remettre à un processus d’évaluation par les pairs lent et privé, d’autres scientifiques peuvent publiquement faire des trous dans les travaux des autres.

“La possibilité d’accélérer la communication savante peut à la fois améliorer le rythme des découvertes et diversifier les moyens de contribuer activement au discours scientifique”, écrit l’équipe.

Bien sûr, il ne s’agit là que de suggestions, plutôt audacieuses d’ailleurs. C’est une chose de décrire ce qu’il faut faire pour réparer la science, mais c’en est une autre de le faire réellement.

Mais maintenant qu’un groupe de chercheurs a publié ses lignes directrices pour améliorer la science, cela donne à d’autres groupes l’occasion de ne pas être d’accord, de discuter et de s’appuyer sur ces lignes directrices – et ensuite, espérons-le, de les traduire en actions concrètes.

“Lorsque nous faisons de la science, nous essayons d’arriver à la vérité”, a déclaré M. Ioannidis.

“Toutes ces mesures visent à accélérer le processus de validation – le cercle qui consiste à générer, tester et valider ou réfuter des hypothèses dans la machine scientifique.”

Vous pouvez lire l’article complet (en accès libre, naturellement) ici.