Les dernières expériences visant à déterminer si un certain nombre d’articles très médiatisés dans le domaine de la recherche sur le cancer peuvent être reproduits viennent de donner le feu vert à la plupart des résultats.
Le rapport est encourageant après cinq études antérieures où seuls deux articles ont pu être vérifiés dans le cadre d’une initiative appelée ” Projet de reproductibilité” : Cancer Biology.
Ce projet est le fruit d’une collaboration entre le US Centre for Open Science et Science Exchange. Il a été lancé à la suite d’affirmations d’entreprises selon lesquelles 89 % des essais précliniques de traitements contre le cancer n’ont pu être reproduits.
La reproduction est un élément important en science. En suivant la méthode d’une expérience, nous devons produire exactement les mêmes résultats si nous voulons avoir confiance dans ses conclusions.
Cela ne veut pas dire que tous les scientifiques doivent être d’accord sur la manière d’interpréter les résultats, mais lorsqu’une méthode produit plus d’un ensemble de données, toute confiance dans une expérience s’envole.
Ces dernières années, la psychologie a été critiquée pour ce que l’on a appelé la “crise de la reproductibilité “, c’est-à-dire le fait que des expériences classiques répétées – et souvent influentes – n’aboutissent pas aux mêmes observations.
Appeler cela une crise peut sembler un peu extrême, mais une enquête menée par Nature l’année dernière a révélé qu’un peu plus de la moitié des 1 576 chercheurs interrogés estimaient qu’il y avait un problème important.
Les opinions ne manquent pas sur les raisons pour lesquelles tant d’expériences défient la reproduction, ni sur ce que nous pouvons faire pour y remédier. Par exemple, la pression exercée pour que les nouvelles découvertes soient constamment “publiées ou périmées” au lieu de consacrer du temps à tester les anciennes a été accusée de créer une sélection naturelle de la mauvaise science.
L’ouverture de la recherche au partage de tous les résultats (et pas seulement des résultats positifs) a également été présentée comme un moyen de rendre la science en tant que culture un peu plus honnête.
Le projet de reproductibilité : Cancer Biology est une réponse pratique au problème, qui fournit des preuves de la nature de la reproductibilité dans la recherche sur le cancer tout en identifiant les facteurs qui affectent notre capacité à reproduire les résultats en général.
Le projet était initialement centré sur 50 articles influents sur le cancer publiés entre 2010 et 2012, mais tous les chercheurs n’étaient pas disposés à ce que leurs travaux soient examinés aussi minutieusement, si bien qu’il n’en restait que 29 à tester.
En janvier, la première série de résultats a donné lieu à des rapports peu élogieux.
Sur cinq études clés, deux ont pu être reproduites de manière satisfaisante, deux ont connu des problèmes techniques déroutants et une n’a pas pu être reproduite du tout.
Aussi mauvais que cela puisse paraître, il est difficile de savoir exactement comment interpréter ces résultats. D’un côté, notre confiance dans l’utilité de telles recherches devrait être ébranlée.
Mais certains pensent que cela devrait également nous montrer que la science elle-même est complexe.
“Les gens font ces commentaires désinvoltes selon lesquels la science n’est pas reproductible. Ces cinq premiers articles montrent qu’il y a des niveaux de complexité qui rendent difficile d’affirmer cela”, a déclaré Charles Sawyers, rédacteur à eLife et biologiste du cancer, au magazine Science en janvier dernier.
Les deux dernières études ont testé un rapport publié en 2010 dans la revue Cancer Cell sur les mutations présentes dans certaines formes de leucémie et de cancer du cerveau, ainsi qu’un article paru dans Nature en 2011 sur un inhibiteur qui pourrait empêcher les cellules leucémiques de se diviser.
Les deux articles ont réussi à reproduire des parties importantes de la recherche précédente, ce qui signifie que quatre des sept expériences répliquées jusqu’à présent ont confirmé les résultats.
Les résultats n’étant pas tous parfaitement reproduits, la nouvelle n’est pas brillante. Bien que l’inhibiteur utilisé dans l’étude reproduite de 2011 ait réduit la croissance des cellules cancéreuses chez les souris, la nouvelle étude n’a pas permis de prolonger leur vie.
Mais comme la nouvelle étude s’est légèrement écartée de la méthode précédente, certains chercheurs pensent qu’il est important de ne pas trop lire dans une telle différence.
“Je pense que nous devrions faire attention à ne pas accorder trop d’importance à l’absence de différences statistiquement significatives en matière de survie en tant que critère d’évaluation”, explique Karen Adelman, rédactrice en chef d’eLife et biologiste moléculaire de l’université Harvard, au magazine Science.
Cette différence subtile montre également que la reproductibilité elle-même n’est pas une affaire de tout ou rien et que, comme la science en général, elle sert à éclairer la discussion plutôt qu’à fournir un succès ou un échec absolu.
Dans les années à venir, nous verrons sans doute d’autres reproductions qui nous décevront ou nous encourageront, mais ne retenons pas notre souffle.
Le véritable succès sera constitué par les nouvelles informations que nous pourrons utiliser pour examiner de près notre façon de faire de la science et la rendre encore plus solide que jamais.
Toutes les recherches menées dans le cadre du projet de reproductibilité : Cancer Biology sont publiées dans eLife.