Les mots “publié dans une revue évaluée par des pairs” sont parfois considérés comme l’étalon-or de la science.
Mais tout scientifique professionnel vous dira que le fait qu’un article ait été soumis à un examen par les pairs est loin d’être une garantie de qualité absolue. Pour savoir à quelle science vous devez vraiment vous fier, vous devez peser les indicateurs subtils que les scientifiques prennent en compte.
La réputation de la revue dans laquelle un article est publié est le premier élément.
Pour chaque domaine scientifique, il existe des revues générales (comme Nature, Science et Proceedings of the National Academy of Science) et de nombreuses revues plus spécialisées (comme le Journal of Biological Chemistry). Mais il est important de reconnaître qu’il existe des hiérarchies.
Certaines revues sont considérées comme plus prestigieuses, ou franchement, meilleures que d’autres. Le “facteur d’impact ” (qui reflète le nombre de citations des articles publiés dans la revue) est une mesure simple, quoique controversée, de l’importance d’une revue.
Dans la pratique, chaque chercheur a en tête une liste mentale des revues les plus pertinentes. Lorsqu’il choisit où publier, chaque scientifique juge lui-même de l’intérêt et de la fiabilité de ses nouveaux résultats.
Si les auteurs visent trop haut avec la revue qu’ils ciblent, le rédacteur en chef rejettera probablement l’article d’emblée sur la base de l'”intérêt” (avant même de considérer la qualité scientifique).
Si l’auteur vise trop bas, il risque de se dévaloriser, ce qui peut représenter une occasion manquée de publier un article phare dans une revue de premier plan, que tout le monde reconnaîtrait comme important (ne serait-ce qu’en raison de l’endroit où il a été publié).
Les chercheurs parlent parfois de leur article dans une lettre d’accompagnement adressée au rédacteur en chef et visent une revue d’un rang supérieur à celui auquel ils s’attendent à ce que le manuscrit aboutisse.
Si leur article est accepté, ils sont heureux. Dans le cas contraire, ils soumettent à nouveau leur article à une revue de rang inférieur ou, selon l’euphémisme consacré, à une “revue plus spécialisée”. C’est une perte de temps et d’efforts, mais c’est la réalité de la vie scientifique.
Ni les éditeurs ni les auteurs n’aiment se tromper. Ils mettent en balance la pression exercée sur eux pour qu’ils publient un article avec un gros titre et la peur de faire une erreur. Dans ce contexte, une erreur signifie publier un résultat qui devient rapidement sujet à controverse.
Pour éviter cela, le rédacteur en chef nomme trois ou quatre pairs examinateurs (des experts expérimentés dans le domaine) pour l’aider.
Le processus d’évaluation par les pairs
Au moment de soumettre un article, les auteurs peuvent suggérer des examinateurs qu’ils jugent qualifiés.
Mais c’est le rédacteur en chef qui fera le choix final, en fonction de sa connaissance du domaine et de la qualité et de la rapidité avec lesquelles les examinateurs s’acquittent de leur tâche.
L’identité des évaluateurs est généralement tenue secrète afin qu’ils puissent commenter librement (mais cela signifie parfois qu’ils sont très sévères). Les pairs examinateurs répéteront le travail du rédacteur en chef et indiqueront si l’article présente un intérêt suffisant pour la revue.
Il est important de noter qu’ils évalueront également la solidité de la science et si les conclusions sont étayées par des preuves.
C’est l’étape critique de “l’examen par les pairs”. Dans la pratique, cependant, le niveau d’examen reste lié à la réputation de la revue. Si le travail est envisagé pour une revue de premier plan, l’examen sera intense.
Les revues de premier plan acceptent rarement des articles qu’elles ne considèrent pas seulement comme intéressants, mais aussi comme étanches et à l’épreuve des balles, c’est-à-dire qu’elles pensent que le résultat résistera à l’épreuve du temps.
En revanche, si le travail est destiné à une revue peu lue et dont le facteur d’impact est faible, les évaluateurs seront parfois plus indulgents. Ils s’attendent toujours à une rigueur scientifique, mais sont susceptibles d’accepter certaines données comme non concluantes, à condition que les chercheurs soulignent les limites de leur travail.
Sachant que le processus est ainsi fait, chaque fois qu’un chercheur lit un article, il note mentalement où le travail a été publié.
Facteur d’impact des revues
La plupart des revues sont fiables. Mais en bas de la liste en termes d’impact se trouvent deux types de revues :
les revues respectables, qui publient des résultats évalués par les pairs, solides mais d’un intérêt limité – car ils peuvent représenter des impasses ou des sujets locaux très spécialisés
les revues dites “prédatrices”, qui sont plus sinistres – dans ces revues, le processus d’examen par les pairs est soit superficiel, soit inexistant, et les éditeurs font essentiellement payer les auteurs pour le privilège de publier.
Les scientifiques professionnels distinguent les deux types de revues en se basant sur la maison d’édition et même sur le nom de la revue.
La Public Library of Science (PLOS) est une maison d’édition réputée qui propose PLOS ONE pour les sciences solides, même si elle ne s’adresse qu’à un public limité. Springer Nature a lancé une revue similaire appelée Scientific Reports.
Parmi les autres revues de bonne qualité dont le facteur d’impact est plus faible, citons les revues de sociétés académiques spécialisées dans des pays à faible population – elles n’atteindront jamais un large public, mais le travail peut être solide.
Les revues prédatrices, quant à elles, sont souvent de grande envergure, publiées par des éditeurs en ligne gérant de nombreux titres, et comportent parfois le mot “international” dans le titre.
Elles cherchent à récolter un grand nombre d’articles pour maximiser leurs profits. Ainsi, des noms comme “The International Journal of Science” doivent être considérés avec prudence, alors que le “Journal of the Australian Bee Society” peut être fiable (remarque : j’ai inventé ces noms pour illustrer mon propos).
La valeur d’une revue par rapport à un seul article
Les facteurs d’impact sont devenus controversés parce qu’ils ont été surutilisés pour évaluer la qualité d’un seul article.
Cependant, s’ils sont appliqués strictement, ils ne reflètent que l’intérêt qu’une revue suscite et peuvent dépendre de quelques articles “jackpot” qui “deviennent viraux” en termes d’accumulation de citations.
En outre, si les articles publiés dans les revues à fort impact ont fait l’objet d’un examen plus approfondi, la pression exercée sur les rédacteurs et les auteurs de ces revues de premier plan est plus forte.
Cela signifie que des raccourcis peuvent être pris plus souvent, que la dernière expérience de contrôle cruciale peut ne jamais être réalisée et que les revues finissent par être moins fiables que leur réputation ne le laisse entendre.
Cette déconnexion génère parfois des critiques sur le fait que certaines revues ne sont pas aussi bonnes qu’elles le prétendent, ce qui permet de garder tout le monde sur le qui-vive.
Bien que toutes les controverses autour des facteurs d’impact soient réelles, chaque chercheur les connaît et y pense, ainsi qu’à d’autres systèmes de classement des revues (SNP – Source Normalised Impact per Paper, SJR – Scientific Journal Rankings, et autres), lorsqu’il choisit la revue dans laquelle il va publier, les articles qu’il va lire et ceux auxquels il va se fier.
Rien n’est parfait
Même si tout est fait correctement, l’évaluation par les pairs n’est pas infaillible. Si les auteurs falsifient leurs données de manière très astucieuse, par exemple, cela peut être difficile à détecter.
La falsification délibérée de données est toutefois relativement rare. Non pas parce que les scientifiques sont des saints, mais parce qu’il est stupide de falsifier des données.
Si les résultats sont importants, d’autres personnes essaieront rapidement de les reproduire et de s’en inspirer. Si un faux résultat est publié dans une revue de premier plan, il est presque certain qu’il sera découvert. Cela arrive de temps en temps, et c’est toujours un scandale.
Les erreurs et le laisser-aller sont beaucoup plus courants. Cela peut être lié à l’urgence croissante, à la pression de publier et à la prédominance de grandes équipes où personne ne peut comprendre toute la science.
Mais là encore, seules les erreurs sans conséquence survivront – les erreurs les plus importantes seront rapidement repérées.
Peut-on faire confiance à l’édifice qu’est la science moderne ?
En général, on peut se faire une idée de la probabilité de la solidité d’un document scientifique évalué par les pairs. Pour cela, il faut se fier à la fierté et à la réputation des auteurs, des rédacteurs en chef et des examinateurs.
Je fais donc confiance à la combinaison du système d’évaluation par les pairs et du fait inhérent que la science est construite sur des fondations antérieures. Si celles-ci sont ébranlées, les fissures apparaîtront rapidement et les choses seront remises en ordre.
Je suis également encouragé par les nouvelles possibilités de systèmes encore meilleurs et plus rapides qui apparaissent grâce aux progrès des technologies de l’information. Il s’agit notamment de modèles d’examen par les pairs après (plutôt qu’avant) la publication.
Il s’agit peut-être d’un moyen de formaliser des discussions qui se dérouleraient autrement sur Twitter, et qui peuvent faire douter de la validité des résultats publiés.
La revue eLife renverse le principe de l’examen par les pairs. Elle propose de publier tout ce qu’elle juge suffisamment intéressant, puis laisse aux auteurs le choix de répondre ou non aux points soulevés lors de l’examen par les pairs après l’acceptation du manuscrit.
Les auteurs peuvent même choisir de ne pas aller de l’avant s’ils pensent que les points soulevés par les pairs révèlent que le travail est défectueux.
ELife dispose également d’un système où les évaluateurs se réunissent et fournissent une seule évaluation modérée, à laquelle leurs noms sont ajoutés et qui est publiée. Cela évite que l’anonymat ne permette un traitement trop sévère.
Dans l’ensemble, nous devrions avoir la certitude que la science importante est solide (et la science périphérique non validée) grâce à l’évaluation par les pairs, la transparence, l’examen minutieux et la reproduction des résultats dans les publications scientifiques.
Néanmoins, dans certains domaines où la reproduction est rare ou impossible – études à long terme dépendant de données statistiques complexes – il est probable que le débat scientifique se poursuivra.