La pierre angulaire de la science moderne est brisée, disent certains. Voici comment nous pouvons la réparer

Le processus d’examen par les pairs est la pierre angulaire de l’érudition moderne. Avant la publication d’un nouveau travail dans une revue universitaire, des experts examinent minutieusement les preuves, les recherches et les arguments pour s’assurer qu’ils tiennent la route.

Cependant, de nombreux auteurs, réviseurs et éditeurs ont des difficultés avec le fonctionnement du système moderne d’évaluation par les pairs. Il peut être lent, opaque et clientéliste, et fonctionne grâce au travail bénévole d’universitaires déjà surchargés.

Le mois dernier, l’une d’entre nous (Kelly-Ann Allen) a exprimé sur Twitter sa frustration face à la difficulté de trouver des pairs examinateurs. Des centaines de réponses plus tard, nous disposions d’une énorme collection de critiques de l’évaluation par les pairs et de suggestions pour l’améliorer

En tant que rédacteur en chef d’une revue, il est difficile de lire que des gens publient et ne participent pas à l’évaluation. Il est de plus en plus difficile de trouver des évaluateurs, ce qui entraîne des retards importants dans les délais de publication. #AcademicChatter @AcademicChatter https://t.co/FMFeqFnsrm

– Kelly-Ann Allen, PhD #belonging #schoolbelonging (@drkellyallen) 6 juin 2022

Les suggestions faites aux revues, aux éditeurs et aux universités montrent qu’il y a beaucoup à faire pour rendre l’évaluation par les pairs plus responsable, plus équitable et plus inclusive. Nous avons résumé l’ensemble de nos conclusions ci-dessous.

Les trois défis de l’évaluation par les pairs

Le système d’évaluation par les pairs est confronté à trois grands défis.

Premièrement, l’évaluation par les pairs peut être exploitée.

De nombreuses sociétés qui publient des revues universitaires réalisent des bénéfices sur les abonnements et les ventes. Cependant, les auteurs, les rédacteurs et les pairs examinateurs donnent généralement leur temps et leurs efforts sur une base volontaire, effectuant ainsi un travail gratuit.

Et si l’évaluation par les pairs est souvent considérée comme une entreprise collective de la communauté universitaire, dans la pratique, une petite fraction des chercheurs effectue la majeure partie du travail. Une étude sur les revues biomédicales a révélé qu’en 2015, seuls 20 % des chercheurs effectuaient jusqu’à 94 % de l’examen par les pairs.

L’examen par les pairs peut être une “boîte noire”

Le deuxième défi est le manque de transparence du processus d’évaluation par les pairs.

L’évaluation par les pairs est généralement effectuée de manière anonyme : les chercheurs ne savent pas qui évalue leurs travaux, et les évaluateurs ne savent pas quels travaux ils évaluent. Cela permet de faire preuve d’honnêteté, mais peut également rendre le processus moins ouvert et moins responsable.

L’opacité peut également supprimer la discussion, protéger les préjugés et diminuer la qualité des évaluations.

L’évaluation par les pairs peut être lente

Le dernier défi est la rapidité de l’évaluation par les pairs.

Lorsqu’un chercheur soumet un article à une revue, s’il parvient à passer le cap du rejet initial, il doit attendre longtemps avant d’être examiné et éventuellement publié. Il n’est pas rare qu’une recherche soit publiée un an ou plus après sa soumission.

Ce délai est néfaste pour tout le monde. Pour les responsables politiques, les dirigeants et le public, cela signifie qu’ils peuvent prendre des décisions fondées sur des preuves scientifiques dépassées. Pour les chercheurs, les retards peuvent bloquer leur carrière, car ils attendent les publications dont ils ont besoin pour obtenir une promotion ou une titularisation.

Selon les universitaires, les retards sont généralement causés par une pénurie d’examinateurs. De nombreux universitaires indiquent que des charges de travail difficiles peuvent les décourager de participer à l’évaluation par les pairs, et cette situation s’est aggravée depuis le début du COVID-19

Il a également été constaté que de nombreuses revues s’appuient fortement sur des examinateurs américains et européens, ce qui limite la taille et la diversité du groupe d’examinateurs.

Peut-on améliorer l’évaluation par les pairs ?

Alors, que peut-on faire ? La plupart des suggestions constructives issues de la grande conversation Twitter mentionnée plus haut se répartissent en trois catégories.

Tout d’abord, beaucoup ont suggéré que de meilleures mesures incitatives soient mises en place pour la réalisation des évaluations par les pairs.

Les éditeurs pourraient ainsi rémunérer les évaluateurs (les revues de l’American Economic Association le font déjà) ou reverser une partie des bénéfices aux départements de recherche. Les revues pourraient également offrir aux évaluateurs des abonnements gratuits, des bons pour les frais de publication ou des évaluations accélérées.

Il faut toutefois reconnaître que les revues qui offrent des incitations pourraient créer de nouveaux problèmes.

Une autre suggestion est que les universités pourraient faire mieux en reconnaissant l’examen par les pairs comme faisant partie de la charge de travail universitaire, et peut-être récompenser les contributeurs exceptionnels à l’examen par les pairs.

Certains commentateurs sur Twitter ont fait valoir que les universitaires titulaires devraient examiner un certain nombre d’articles chaque année. D’autres pensent qu’il faudrait faire davantage pour soutenir les revues à but non lucratif, étant donné qu’une étude récente a révélé que quelque 140 revues, rien qu’en Australie, ont cessé de publier entre 2011 et 2021.

La plupart des répondants ont convenu que les conflits d’intérêts devaient être évités. Certains ont suggéré que des bases de données d’experts permettraient de trouver plus facilement des examinateurs pertinents.

Utiliser des stratégies de recrutement de pairs plus inclusives

De nombreux répondants ont également suggéré que les revues puissent améliorer la manière dont elles recrutent les examinateurs et le travail qu’elles distribuent. Les évaluateurs experts pourraient être sélectionnés sur la base de leur expertise en matière de méthode ou de contenu, et on pourrait leur demander de se concentrer sur cet élément plutôt que sur les deux.

Les répondants ont également fait valoir que les revues devraient faire davantage pour adapter leurs invitations afin de cibler les experts les plus pertinents, avec un processus plus simple pour accepter ou rejeter l’offre.

D’autres estiment qu’il faudrait recruter davantage d’universitaires non permanents, de chercheurs en doctorat, de personnes travaillant dans des secteurs connexes et d’experts retraités. Une meilleure formation à l’examen par les pairs pour les étudiants diplômés et une représentation accrue des femmes et des minorités sous-représentées seraient un bon début.

Repenser l’examen par les pairs en double aveugle

Certains répondants ont signalé un mouvement croissant vers des processus d’examen par les pairs plus ouverts, ce qui pourrait créer une approche plus humaine et transparente de l’examen. Par exemple, la Royal Society Open Science publie toutes les décisions, les lettres d’examen et l’identification volontaire des pairs examinateurs.

Une autre suggestion pour accélérer le processus de publication est d’accorder une plus grande priorité aux recherches sensibles au facteur temps.

Que peut-on faire ?

Le message général de l’énorme réponse à un seul tweet est qu’il est nécessaire d’apporter des changements systémiques au processus d’évaluation par les pairs.

Les idées ne manquent pas pour améliorer le processus dans l’intérêt des chercheurs et du grand public. Cependant, il appartiendra aux revues, aux éditeurs et aux universités de les mettre en pratique et de créer un système plus responsable, plus équitable et plus inclusif.

Les auteurs tiennent à remercier Emily Rainsford, David V. Smith et Yumin Lu pour leur contribution à l’article original Towards improving peer review : Crowd-sourced insights from Twitter.

Kelly-Ann Allen, professeur associé, School of Educational Psychology and Counselling, Faculté d’éducation, Monash University ; Jonathan Reardon, Durham University ; Joseph Crawford, maître de conférences, Innovation éducative, University of Tasmania, et Lucas Walsh, professeur et directeur du Centre for Youth Policy and Education Practice, Monash University.

Cet article est republié de The Conversation sous une licence Creative Commons. Lire l’article original.