Depuis un certain temps déjà, les scientifiques débattent de l’avenir de l’un des outils les plus célèbres utilisés pour décrire la certitude scientifique, le concept de “signification statistique”. Les scientifiques sont d’avis qu’il est préférable de l’abandonner complètement. Certains pensent qu’ il n’y a pas de problème tel quel. D’autres veulent le rendre plus petit, tandis que d’autres encore soutiennent que le concept de “signification statistique” n’a pas de sens
En supposant que l’on prenne le taureau par les cornes et que l’on abandonne le concept de “valeurs de probabilité”, il faudrait le remplacer par une idée encore meilleure. Ce récent numéro de The American Statistician contient quelques opinions – 43, en fait.
Pour paraphraser la valeur p, celle-ci a longtemps été le pire moyen de distinguer les idées utiles en science… à l’exception de toutes les autres méthodes qui ont été essayées de temps à autre. une célèbre citation de Winston Churchill, le
Ce n’est pas vraiment la faute de p. En soi, la valeur vous indique simplement la probabilité que vous ayez misé sur le mauvais cheval dans votre expérience.
En général, si la valeur est inférieure à 0,05, cela signifie qu’il y a moins de 5 % de chances que l’hypothèse nulle – une explication de vos observations qui ne fait pas partie de votre idée brillante – soit à l’origine de vos résultats.
Pourquoi cinq pour cent ? Parce que c’est l’histoire, vraiment. C’est un meilleur pari que 10 %, tout en n’étant pas aussi strict que 1 %. Il n’y a pas vraiment de qualité magique à cela.
Il existe tout un tas d’outils statistiques que les chercheurs peuvent utiliser pour calculer ce chiffre de signification. Les problèmes surgissent lorsque nous tentons de traduire cet idéal mathématique en quelque chose sur lequel les ordinateurs de viande à l’intérieur de nos crânes peuvent réellement agir.
Notre cerveau ne gère pas très bien les probabilités. Peut-être est-ce dû au fait que nous n’avons jamais évolué pour nous préoccuper de la probabilité d’être dévoré par un ours alors qu’il est déjà en train de nous mâchouiller le visage.
Nous nous occupons bien mieux de la division nette d’une déclaration vraie ou fausse. Ainsi, un peut-être flou d’un p < 0,05 est souvent difficile à avaler, ce qui le rend sujet à des abus.
“Le monde est beaucoup plus incertain que cela”, a déclaré la statisticienne Nicole Lazar, de l’université de Géorgie, au journaliste Richard Harris de NPR.
Avec le directeur exécutif de l’American Statistical Association, Ronald L. Wasserstein, et le vice-président retraité de Mathematica Policy Research, Allen Schirm, Mme Lazar a rédigé un éditorial en tête d’une anthologie de réflexions sur la façon dont nous pourrions faire mieux que “p”.
Il est clair qu’un chiffre de probabilité peut nous être utile, mais seulement si nous ne faisons pas de choses stupides avec lui, comme supposer qu’il fait plus que vous dire que votre explication intelligente est toujours en lice.
“Savoir ce qu’il ne faut pas faire avec les valeurs p est effectivement nécessaire, mais cela ne suffit pas”, écrit le trio.
“C’est comme si les statisticiens demandaient aux utilisateurs de statistiques d’arracher les poutres et les jambes de force qui soutiennent l’édifice de la recherche scientifique moderne sans proposer de matériaux de construction solides pour les remplacer.”
Les articles de ce numéro ne sont pas tous d’accord sur la forme que devraient prendre ces matériaux de construction. Mais beaucoup partagent quelques éléments de base.
Selon certains, la disparition de l’importance devrait idéalement se traduire par des tableaux de données et des descriptions de méthodes qui apportent des nuances supplémentaires, en écartant humblement les possibilités tout en continuant à plaider en faveur d’une explication unique.
“Nous devons apprendre à embrasser l’incertitude”, écrivent plusieurs des auteurs dans leur article d’opinion sur Nature.
“Une façon pratique de le faire est de renommer les intervalles de confiance en ‘intervalles de compatibilité’ et de les interpréter de manière à éviter l’excès de confiance.”
Il ne s’agit pas seulement d’un relooking bon marché de la valeur p. Il faudrait que les chercheurs décrivent activement les implications pratiques des valeurs comprises dans ces intervalles.
L’objectif ultime serait d’établir des pratiques qui évitent que les seuils ne conduisent à un raisonnement de type “vrai ou faux” et renforcent au contraire l’incertitude qui sous-tend la méthode scientifique.
La science, au fond, est une conversation après tout. Les décideurs politiques, les techniciens et les ingénieurs sont les auditeurs qui distillent ce bourdonnement de voix en une décision concrète, mais pour les scientifiques qui cherchent à franchir la prochaine étape de la recherche, une valeur-p en soi n’est pas très utile.
Malheureusement, elle est devenue une ligne d’arrivée dans la course à la connaissance, où le financement des enquêtes et les accolades publiques attendent les gagnants.
Pour renverser une pratique culturelle aussi solidement ancrée, il faudra bien plus que quelques éditoriaux et une poignée d’articles scientifiques bien argumentés. La valeur p est un élément respecté de la science depuis près d’un siècle maintenant, elle sera donc encore là pendant un certain temps.
Mais peut-être ce type de réflexion nous offre-t-il des tremplins pratiques pour nous permettre de dépasser la signification statistique et d’accéder à un espace où les limites floues de l’incertitude peuvent être célébrées.