De nombreux articles scientifiques, pourtant validés par les pairs, donnent des résultats qui ne sont pas reproduits par la suite : c'est ce que l'on appelle la crise de la reproductibilité. 70% des chercheurs ont expérimenté cette situation, et ce dans tous les domaines, même si les sciences dures sont moins impactées.
Une publication scientifique suit une méthodologie stricte, où elle va d'abord être revue par des pairs et éventuellement corrigée avant d'être publiée, gage théorique de se véracité. Cependant, les pairs n'ont pas le temps de refaire l'intégralité des expériences, et il arrive donc souvent que même si un article est bien fait, les résultats ne soient au final pas reproduits par la suite. Ce problème se retrouve par ailleurs dans tous les journaux, y compris dans les plus célèbres comme Nature ou Science.
Plusieurs hypothèses permettraient d'expliquer ce problème, comme l'effet tiroir (on ne publie que les résultats qui sont significatifs, pas l'absence de résultats, ce qui peut conduire à des biais statistiques), la pression de la publication qui amène à des fautes ou des manipulations légères, ou encore un mauvais usage des statistiques.
Le problème est particulièrement grave en psychologie, où moins de la moitié des articles seraient reproductibles.
Commentaires préférés (3)
Je tiens à signaler que j'ai suggérer cette anecdote il y a pas mal de temps, avant l'affaire du Lancet (mais après le début de l'affaire Raoult), mais ce problème est (malheureusement) connu depuis longtemps et est un vrai cancer en science, auquel il est difficile de trouver une solution.
Retenez donc qu'un article publié après avoir été revu par les pairs est effectivement un gage de qualité, mais qu'il n'est malheureusement pas synonyme de vérité (c'est quand même toujours mieux que des préprint ou même des anecdotes personnelles qui n'ont aucune valeur en science).
Alors c'est un chouia plus compliqué que ça. Le cherry picking ou autre forme de p-hacking (référence à la p-value, la valeur statistqiue permettant de voir si un résultat est significatif ou du au hasard, et souvent fixé à 5%) n'est pas forcément anormal. C'est du au fait que dans de nombreuses expériences, il y a des paramètres qu'on ne contrôle pas et qui peuvent ruiné ce qu'on essaye de faire. On pourrait par exemple utilisé des électrodes sur des patients et avoir une électrode qui ne marche pas et enregistre un signal étrange (peut-être qu'elle était mal positionnée par exemple). Le soucis c'est que tout ce qu'on voit, c'est un signal étrange. On doit alors choisir de l'inclure ou de le retiré, et comme il semble très différent du reste des résultats, on va souvent le retirer en considérant que c'est une erreur. Pareil quand on a des données qui semblent suivre une belle relation linéaire avec une donnée qui s'en éloigne beaucoup : il est tentant de la supprimer en la considérant comme une erreur, et ca sera souvent le cas. Le soucis c'est que quand on fait tout le temps ça, et même quand on le fait à plusieurs étapes d'une analyse, on peut se retrouver à avoir des résultats non conforme avec la réalité qui décrivent la moyenne du groupe plus qu'un vrai phénomène. Du coup on part d'une utilisation complétement normal qui permet d'avoir des résultats interprétable et de faire des vrais prédictions, mais quand on en abuse on peut arriver à des résultats qui ne sont en fait valide que pour le groupe étudié.
On peut aussi penser au fait qu'on ne va pas considéré les absences de résultats, qui n'ont aucune valeur, bien que cela créé aussi un biais assez fort.
Enfin, il y a souvent une assez mauvaise utilisation des statistiques au sens large, mais c'est encore un problème différent.
Tout à fait, pour la psycho en particulier c'est un autre problème majeur : on prend souvent (pas toujours quand même, notamment pour les études avec une grosse cohorte) des sujets élèves de psycho, qui sont donc déjà biaisé et sensibilisé aux types d'expériences et de résultats attendu. C'est d'ailleurs un problème des expériences de psycho : il est parfois aisé de deviné le but de l'expérience, et le sujet va en général essayer d'être "utile" et de "bien répondre" renforçant l'effet qu'il croit avoir deviné. C'est pour ça que le vrai sujet est souvent noyé sous d'autres questions, pour éviter ce genre de réactions.
Selon moi, c'est à cause de ces éléments que la psycho est d'avantage touché que d'autres disciplines, plus qu'à cause d'un manque de rigueur des chercheurs du domaine.
Tous les commentaires (26)
Je tiens à signaler que j'ai suggérer cette anecdote il y a pas mal de temps, avant l'affaire du Lancet (mais après le début de l'affaire Raoult), mais ce problème est (malheureusement) connu depuis longtemps et est un vrai cancer en science, auquel il est difficile de trouver une solution.
Retenez donc qu'un article publié après avoir été revu par les pairs est effectivement un gage de qualité, mais qu'il n'est malheureusement pas synonyme de vérité (c'est quand même toujours mieux que des préprint ou même des anecdotes personnelles qui n'ont aucune valeur en science).
Il y a aussi l'hypothèse que les résultats sont bidonnés, qui paraît évidente mais qui n'est pas mentionnée dans l'anecdote. Ou c'est ce que veut dire "manipulations légères" ? Cette expression serait alors un euphémisme car il est arrivé que, pour étayer leur publication, les auteurs inventent carrément des résultats d'expériences qui n'ont jamais eu lieu ou qui donnaient des résultats différents, ce qu'ils ont reconnu par la suite. Dans ce cas on pourrait même parler de manipulations vraiment très très légères !
Bien sûr, il peut arriver que des études soient complétement bidonnés. Cependant ce problème est assez peu fréquent et est donc loin des proportions évoqués ici. Bien que réel, je ne l'ai pas mentionné pour insister sur le fait que, même en étant écrit de bonne foi et revu, bon nombre d'articles ne sont quand même pas reproductible. Ainsi, il n'est pas nécessaire de remettre en cause la bonne foi d'un auteur quand on remet en cause la véracité de son papier.
C'est plus clair comme ça en effet : même sans être complètement bidonnée il peut arriver qu'une expérience décrite et validée par des pairs ne soit pas reproductible pour d'autres raisons. Je trouve quand même qu'il y a une bonne part d'euphémisme dans ta réaction de cette anecdote parce quand le chercheur ne retient que les résultats qui correspondent à ce qu'il veut obtenir, tu appelles ça des "biais statistiques" ! Je dirais tout simplement que, dans beaucoup de cas, les chercheurs, même sans être de mauvaise foi, sont tellement obnubilés par le résultat qu'ils veulent obtenir qu'ils en oublient l'objectivité et ne sont pas suffisamment critiques sur les conditions de l'expérience pourvu qu'elle donne le résultat qu'ils attendent.
D'expérience, il n'est pas impossible que pour certaines expériences de Psycho de la fac (je dis bien certaines), certain sujet qui vont te plomber ta moyenne soit joyeusement "écarté", les données ne sont pas bidonnées, juste légérement arrangées ;-)
En même temps, en pyscho si je me souviens, la plupart des sujets restent les étudiants eux même...
Alors c'est un chouia plus compliqué que ça. Le cherry picking ou autre forme de p-hacking (référence à la p-value, la valeur statistqiue permettant de voir si un résultat est significatif ou du au hasard, et souvent fixé à 5%) n'est pas forcément anormal. C'est du au fait que dans de nombreuses expériences, il y a des paramètres qu'on ne contrôle pas et qui peuvent ruiné ce qu'on essaye de faire. On pourrait par exemple utilisé des électrodes sur des patients et avoir une électrode qui ne marche pas et enregistre un signal étrange (peut-être qu'elle était mal positionnée par exemple). Le soucis c'est que tout ce qu'on voit, c'est un signal étrange. On doit alors choisir de l'inclure ou de le retiré, et comme il semble très différent du reste des résultats, on va souvent le retirer en considérant que c'est une erreur. Pareil quand on a des données qui semblent suivre une belle relation linéaire avec une donnée qui s'en éloigne beaucoup : il est tentant de la supprimer en la considérant comme une erreur, et ca sera souvent le cas. Le soucis c'est que quand on fait tout le temps ça, et même quand on le fait à plusieurs étapes d'une analyse, on peut se retrouver à avoir des résultats non conforme avec la réalité qui décrivent la moyenne du groupe plus qu'un vrai phénomène. Du coup on part d'une utilisation complétement normal qui permet d'avoir des résultats interprétable et de faire des vrais prédictions, mais quand on en abuse on peut arriver à des résultats qui ne sont en fait valide que pour le groupe étudié.
On peut aussi penser au fait qu'on ne va pas considéré les absences de résultats, qui n'ont aucune valeur, bien que cela créé aussi un biais assez fort.
Enfin, il y a souvent une assez mauvaise utilisation des statistiques au sens large, mais c'est encore un problème différent.
Tout à fait, pour la psycho en particulier c'est un autre problème majeur : on prend souvent (pas toujours quand même, notamment pour les études avec une grosse cohorte) des sujets élèves de psycho, qui sont donc déjà biaisé et sensibilisé aux types d'expériences et de résultats attendu. C'est d'ailleurs un problème des expériences de psycho : il est parfois aisé de deviné le but de l'expérience, et le sujet va en général essayer d'être "utile" et de "bien répondre" renforçant l'effet qu'il croit avoir deviné. C'est pour ça que le vrai sujet est souvent noyé sous d'autres questions, pour éviter ce genre de réactions.
Selon moi, c'est à cause de ces éléments que la psycho est d'avantage touché que d'autres disciplines, plus qu'à cause d'un manque de rigueur des chercheurs du domaine.
En effet ton explication est un peu plus compliquée (et surtout plus détaillée).
Exactement, en fin de licence j'arrivais facilement à contourner les "distracteurs" et répondre dans le ton de l'expérience ! Question de fierté mal placé j'imagine, plus que pour être utile ;-) j'étais surement pas le seul d'ailleurs.
Bon, c'est derrière moi tout ca !
Exact. Celà m'est arrivé dans mon stage de fin d'études dans un centre de recherche.
J'avais des résultats à peu près cohérents qui démontraient un bel effet (en chimie) , à part 2 points qui ne "fittaient" pas du tout avec le reste des données (une bonne vingtaine).
Mon directeur de stage m'a tout simplement conseillé de les retirer. C'est en voyant l'horreur sur mon visage pour ce que je pensais être une manipulation de données, qu'il s'est mis à m'expliquer comment il peut arriver que certaines données doivent être retirées.
Il existe même des outils mathématiques permettant de repérer ces données aberrantes, qui sont parfois dues à des erreurs de mesure /manipulation, mais peuvent aussi être inhérentes au phénomène. L'analyse permettant de les supprimer ou de les garder dans la série de données n'est pas du tout automatique.
Tout le phénomène que tu décris peut quand même poser quelques problèmes. Ca a été le cas pour les fameux trous dans la couche d'ozone dont on ne parle aujourd'hui plus car le problème a été résolu.
Toutes les mesures atmospheriques des grands organismes était traitées par ordinateur et ces derniers retiraient automatiquement les valeurs aberrantes, ce qui fait qu'à part quelques hurluberlus qui dans leur coins ont commencé à sonner l'alarme personne ne se rendait compte du problème.
C'est une des raisons qui a fait qu'on a mis tant de temps à agir pour faire face à ce problème (mais au final on a agit avec beaucoup d'efficacité, d'ailleutsn'en déplaise à certains il s'agit de Reagan et Tatcher qui ont mené toute l'action politique la dessus)
Moi je pensais plutôt à l'exemple de l'expérience qui était censé démonter la "mémoire de l'eau". C'est ancien mais ça avait fait un peu de bruit à l'époque. C'était le professeur Benveniste qui prétendait qu'il avait pu démontrer que des dilutions tellement poussées qu'il n'y a plus aucune molécule de la substance diluée avaient quand même le même effet que si la substance était encore présente en quantité non négligeable. Et sa découverte avait été entourée de beaucoup de publicité (y compris au journal télévisé de 20h ce qui était très inhabituel pour de la recherche en immunologie, même si on a pris l'habitude maintenant de voir des immunologistes comme le professeur Raoult dans le journal de 20h) car ça faisait les affaires du laboratoire Boiron spécialisé dans l'homéopathie, qui est fondée justement sur ce principe de dilution tellement poussée qu'il n'y a plus une seule molécule de principe actif dans les granules homéopathiques (ou alors une ou deux molécules dans un carton contenant des milliers de tubes de granules). Il proposait même à ses détracteurs de refaire son expérience et ça marchait si on suivait exactement le même protocole : les cellules soumises à de l'eau "dynamisée" ayant été en contact avec un alergène tellement dilué qu'il n'en restait plus, réagissaient comme si elles étaient en présence de l'alergène alors que les cellules témoin ne réagissaient pas ! Et comme c'est justement ce qu'il cherchait à démontrer il ne s'est pas demandé pourquoi ces cellules seraient justement sensible à l'alergène qui l'intéressait plutôt qu'à n'importe quelle autre substance qui avait été dans les tuyaux ou dans les tubes à essai ou même dans le processus de fabrication des tubes à essai ou de filtration de l'eau, puisque l'eau était censée garder la mémoire de tout ! Et naturellement comme ça ne paraissait pas logique il y avait une explication que ses détracteurs n'ont pas tardé à trouver : les cellules réagissaient non pas à la mémoire de l'eau mais au réactif utilisé et comme on mettait le réactif sur quelques alvéoles contenant les cellules témoin baignant dans l'eau pure après l'avoir mis patiemment sur toutes les alvéoles contenant des celllules baignant dans l'eau "dynamisée", les cellules baignant dans l'eau dynamisée avaient le temps d'être attaquées par les réactif alors que les cellules témoin n'avaient pas encore réagi au moment où on constatait avec émerveillement la mémoire de l'eau et avant qu'on jette tout ça dans l'évier ! Le démenti a eu droit à moins de publicité si bien qu'il y a encore sûrement des gens qui ont entendu parler de la mémoire de l'eau et qui y croient !
Tu pourrais aérer un peu tes commentaires (retours à la ligne entre autres). C'est très instructif, mais au bout d'un moment, ça devient difficile à suivre.
Moi je pensais plutôt à l'exemple de l'expérience qui était censé démontrer la "mémoire de l'eau". C'est ancien mais ça avait fait un peu de bruit à l'époque.
C'était le professeur Benveniste qui prétendait qu'il avait pu démontrer que des dilutions tellement poussées qu'il n'y a plus aucune molécule de la substance diluée, avaient quand même le même effet que si la substance était encore présente en quantité non négligeable.
Et sa découverte avait été entourée de beaucoup de publicité (y compris au journal télévisé de 20h ce qui était très inhabituel pour de la recherche en immunologie, même si on a pris l'habitude maintenant de voir des immunologistes comme le professeur Raoult dans le journal de 20h) car ça faisait les affaires du laboratoire Boiron spécialisé dans l'homéopathie, qui est fondée justement sur ce principe de dilution tellement poussée qu'il n'y a plus une seule molécule de principe actif dans les granules homéopathiques (ou alors une ou deux molécules dans un carton contenant des milliers de tubes de granules).
Il proposait même à ses détracteurs de refaire son expérience, et ça marchait si on suivait exactement le même protocole : les cellules soumises à de l'eau "dynamisée" ayant été en contact avec un allergène tellement dilué qu'il n'en restait plus, réagissaient comme si elles étaient en présence de l’allergène alors que les cellules-témoin ne réagissaient pas !
Et, comme c'est justement ce qu'il cherchait à démontrer, il ne s'est pas demandé pourquoi ces cellules seraient justement sensible à l'alergène qui l'intéressait plutôt qu'à n'importe quelle autre substance qui avait été dans les tuyaux ou dans les tubes à essai ou même dans le processus de fabrication des tubes à essai ou de filtration de l'eau, puisque l'eau était censée garder la mémoire de tout !
Et naturellement, comme ça ne paraissait pas logique, il y avait une explication, que ses détracteurs n'ont pas tardé à trouver : les cellules réagissaient non pas à la mémoire de l'eau, mais au réactif utilisé ! Et comme on mettait le réactif sur quelques alvéoles contenant les cellules témoin baignant dans l'eau pure après l'avoir mis patiemment sur toutes les alvéoles contenant des cellules baignant dans l'eau "dynamisée", les cellules baignant dans l'eau dynamisée avaient le temps d'être attaquées par les réactif alors que les cellules témoin n'avaient pas encore réagi au moment où on constatait avec émerveillement la mémoire de l'eau, et avant qu'on jette tout ça dans l'évier !
Le démenti a eu droit à moins de publicité si bien qu'il y a encore sûrement des gens qui ont entendu parler de la mémoire de l'eau et qui y croient !
----
Je profite de cette mise en forme pour ajouter que le Pr Benveniste avait expliqué en direct au journal de 20h que la mémoire de l'eau "c'est comme si on trempait ses clefs dans la Seine à Paris et on pouvait ensuite faire démarrer sa voiture avec quelques gouttes d'eau prises dans la Seine à Rouen" ! Il n'y avait pas besoin d'avoir fait des études supérieures pour comprendre qu'il y avait forcément quelquechose qui clochait dans son raisonnement (et qu'il pensait pouvoir faire avaler n'importe quoi au journaliste qu'il avait en face de lui et plus généralement aux téléspectateurs).
Certes il y a eu, il y a et il y aura certainement certaines "études" frauduleuses, mais comme le dit très bien Khanos, c'est un tout autre problème dont il est question ici. Les fraudes sont casi négligeables en quantité relative -mais pas en impact, on est d'accord-, alors que la non reproductibilité concerne une proportion relativement importante des études. C'est un problème complexe, multi factoriel et hélas sans réponse simple. Bravo pour en avoir fait une anecdote et pour les commentaires !
Tout à fait. En plus les étudiants ne sont pas représentatifs de la population générale : âge, efficience intellectuelle, genre
Mais il y en a qui pensent sincèrement que "psycho" c'est une science ???
xkcd.com/435/
Bof, tu sais en physique on considère les mathématiques au même niveau que le double décimètre. Ce n’est qu’un vulgaire outil. :)
Tout dépend de quelle branche des mathématiques on parle, mais je suis totalement d'accord 80% de mathématiques ne sont que des outils pour la physique.
D'ailleurs je fais bien plus confiance à un physicien pour faire des maths plutôt qu'à un mathématicien pour faire de la physique.
Mais bon, il reste une partie des mathématiques pures, pardon fondamentales, qui reste purement mathématique et qui n'est pas un simple outil.
Oui, j'étais un étudiant de la psychologie et je le connais déjà. Beaucoup des experiment qui ont l'air très cool dans la presse ou journal sont en réalité des résultat des processus très stupides "scientifiques" qui n'ont pas la capacité de reproductibilité en fin de compte.