Bravo à Khanos qui remporte le grand chelem en étant l'auteur de l'anecdote et des 3 commentaires les mieux notés ! Ça ne doit pas être facile à reproduire, ça non plus !

Khanos a écrit : Alors c'est un chouia plus compliqué que ça. Le cherry picking ou autre forme de p-hacking (référence à la p-value, la valeur statistqiue permettant de voir si un résultat est significatif ou du au hasard, et souvent fixé à 5%) n'est pas forcément anormal. C'est du au fait que dans de nombreuses expériences, il y a des paramètres qu'on ne contrôle pas et qui peuvent ruiné ce qu'on essaye de faire. On pourrait par exemple utilisé des électrodes sur des patients et avoir une électrode qui ne marche pas et enregistre un signal étrange (peut-être qu'elle était mal positionnée par exemple). Le soucis c'est que tout ce qu'on voit, c'est un signal étrange. On doit alors choisir de l'inclure ou de le retiré, et comme il semble très différent du reste des résultats, on va souvent le retirer en considérant que c'est une erreur. Pareil quand on a des données qui semblent suivre une belle relation linéaire avec une donnée qui s'en éloigne beaucoup : il est tentant de la supprimer en la considérant comme une erreur, et ca sera souvent le cas. Le soucis c'est que quand on fait tout le temps ça, et même quand on le fait à plusieurs étapes d'une analyse, on peut se retrouver à avoir des résultats non conforme avec la réalité qui décrivent la moyenne du groupe plus qu'un vrai phénomène. Du coup on part d'une utilisation complétement normal qui permet d'avoir des résultats interprétable et de faire des vrais prédictions, mais quand on en abuse on peut arriver à des résultats qui ne sont en fait valide que pour le groupe étudié.
On peut aussi penser au fait qu'on ne va pas considéré les absences de résultats, qui n'ont aucune valeur, bien que cela créé aussi un biais assez fort.
Enfin, il y a souvent une assez mauvaise utilisation des statistiques au sens large, mais c'est encore un problème différent. Afficher tout Il y a un autre effet ! Certains auteurs ne veulent pas être reproduits.

Durant ma thèse (en électronique), j'ai écrit plusieurs articles décrivant mes résultats. Lors des révisions, mes superviseurs m'ont demandé plusieurs fois de supprimer des paramètres expérimentaux relatifs à mes expériences que je donnais dans les brouillons des articles. Dans les versions finales et publiées, on a supprimé certains paramètres.

Au début ça m'a choqué. Après j'ai compris.

Le but est d'être sûr que mes résultats préliminaires ne soient pas copiés ailleurs. Mais il faut tout de même communiquer le plus vite possible sur ce que je faisais pour être sûr d'être le premier à publier la dessus. Le premier est plus invité en conférence, a plus de citations, plus de reconnaissance, plus de bourses, plus de budget. On revient tjrs à l'argent.

Écrire un article devient un subtil mélange entre "donner assez de détails pour être crédible et compris" et "ne pas en donner assez pour ne pas être copié".

Ça ne rend pas mes articles faux. J'imagine ne pas être le seul dans ce genre de situation.

Petite réponse globale :

@raean : oui le cas de la mémoire de l'eau est fameux et assez triste. J'avais entendu dire que les résultats n'étaient reproduit que quand un des assistants était présent. En tout cas, comme suggéré ailleurs, si c'est effectivement un problème, il reste minoritaire par rapport à l'ensemble des articles non reproduits.
Et merci pour cette reconnaissance de grand chelem ^^

@Agathe, oui, socio et psycho sont clairement des sciences. Et si c'est plus discutable pour les maths, c'est clairement un outil merveilleux. Parfois j'aimerai en avoir fait un peu plus, mais en général l'utilisation "à la physicienne" me suffit (hein, est ce que j'ai vérifié si j'avais le droit d'appliquer ça ? Bah je l'ai appliqué et ca marche, ça va non ?").

@Viwk : Oui tu as raison, ça, ça touche pour moi à un problème lié à la pression de publication et au fonctionnement de la recherche dans son ensemble (même si ça dépend pas mal des domaines, il y en a d'autre où cacher des infos n'est pas très utile). Ceci étant dit, une fois que l'article est publié et que tu as pu exploité ce que tu voulais, normalement, tu devrais avoir gardé tout tes paramètres de coté et être en mesure de les fournir si on te le demandait plus tard. C'est à ce moment la qu'on pourra voir si l'article est réplicable ou non.

raean a écrit : Moi je pensais plutôt à l'exemple de l'expérience qui était censé démontrer la "mémoire de l'eau". C'est ancien mais ça avait fait un peu de bruit à l'époque.

C'était le professeur Benveniste qui prétendait qu'il avait pu démontrer que des dilutions tellement poussées qu'il n'y a plus aucune molécule de la substance diluée, avaient quand même le même effet que si la substance était encore présente en quantité non négligeable.

Et sa découverte avait été entourée de beaucoup de publicité (y compris au journal télévisé de 20h ce qui était très inhabituel pour de la recherche en immunologie, même si on a pris l'habitude maintenant de voir des immunologistes comme le professeur Raoult dans le journal de 20h) car ça faisait les affaires du laboratoire Boiron spécialisé dans l'homéopathie, qui est fondée justement sur ce principe de dilution tellement poussée qu'il n'y a plus une seule molécule de principe actif dans les granules homéopathiques (ou alors une ou deux molécules dans un carton contenant des milliers de tubes de granules).

Il proposait même à ses détracteurs de refaire son expérience, et ça marchait si on suivait exactement le même protocole : les cellules soumises à de l'eau "dynamisée" ayant été en contact avec un allergène tellement dilué qu'il n'en restait plus, réagissaient comme si elles étaient en présence de l’allergène alors que les cellules-témoin ne réagissaient pas !

Et, comme c'est justement ce qu'il cherchait à démontrer, il ne s'est pas demandé pourquoi ces cellules seraient justement sensible à l'alergène qui l'intéressait plutôt qu'à n'importe quelle autre substance qui avait été dans les tuyaux ou dans les tubes à essai ou même dans le processus de fabrication des tubes à essai ou de filtration de l'eau, puisque l'eau était censée garder la mémoire de tout !

Et naturellement, comme ça ne paraissait pas logique, il y avait une explication, que ses détracteurs n'ont pas tardé à trouver : les cellules réagissaient non pas à la mémoire de l'eau, mais au réactif utilisé ! Et comme on mettait le réactif sur quelques alvéoles contenant les cellules témoin baignant dans l'eau pure après l'avoir mis patiemment sur toutes les alvéoles contenant des cellules baignant dans l'eau "dynamisée", les cellules baignant dans l'eau dynamisée avaient le temps d'être attaquées par les réactif alors que les cellules témoin n'avaient pas encore réagi au moment où on constatait avec émerveillement la mémoire de l'eau, et avant qu'on jette tout ça dans l'évier !

Le démenti a eu droit à moins de publicité si bien qu'il y a encore sûrement des gens qui ont entendu parler de la mémoire de l'eau et qui y croient !

----

Je profite de cette mise en forme pour ajouter que le Pr Benveniste avait expliqué en direct au journal de 20h que la mémoire de l'eau "c'est comme si on trempait ses clefs dans la Seine à Paris et on pouvait ensuite faire démarrer sa voiture avec quelques gouttes d'eau prises dans la Seine à Rouen" ! Il n'y avait pas besoin d'avoir fait des études supérieures pour comprendre qu'il y avait forcément quelquechose qui clochait dans son raisonnement (et qu'il pensait pouvoir faire avaler n'importe quoi au journaliste qu'il avait en face de lui et plus généralement aux téléspectateurs). Afficher tout Merci pour la mise en page.
J’avoue que pour le premier jet, j’ai eu du mal à comprendre.
Mais là impeccable

La reproductibilité en sciences humaines poserait la question de l'influence de l'observateur... Et de l'éthique par conséquent. Peu d'études peuvent s'exercer sur des grands échantillons et produire des résultats statistiques reproductibles. Elles décrivent et analysent des phénomènes réels mais ne le peuvent faire qu'en sélectionnant l'échantillon selon le phénomène observé :
Par analogie, c'est comme le (vieux) slogan FDJ : "50% des gagnants ont tenté leur chance"... Si vous voulez décrire les trajectoires biographiques des gagnants, vous n'observez pas tous les joueurs mais tous les gagnants. Et l'étude produite sera sur un échantillon trop petit pour être reproductible et rendre prévisible (même statistiquement) la biographie du prochain gagnant.
Et si le prochain gagnant correspondait à l'observation précédente, il faudrait envisager que l'étude a pu influencer sur son agir.
En sciences dures, il serait inversement inquiétant que la statistique soit changée sensiblement et on soupçonnerait rapidement soit un biais d'observation de l'étude soit une intervention extérieure postérieure

D422 a écrit : La reproductibilité en sciences humaines poserait la question de l'influence de l'observateur... Et de l'éthique par conséquent. Peu d'études peuvent s'exercer sur des grands échantillons et produire des résultats statistiques reproductibles. Elles décrivent et analysent des phénomènes réels mais ne le peuvent faire qu'en sélectionnant l'échantillon selon le phénomène observé :
Par analogie, c'est comme le (vieux) slogan FDJ : "50% des gagnants ont tenté leur chance"... Si vous voulez décrire les trajectoires biographiques des gagnants, vous n'observez pas tous les joueurs mais tous les gagnants. Et l'étude produite sera sur un échantillon trop petit pour être reproductible et rendre prévisible (même statistiquement) la biographie du prochain gagnant.
Et si le prochain gagnant correspondait à l'observation précédente, il faudrait envisager que l'étude a pu influencer sur son agir.
En sciences dures, il serait inversement inquiétant que la statistique soit changée sensiblement et on soupçonnerait rapidement soit un biais d'observation de l'étude soit une intervention extérieure postérieure Afficher tout Sauf que c'est 100% des gagnants qui ont tenté leur chance (aussi bien dans le slogan que dans ce qui est dicté par la logique).