Pour les généticiens du monde entier, Excel est un vrai cauchemar. Le logiciel est à l'origine d'un nombre important d'erreurs, car il convertit les noms de certains gènes, comme "MARCH1" en dates (1-Mar). Environ une publication scientifique sur 5 en fait les frais, et la solution la plus simple a donc consisté à renommer des dizaines de gènes.
Nos applications mobilesFacebookTwitterFeeds16394 anecdotes - 232 lecteurs connectés
Le site pour briller en soirée
Tous les commentaires (74)
Je ne sais pas pourquoi les scientifiques ont choisi cette solution, mais je sais pourquoi ils n'ont pas choisi les différentes solutions évidentes proposées en commentaire de cette anecdote. Toutes les solutions évidentes qui peuvent être trouvees en 2 min après avoir lu l'anecdote avaient bien sûr déjà été envisagées et si elle n'ont pas été retenues c'est pour... une bonne raison.
Ce n'est peut-être pas le cas ici, mais les situations de sérendipité sont (très ?) nombreuses alors pourquoi pas.
En effet ce n'est pas le cas ici, car croire qu'en 20 ans sur des milliers de personnes qui ont été confrontées au problème, il n'y en aurait pas eu une seule qui aurait pu penser à la solution basique de fonctionnement d'Excel ou de choix de logiciel à laquelle on a pensé en 2 min sans rien connaître du contexte, n'est pas une manière de forcer la sérendipité.
Coluche avait trouvé : il ont qu'à manger... (Le peuple a faim..."on peut pas"... Bah forcez vous !)
Tous les professionnels qui travaillent avec Excel ont été confronté à ces difficultés.
Il est a priori simple de gérer une feuille et une version du logiciel et des les configurer comme on le souhaite (je dis bien a priori). Mais dès lors qu'on multiplie le nombre d'intervenants, de feuilles, de version du soft, de version de sauvegarde, de langues.. tout se complique.
Dans cet exemple une grande quantité de données vont être traités par différents intervenants. Les fichiers vont être fusionnés, agrégés. Les données copier/coller. On ne peut absolument pas se reposer sur le formatage de cellules, feuilles, fichiers. On ne peut pas non plus imposer de règles aux utilisateurs qui travaillent pour différents organismes, sociétés, pays. Ils font tous au mieux de leur possibilités, capacités et connaissances.
Étant donné que la solidité d'une chaîne repose sur celle du plus faible de ses maillons il faut prendre le problème à la racine et mettre en place des solutions "idiot proof". Une sorte de nivellement par le bas. Pas super satisfaisant mais terriblement pragmatique et efficace.
Et un conseil aux jeunes qui se pensent plus malin que des professionnels aguerris.. humilité et remise en question ;)
Généticien depuis presque 10 ans, je peux témoigner que cela ne m'est jamais arrivé.
Juste les deux cents: suis plus "jeune" mais grande quantité de données et excel je comprends pas... Et j ai bossé avec les premières versions d Excel et même vp planner, lotus 123 etc...(suis vieux mais pas a ce point : j ai commencé jeune ;)
Me rappel même avoir géré ma collection de timbres avec Works... Ça passait pas en nombre de lignes :(.
Excel de nos jours c'est un millions de lignes... Mais au delà de 50,000 on commence à penser à base de données...
En fait on revient tjs a l outils: oui je peux percer ma dalle béton avec un burin et un marteau...mais c est plus facile et rapide avec une perceuse hydraulique. En informatique c est pareil: on fait la même chose avec une pelle qu avec une pelleteuse... Mais si le trou est gros, on oublie la pelle non ? Bah excel c est pas mieux. Super sur les petits trucs mais quand on voit qu on atteint les limites on passe à plus adapté. (Sujet qui visiblement passionne les foules ;)
Limite par ex d Excel :1900.... Je connais des centres de gériatrie ou ça posait problèmes il y a une vingtaine d années avec leurs centenaires...
Voilà.. du coup on décide contre toute vraisemblance que ce sont tous des cons ? Ou on se dit qu'on a peut être pas bien cerné le problème ? ^^
Un grand nombre de données ça peut par exemple être un fichier de quelques 100enes de lignes envoyé mensuellement par chaque établissement médical du pays, puis collecté au niveau européen voir mondial.
Difficile d'imposer ta super base de données à tous les établissements médicaux du monde, publics comme privés.. enfin tant que tu ne t'appelles pas Bill Gates. Donc si tu veux faire des stat tu fais avec ce qu'on te fourni, des fichiers Excel.
C est bien le soucis.. la tu parles d'échanger des données... Dans ce cas tu prends un format "neutre" codifié type csv ou mieux (XML,Jason,...)
Tu imposes pas le logiciel/base de donnée mais le format d échange oui.ex, aux usa les données médicales ont un "standard":HL7. C est du texte codifié (genre csv++).
Même la sécu en France a un format non excel pour échanger les infos: excel est un "mauvais" format d échange de données.
Car le format évolue (quelle version d'excel ? Dates qui démarrent en 1900 ou 1904? Compressé (xslb)? XML ? Version ? ? Dans 10 ans excel existera t il encore ?)
Ensuite excel a un soucis de fond: c'est plus volumineux (si tu prends pas le xlsb), d'autant que ça contient aussi l'historique de tes modifications....
Bref le débat est un peu stérile je maintiens: d un côté des personnes qui ne sont pas informaticien et n'ont pas été formés et font "au mieux" et de l'autre des gens dont v est le métier qui "sachons"... Perso je pense pas ouvrir un resto après avoir regardé top chef (et pourtant certains le font) mais ça "suffit" pour bien faire à manger (j exagéré j' ai jamais regardé top chef ;)). Mais je pense pas que ça suffise pour ouvrir un resto.
Dans mon milieu (banque) on récupère parfois du "shadow it" c'est a dire des trucs faits par des gens pour faciliter leur "tâche" et très souvent en Excel... Et dans ce cas, c est très rare qu on garde l excel. Y a peut être une raison pour qu'on réécrive tout? Et ça va dans le même sens que ceux qui disent "les scientifiques calés s ils prennent excel tu vas pas résoudre leur problème en 5 mn dans un commentaire". Bah si, si c'est ton métier tu peux: je suis sur que les geneticiens n'utilisent pas tous excel: j en connais (chercheur en cytologie et généticiens). Et en l occurence ils ont commencés sur excel, vu les limites et on fait leur base de données, voir achetés des produits pour gérer cela de manière plus adaptée(y a des logiciels pour ca aussi)
Ça ne veut pas dire "tous des cons" ni mal cerné le problème. Ça veut simplement dire que ce n est pas leur métier (informatique au sens large), c est des "power users" comme ont dit jargon.
Quand tu commences à vouloir échanger de l'information a grande échelle tu commences à entrer dans un autre domaine (ici génétique) et t'arrives dans un autre domaine qui est l'informatique. Pareil que la cuisine...
Désolé long laïus, mais j'ai du mal avec les arguments d'autorités genre "s'ils font ça, c est leur métier et en plus sont chercheurs donc pas des cons donc c'est pas un Pékin qui va leur apprendre un truc." Tout est bon est dans le raisonnement sauf a partir du "donc" car là on parle pas de leur domaine de compétences (que certains ont sans aucun doute mais m'etonnerait que ceux la aient le prob avec excel) sinon il n'y aurait pas autant d erreur lié à Excel tout simplement.
D'autant plus que changer tout un système est particulièrement pénible. Pour avoir été temoin d'une migration d'une simple application d'un langage vers un autre, c'est un énorme projet qui nécessite de passer au crible le code et parfois de changer des outils. Une autre difficulté est que cette profession semble habituée à manier Excel ce qui poserai problème à l'utilisation. Donc au delà du simple problème de format, c'est un système dans son intégralité qu'il faut changer. Pas simple lorsqu'il existe depuis bien des années.
Je vais essayer d'exprimer mon point de vu différemment.. Ce que tu proposes a du sens et c'est quelque chose comme ça qui mériterait d'être fait dans un monde idéal.
Mais ce qui est efficace en petit groupe et entre spécialistes ne l'est pas avec une grande population hétérogène.
Envisages les efforts nécessaires pour imposer une logique de ce genre à un grand nombre de personnes/profiles divers et variés travaillant pour un grand nombre d'organismes disséminés aux 4 coins du monde. Efforts, temps, argent...
Et quand bien même on essayerait on ne se prémunirait pas contre les erreurs. Ce qui nous renverrait au problème de base.
Dans ces cas là, comme souvent, prendre le problème à la racine reste la meilleure option. Même si ça peut paraitre "over the top" ça reste une approche terriblement pragmatique et efficace.
En fait la question est "quel est la racine du problème". A mon sens c est la saisie dans excel pas adaptée. Donc soit effectivement on met les cellules au format texte comme suggéré par quelqu'un, où on saisit avec un apostrophe simple devant le nom...et cela devrait fonctionner (cela peut arriver qu excel continue quand un même d interpréter un texte en nombre ou date...) Soit en effet, on change le format de saisie/stockage ;)
Après je suis d'autant plus sensible aux arguments de "projet"+conduite de changement (j'ai fait plein de refactoring dans ma carrière...et la justement je gère une migration d'outils...) Néanmoins, le "pire" dans ce cas là restent:
1- les gens... Réfractaire au changement et pour compenser cela il faut penser à trouver des "choses" où ils voient qu'ils vont gagner du temps (raccourcis de saisie, prefill des champs de saisie, rapidité de calcul amélioré...bref n importe quoi qui réduit leur charge de saisit pour qu'ils voient un intérêt personnel)
2-techniquement ou cela peut être compliqué/cher de remplacer un système simple et quasi gratuit par une appli plus adaptée ou un développement. Mais ce dernier point reste un faux problème : ce n:est qu une question de compétences, calcul de "roi"(return on investment) en terme par ex de temps gagné sur la saisie (point 1) ou sur la qualité des données (roi d image, temps de retraitement des données en amont etc)
Bref mon point est le suivant: la vie est simple, c est les gens qui la rendent compliqué (notamment en mettant en avant les problèmes/blocages sans pour autant valoriser les gains du changement... Qui doivent alors être évidents et qui dans ce cas me semblent classiques.
Et je maintiens: oui certes sur internet, les gens jugent en deux min sans avoir toutes les données, sans forcément être experts etc.. mais la, avec l énoncé de l anecdote et les sources... Clairement n'importe quel chef de projet/informaticien un peu expérimenté connait ces problématiques (bien pire d ailleurs sur les problématiques de langues et autres encoding, sans compter les problématiques réseau& sécurité pour les échanges)
Equipe au 4 coins du monde ? Ils échangent bien des fichiers, pourquoi pas de l information/nouvelles normes ?
Une norme ça se met en place et ensuite ça évolue. Faut bien que quelqu un commence un jour (la France est très en retard par ex sur l echange des données médicales par rapport aux usa... Même si HL7 (Health level 7)est pas une panacée... A cause justement des interprétations des informaticiens cette fois ^^)
Et je parle d hl7 simplement car il me semble que l échange de données de recherches est prévu dedans (ça fait longtemps et y a vraiment bcp de pages...)
Effort/temps etc ? : Calcul simple de roi individuel et collectif.
Se prémunir des erreurs ? Ça certes.. mais on peut les limiter (par ex en contrôlant informatiquement que la saisie correspond à un set de valeur attendues)
Ici je prêche pour ma paroisse: faire,défaire refaire assure a nous (informaticiens) le plein emploi ;)
Ensuite et pour finir, dans ce genre de cas (gestion de différents formats pour échanger des données) on utilise une "interface engine" qui s occupe de convertir des formats/protocoles d échange en un type dans un autre, avec rapport d erreurs. Dans ce dernier cas même plus besoin de conduite du changement (ou peu) mais le programme contrôle alors à la conversion la validité des données (ce genre d outils de développe ou s'achète)
Allez je range mon masque de Zorro, voulais juste défendre ceux qui comprennent pas que le problème se réglerait avec des cours sur excel: oui ça peut être plus compliqué que juste de former les personnes a excel, mais non désolé pour les détracteurs, il y a quoiqu il arrive des façons de réduire cet énorme pourcentage d erreur même a pas trop "cher" en se penchant sur le problème d'un point de vue informatique seulement.
->il faut bien que les gens comme moi mangent ;?)
PS : "over the top" est un super film avec Stallone de mémoire. ^^(super car le seul film a ma connaissance basé sur les bras de fer... Et oui c est une blague)
Tu appliques la méthode "Agile" ? ^^
:-D, merise, uml, cmmi, agile... Euh n importe tant qu'il y a une méthode^^
Après agile..tu parles de quelle "sous méthode et quel framework ?! ;)
Je veux dire bdd, fdd,XP, ...?(méthode)
SaFe,LeSS,scrum,kanban,...?(framework)
Et oui j'ai bien compris l'ironie (et ça me fait rire car clairement y a beaucoup de "bullshit" et l'agilité...hum y a des trucs qui me font bien rire. Après cela reste " bien" pour faire évoluer un programme a mon sens, pas pour concevoir un process, nouveau truc de rien...)
Mais bon c'est pas le thème (la méthodo) dommage car y en a des trucs rigolo a dire sur le sujet également ;)
(T as bien deviné..t es dans le coeur de mon métier actuel ^^)
PS: j ai oublié la solution évidente a l'anecdote: passer son excel en français ! March1 est traduit par excel en date... Sur un excel anglais. Pas en français ! Mars1 est traduit en date sur un français. Sont bêtes, s'ils mettent leur excel en russe, je pense qu'il n'y aura plus de soucis?(a tester, je contrôlerai le cahier de recette^^)
Pour être honnête, j'ai ÉNORMÉMENT d'aprioris dès qu'on me parle de mettre en place une méthode agile avec un "coach" agile afin de mettre de l'agilité dans les process.
Il y a surement du bon dans beaucoup de méthodes, mais quand j'en entends parler j'ai l'impression d'avoir en face de moi le top 1 du bullshit job. Et quand j'évoque le fait que ça ressemble beaucoup à du bullshit, on me rétorque que je n'ai pas saisi l'agilité du concept agile... À force d'entendre ce mot, j'ai l'impression d'avoir affaire au Cirque du Soleil qui eux effectivement sont agiles.
Après c'est certainement utile quand on travaille en flux tendu pour sortir un produit ou un jeu vidéo et éviter les "crunchs", mais pour le reste.... bref surement la vieillesse qui me fait devenir réticent au changement ou à l'innovation.
On dérive. Mais non, tu as pas totalement tort... Premier court Agile : les principes...et la on te fait jouer avec des legos ou des avions en papiers(et tout le monde est pas doué a faire des legos ou des pliages...là tu t aperçois que certains ingénieurs ont dû rater leur maternelle ;))
Comme tout process y a du bon et du mauvais clairement. Le problème est souvent une entreprise choisit un formalisme/méthode et tout devrait y passer...bah non. Demande au x coach comment ils concevraient un modèle de base de données en première forme normale avec des demandes d évolutions au compte gouttes qui revisitent la structure a chaque fois... A la fin ta base ressemble à rien et devient inexploitable.
En contre partie va expliquer a un client qu il aura son champs libre en plus dans 6 mois a la prochaine release... Même si ça prend 5 minutes à développer.
Bref a chaque outils son utilité a mon sens...et l agile répond à certains besoins, pas tous. Et inversement sur d autres méthodo.
Après coach agile est pas le numéro 1... Mais clairement il a sa place dans le top...
Bon aller, vais aller faire un R.O.T.I.(return on Time invested) sous forme stand-up meeting (les culs de jatte sont bien sûr pas recruté dans l'équipe tant pis pour l'inclusion handicap ;) sur l utilité de faire un roti ;)
Tu as quand même oublié un élément très important à prendre en compte dans tout projet informatique et encore plus quand il y a un existant et c'est donc que c'est un projet de migration, et sur lequel ceux qui pensent avoir résolu le problème en 2 minutes ont allègrement sauté à pieds joints : la population d'utilisateurs concernée ! C'est facile de tout unifier quand il y a une structure et un peu de volonté du management, au sein d'une entreprise ou d'un groupement (comme par exemple Amadeus pour les réservations de vols d'avion qui normalise absolument tous les échanges entre toutes les compagnies du monde, ou d'autres organismes pour tout ce qui concerne les échanges entre banques, par exemple, et qui expliquent pourquoi ça fonctionne si bien). Mais en l'occurrence, il n'y a pas d'autorité qui chapeaute tous ces généticiens. Certains travaillent pour des grands labos avec un département informatique puissant qui peut tout normaliser si besoin, mais il y a aussi de petites structure indépendantes, des universités plus ou moins bien équipées, et même des doctorants qui analysent leurs données et rédigent leur thèse sur leur ordinateur portable dans leur chambre d'étudiant ! Alors ceux qui croient qu'il serait facile de pouvoir imposer quoi que ce soit comme norme ou logiciel se fourvoient complètement. Et ceux qui envisagent des solutions spécifiques à Excel n'ont pas testé les échanges entre plusieurs équipes qui n'utilisent pas forcément toutes Excel et ils seraient surpris du résultat après ne serait-ce qu'un aller et retour entre une équipe qui utilise Excel et une qui utilise un autre logiciel : ils seraient probablement dégoutés de constater que les apostrophes qu'ils ont mis patiemment devant chaque nom de gène ont tous disparus et que tout est à refaire ! Et ils seraient encore plus dégoûtés s'ils n'ont pas pensé à revérifier leurs données suffisamment souvent et notamment après chaque échange et que l'étude est publiée avec des erreurs ! Mais ça ne mettrait pas forcément fin à leur carrière de résolution des problèmes en 2 minutes, il y a bien des télévangélistes très connus, qui ont poursuivi leur lucrative carrière après avoir été convaincus d'adultère et même de relations homosexuelles (ce qui n'est pas un problème en général, sauf si l'intéressé gagne justement sa vie en faisant des sermons qui condamnent ce genre de relation et qui promettent les pires châtiments aux fautifs), et s'en sont tirés sans dommage en faisant simplement une confession larmoyante en direct dans leur émission de télévision !
Oui plus facile avec une structure et des fonds. Néanmoins pour reprendre l'exemple d HL7 dont je parlais, il a été adopté par quasi tout le monde, alors qu en réalité ce n'est pas vraiment une norme mais plutôt une préconisation(souvent mal interprétée d'ailleurs) Et quand je dis "tout le monde" je parle aussi de micro structures disséminés dans tout le pays...
En l occurence, la plupart des chercheurs ne sont pas dans une petite structure "au dessus*. Ils dépendent d un ministère non? Il faut des fonds (même minimes et oui ces fonds sont de plus en plus privés/capitalisés) et donc une structure qui pourrait préconiser un format d échange. Les chercheurs vivent pas de science et d'eau fraîche. J ai dit préconiser, pas imposer... Avec le temps si les gros labo, l état etc l adoptent, ça se ferait naturellement sur plusieurs années.
Dire juste "pas possible" car trop indépendants pas assez de moyens...je comprends pas: les programmes doivent évoluer, c est leur nature car le matériel et les sorts évoluent. Personne a dit que ça serait facile, surtout pas moi, mais pour sur on va rester avec 20% d erreur si on se contente de dire "pas possible". Sur que ça changera jamais.
Amen(pour les évangélistes ;))
Je suppose que changer le format des dates ne répondait pas aux soucis rencontrés, j’ai du mal a croire que les chercheurs n’ont pas exploré cette solution (Ou bien utiliser une table de correspondance). Je suppose aussi que des experts excel ont été contacté pour leur expertise avant de changer les noms. mais je me trompe peut-être...
La plupart des pro ne sont pas sous mac, du moins dans l’industrie bancaire et informatique que je connais plutot bien :)
Apple est très bien pour un usage domestique, mais pour un usage pro, windows et linux restent de meilleurs outils. C’est un long debat mais c’est mon retour d’experience :)
En outre, lorsqu’on achete un laptop a 300€ ds une grande surface, il ne faut pas s’attendre a une bete de course, comparable a un mac a 1500€. Il est donc difficile de comparer les os d’apple et Microsoft (ex : dacia versus mercedes). Par contre les laptop professionnels avec MS sont de très bonne qualité, mais le budget est supérieur.
Effectivement le packoffice existe bien pr mac (et fonctionne correctement), et excel reste à mon sens bien mieux que le tableur d’apple.