Black Belt Story

Les OGM influent-ils sur la mortalité des rats ? Est-ce qu’on peut décrocher le bac quand on s’appelle Kevin ? Est-ce que l’on vieillit moins vite si on mange des fruits ?

De la pratique de l’enfumage

Nous sommes submergés, dans les médias en général, et sur internet en particulier, d’études qui « démontrent » la causalité de certains aliments, comportements ou environnements. Comme la plupart des gens ne comprennent pas grand chose aux statistiques, il est alors tout à fait possible de les enfumer copieusement, et nous allons voir comment.

il y a trois sortes de mensonges : les petits mensonges, les gros mensonges et les statistiques » Mark Twain

Le principe des statistiques

Les statistiques permettent, par l’observation d’un échantillon, de tirer des conclusions sur une population. Par exemple, en observant un échantillon de 2000 personnes, on peut espérer en déduire des conclusions fiables sur une population de 60 millions de personnes.

Les résultats de l’échantillon sont observés. Ils sont donc certains. Mais comme on ne peut pas observer la totalité de la population, les statistiques vont permettre d’extrapoler, en se fixant un indice de confiance, 95% de fiabilité ou 99%.

Exemple : On prend un échantillon au hasard de 1000 français âgés de 20 ans. Leur taille moyenne est de 1,748 m. Peut-on affirmer que la moyenne de tous les français de 20 ans est de 1,748 m ? Non. On ne peut que déterminer un intervalle de confiance dans lequel se situera la moyenne.

Le point bleu est la valeur observée sur l’échantillon. les 2 traits verticaux délimitent l’intervalle dans lequel la moyenne de la population a 99% de chances de se situer. On affirmera donc que la taille moyenne de la population se situe entre 1,744 m et 1,752 m avec 99% de fiabilité.

Plus l’échantillon est important, plus l’intervalle de confiance sera petit, et donc précis. La puissance de l’échantillon est donc la capacité d’extrapoler de façon fiable une observation faite sur cet échantillon. Elle est déterminée par la taille de l’échantillon, l’écart-type, et l’indice de confiance.

Des légumes contre le vieillissement

Premier exemple : un article de Futura Sciences présente les résultats d’une étude publiée dans The Lancet, revue médicale de référence. On y explique que la longueur des télomères est influencée par le régime alimentaire. Les télomères sont (schématiquement) les extrémités des chromosomes qui raccourcissent au fur et à mesure que la cellule se reproduit. Quand cette longueur est nulle, la cellule meurt (apoptose).

Pour démontrer que les télomères raccourcissent moins vite quand on mange des légumes, l’étude a soumis 25 sexagénaires à ce régime. 10 autres (le groupe témoin) n’ont rien changé à leurs habitudes. Et ô suprise, le groupe qui a mangé des légumes a vu ses télomères plus longs de 3% en moyenne.

Peut-on déduire, avec une confiance de 95%, que sur la population complète des sexagénaires, cette augmentation de 3% se reproduirait si tous mangeaient des légumes ? Le calcul montre qu’il aurait fallu prévoir un échantillon de 164 hommes (et non 25) pour que l’on puisse l’affirmer. Autrement dit, les légumes augmentent peut-être la longueur des télomères, mais on ne pourra jamais l’affirmer avec un échantillon aussi petit. Match nul. A refaire.

Les effets des OGM sur les rats

Autre affaire très médiatisée : les effets du maïs OGM sur les rats. Etude menée par le Pr Seralini, et qui a conclu à l’action « irréfutable » des OGM sur le taux de cancer des rats. C’est là aussi peut-être vrai, mais cette « étude » est tellement bâclée qu’on en vient à se demander si son but n’était pas un simple « coup » médiatique. Si c’est le cas, c’est réussi, parce que côté statistiques, le nombre d’erreurs, d’omissions et de manipulations est considérable.

Seralini a pris 100 mâles et 100 femelles pour son étude. De chaque groupe de 100, il en a fait 10 groupes de 10. Les groupes 1 à 9 consommaient des repas à base de maïs OGM (11% pour le groupe 1, 22% pour le groupe 2, ajout d’eau avec des pesticides pour le groupe 3, etc). Le groupe 10 était nourri « normalement » (sans OGM, sans pesticide)

Le Pr Seralini « affirme » que les rats qui ont mangé du maïs transgénique ont développé plus de tumeurs que le groupe témoin, et sont morts plus vite. Cette race de rats ayant tendance à développer naturellement des tumeurs, l’affaire se complique. Donc, sans entrer dans les détails (facteur α, H0, test de Wilcoxon, etc) calculons !

Si cette race de rat a 60% de risques de développer naturellement une tumeur au cours d’une période donnée, et que l’on souhaite démontrer que les OGM augmentent ce risque de 10%, il aurait fallu que les groupes soient composés de 248 rats, et non 10 !

A partir des observations faites sur le groupe témoin, et en extrapolant, on trouve un intervalle de confiance tellement vaste que tous les autres groupes se retrouvent dans ce même intervalle. En d’autres termes, il est impossible de prouver quoi que ce soit.

Passons sur le fait que tout a été fait pour présenter les résultats les plus spectaculaires, au détriment de la rigueur, et de la connaissance statistique élémentaire. Etant donné le niveau de ces chercheurs, on ne peut donc que supposer qu’il s’agit de manipulation médiatique, et non d’incompétence.

Le Pr Seralini se défend en disant qu’il n’avait pas l’argent pour des échantillons plus importants. Sans doute ! Mais mieux vaut ne pas faire l’étude que de présenter des résultats tellement incertains qu’ils en deviennent risibles. Ce n’est pas grave, l’important est que tout le monde ait vu les photos de ces rats, et qu’on les ait associés aux OGM, le tout à la Une du Nouvel observateur !

Il y a peut-être une action des OGM sur la mortalité des rats. Peut-être. Mais rien, absolument rien dans les chiffres présentés ne permet de l’affirmer. Et tout cela (essentiellement) à cause d’échantillons trop petits, donc peu puissants. Match nul. A refaire.

Dans l’entreprise aussi…

Tu ne me chercherais pas, si tu ne m’avais déjà trouvé ».
Pascal. Les Pensées

De nombreuses études sont souvent faites au sein de l’entreprise pour « démontrer » l’influence de tel ou tel facteur sur les ventes, sur la marge, sur l’absentéïsme, etc.

N’oubliez pas que les statistiques ne donnent pas des certitudes. Elles fournissent des estimations avec un niveau de confiance associé (on vise en général 95% ou 99%)

Donc pensez à évaluer la puissance de l’échantillon et à le compléter si celui-ci s’avère trop faible pour confirmer ou infirmer votre hypothèse. Plutôt que d’affirmer des conclusions fausses, qui peuvent coûter très cher si elles servent à prendre des décisions !