Black Belt Story

Lors d’une mission chez un client doté d’un site e-commerce, mon interlocutrice m’annonce fièrement que « suite à l’enquête annuelle, le taux de clients satisfaits de nos délais de livraison est passé de 58% à 67% ». Conclusion logique : « on progresse fortement ».

L’analyse de cette responsable est-elle correcte ? Tout dépend du nombre de clients qui ont répondu. Dans ce cas, l’enquête était faite par téléphone auprès d’un échantillon de 92 clients dont 55 avaient accepté de répondre. Alors ? 55 répondants sont-ils suffisants pour annoncer à la Direction que l’on est passé de 58% à 67% ?

Sans jeter la pierre à qui que ce soit, car chacun fait de son mieux, on constate souvent une méconnaissance des règles qui régissent le choix des échantillons, et leur (énorme) impact sur les analyses futures, donc sur les décisions de l’entreprise.

Le principe de l’échantillon est simple : il s’agit de prélever « au hasard » une partie de la population. Pourquoi ? Parce que mesurer coute souvent très cher. Si la Fnac, Amazon, ou Renault devait appeler ses millions de clients au téléphone, pour avoir leur opinion, le coût serait astronomique. Il s’agit donc de se limiter à un échantillon des clients.

Encore faut-il que cet échantillon ne présente pas de biais.
C’est à dire qu’il soit sans défaut dans sa conception.

Le biais des échantillons

En 1936, le Literary Digest a appelé au téléphone 2 millions d’américains pour leur demander leur intention de vote. Il en a déduit que Roosevelt serait battu par Landon (55%). Avec un succès mitigé, puisque Roosevelt a été élu avec 61% des suffrages ! Pourquoi ? Parce qu’en 1936, le téléphone était un luxe, réservé aux classes aisées. On n’a donc pas interrogé des américains au hasard, mais des américains aisés.

Le célèbre « Rapport Hite » sur les pratiques sexuelles des femmes américaines, est parti d’un questionnaire de 100 questions, parfois très intimes, expédié à 100.000 américaines dont seulement 4,5% répondirent : groupes politiques féminins, associations pour les droits des femmes, associations professionnelles de femmes, et non à un échantillon aléatoire de femmes américaines. Les résultats ont donc été fondés sur un échantillon biaisé, c’est-à-dire de femmes ciblées qui souhaitaient suffisamment s’exprimer sur le sujet pour répondre à 100 questions, et uniquement celles-là.

Shere Hite, qui en était bien consciente, écrit d’ailleurs dans son rapport : « Une recherche qui ne s’appuie pas sur un échantillon choisi au hasard donne-t-elle le droit d’étendre les résultats obtenus à l’ensemble de la population ? Si l’échantillon est assez important, oui »

Eh bien non, c’est totalement faux. La taille de l’échantillon ne garantit absolument pas l’absence de biais. Imaginons que je décide de connaître la taille moyenne des hommes en France, et que j’envoie des enquêteurs avec des toises dans tous les clubs de basket de France. J’aurais bien mesuré 300.000 hommes mais cela n’empêchera pas mes conclusions d’être fausses.

Les biais sont difficiles à éviter, et il faut en être conscient. C’est ce que soulignent souvent les spécialistes de la relation client : seuls les clients très satisfaits ou très mécontents s’expriment. C’est aussi le cas pour les avis internet. L’échantillon est donc fréquemment biaisé et c’est le premier écueil à éviter.

Size does matter

Le deuxième critère dont il faut tenir compte est la taille de cet échantillon. On parle souvent d’échantillon significatif. Qu’est ce que cela veut dire ?

L’idée de base des statistiques descriptives est d’observer le contenu d’un échantillon (par exemple 100 clients) pour en tirer des conclusions sur la population (TOUS mes clients). Imaginons que j’adresse un questionnaire à 100 clients et que 60 d’entre eux déclarent me recommander.

Peut-on affirmer que 60% de TOUS mes clients sont prêts à me recommander ? Bien sûr que non. Le taux constaté dans l’échantillon ne présage pas du taux réel, c’est à dire si j’interrogeais TOUS mes clients. Cependant, on peut affirmer que le taux de clients prêts à me recommander se situera AUTOUR de 60%. Reste à préciser ce qu’on entend par « autour ». Calculer ce « autour »,  c’est calculer l’intervalle de confiance (IC), c’est-à-dire l’intervalle dans lequel, on est quasiment assuré (à 95%) de trouver le taux réel.

Reprenons notre premier exemple. Sur une base de 55 clients répondants, 37 ont déclaré qu’ils étaient satisfaits du délai de livraison, soit 67%. L’intervalle de confiance (simple à calculer) se situe entre… 53% et 79%. C’est-à-dire qu’avec cet échantillon de 55 clients, la seule conclusion véritablement rigoureuse à annoncer au PDG est que le taux de clients satisfaits du délai de livraison se situe quelque part entre 53% et 79%.

Le patron vous répondra probablement qu’une fourchette aussi vaste n’a aucun intérêt. Et il aura raison. car il se peut même que le taux réel ait diminué en dépit des apparences ! C’est pourquoi personne ne présente jamais les intervalles de confiance en comité de direction. Trop risqué !

Bon, alors, combien ?

La question qui se pose est donc : « Ok, 55 c’est trop peu. Mais il aurait fallu en interroger combien pour être fiable ? ». Pour cela, on va transformer cette notion de « fiabilité » en notion de « marge d’erreur acceptable». On dira par exemple : « Je veux estimer le pourcentage de clients satisfaits des délais de livraison, avec une marge d’erreur maximale de 3 points. Quelle doit être la taille de mon échantillon ? »

Ce qui signifie qu’on accepte d’avoir une marge d’erreur limitée. Donc ± 3% dans notre cas. Il existe plusieurs façons de calculer des tailles minimales d’échantillon. Dans le cas qui nous intéresse, on peut par exemple utiliser la formule de Cochran.

– où p représente la proportion estimée. Dans notre cas, on partirait sur la dernière proportion connue (58%, soit 0,58). Si on ne la connaît absolument pas, par exemple si c’est la première fois que l’on mène l’enquête, on prendrait 0,50
– m est la marge d’erreur acceptable. Ici ±3%, donc m=0,03
– t est une constante (pour simplifier) qui vaut 2 (la vraie valeur est 1,96 pour un IC de 95%)

Donc cela nous donnerait 2² x 0,58 x (1-0,58) / 0,03² = 1082 répondants.

Il faudrait évidemment majorer ce chiffre puisque tous les clients ne vont pas répondre. En récupérant 1082 questionnaires, on pourra préciser le taux de clients satisfaits des délais, avec une marge d’erreur de 3 points. On a ainsi considérablement réduit l’intervalle de confiance. Évidemment, il n’est pas toujours possible de collecter autant de questionnaires. Il faut donc trouver le point d’équilibre entre précision et coût de la mesure. Par exemple, si l’on accepte une marge d’erreur de ±5% et non de ±3%, la taille de l’échantillon passe de 1082 à 389 !

On constate enfin que la taille minimale d’un échantillon ne dépend pas de la taille de la population. Que vous ayez 5000 clients ou 30 millions, la taille de l’échantillon reste la même. Cela peut sembler contre-intuitif, mais si vous utilisez une cuillère pour goûter une soupe, que la soupe soit dans une casserole ou une citerne ne change pas la taille de la cuillère.

 

Sources annexes :
Etude sur le rapport Hite. Pierre Duchesne. Aout 2017.
Méthode de Cochran. Wikipedia.
Les Femmes et l’amour. Un nouveau rapport Hite (1988)