Intervalle de confiance

Parce qu’un taux mesuré sur cent visites et un taux mesuré sur dix mille n’ont pas la même fiabilité, et rien ne le montre si l’on n’affiche que le pourcentage.

Sur cent visites, un taux de 3 % repose sur trois conversions. Une de plus ou de moins déplace le chiffre de 33 %. L’intervalle est alors si large qu’il ne permet aucune décision.

C’est la situation de la plupart des tableaux de bord de PME : des taux affichés à la décimale sur des volumes qui ne la supportent pas.

Deux règles pratiques suffisent.

Deux valeurs dont les intervalles se chevauchent ne sont pas distinguables. Comparer une page à 3,1 % et une page à 2,8 % n’a aucun sens si les deux intervalles vont de 2 % à 4 %.

L’intervalle se resserre avec la racine du nombre d’observations. Diviser la marge par deux demande quatre fois plus de données. C’est ce qui rend les petits écarts si coûteux à démontrer.

Dans les outils de test comparatif, qui l’affichent en même temps que le résultat. Un outil qui annonce un gagnant sans intervalle donne une conclusion sans sa fiabilité.

Dans les études de brand lift, où l’écart mesuré est toujours accompagné de sa marge.

Dans les modèles agrégés comme le marketing mix modeling, dont les contributions estimées portent une incertitude importante que les présentations effacent souvent.

Il ne dit rien de la validité de la mesure elle-même. Un intervalle serré sur des données faussées par un double comptage reste faux, simplement avec précision.

Il suppose aussi que l’échantillon soit représentatif. Un taux mesuré uniquement sur du trafic de marque a un intervalle correct et ne décrit pas le site.