Mesure et tracking
Intervalle de confiance
Un intervalle de confiance exprime la marge d’incertitude autour d’une valeur mesurée sur un échantillon.
Un taux de conversion de 3 % annoncé avec un intervalle de 2,4 % à 3,6 % signifie que la valeur réelle se situe très probablement dans cette fourchette, pas qu’elle vaut exactement 3 %.
Pourquoi un chiffre seul est incomplet
Parce qu’un taux mesuré sur 100 visites et un taux mesuré sur 10 000 n’ont pas la même fiabilité, et rien ne le montre si l’on n’affiche que le pourcentage.
Sur 100 visites, un taux de 3 % repose sur 3 conversions. Une de plus ou de moins déplace le chiffre de 33 %. L’intervalle est alors si large qu’il ne permet aucune décision.
C’est la situation de la plupart des tableaux de bord de PME : des taux affichés à la décimale sur des volumes qui ne la supportent pas.
Comment le lire
2 règles pratiques suffisent.
Deux valeurs dont les intervalles se chevauchent ne sont pas distinguables. Comparer une page à 3,1 % et une page à 2,8 % n’a aucun sens si les 2 intervalles vont de 2 % à 4 %.
L’intervalle se resserre avec la racine du nombre d’observations. Diviser la marge par 2 demande 4 fois plus de données. C’est ce qui rend les petits écarts si coûteux à démontrer.
Où il apparaît
Dans les outils de test comparatif, qui l’affichent en même temps que le résultat. Un outil qui annonce un gagnant sans intervalle donne une conclusion sans sa fiabilité.
Dans les études de brand lift, où l’écart mesuré est toujours accompagné de sa marge.
Dans les modèles agrégés comme le marketing mix modeling, dont les contributions estimées portent une incertitude importante que les présentations effacent souvent.
Ce qu’il ne dit pas
Il ne dit rien de la validité de la mesure elle-même. Un intervalle serré sur des données faussées par un double comptage reste faux, simplement avec précision.
Il suppose aussi que l’échantillon soit représentatif. Un taux mesuré uniquement sur du trafic de marque a un intervalle correct et ne décrit pas le site.
FAQ