Conversion et experience
Régression vers la moyenne
La régression vers la moyenne est la tendance d’une valeur extrême à être suivie d’une valeur plus proche de la moyenne, par le seul effet du hasard.
C’est un phénomène statistique, pas un effet causal. Et il produit l’illusion la plus courante en optimisation marketing.
L’illusion qu’elle produit
Une semaine, une campagne s’effondre. On intervient. La semaine suivante, elle remonte. L’intervention semble avoir marché.
En réalité, une semaine anormalement mauvaise a de fortes chances d’être suivie d’une semaine plus normale, quoi qu’on fasse. L’intervention n’y est peut-être pour rien.
Le même mécanisme joue dans l’autre sens : une semaine exceptionnelle est suivie d’un retour à la normale, et l’on cherche une cause à une dégradation qui n’en a pas.
Où elle piège
Trois situations courantes.
Les optimisations réactives. Modifier une campagne parce qu’elle a mal performé sur une courte période. Le retour à la normale valide une décision qui n’a rien changé.
Les tests arrêtés trop tôt. Un écart constaté à un instant donné se réduit ensuite. C’est aussi ce que traite la signification statistique.
Les études de cas. Un client dont la situation était exceptionnellement mauvaise s’améliore mécaniquement. Attribuer toute l’amélioration à l’intervention est trompeur, et c’est une raison de plus de documenter honnêtement un cas client.
Comment ne pas s’y tromper
Trois précautions.
Un groupe témoin. C’est la seule protection réelle. Si le témoin remonte aussi, le retour à la normale n’est pas dû à l’intervention. C’est le principe du test géographique.
Une durée d’observation fixée à l’avance, plutôt qu’une réaction au premier écart.
Un seuil de bruit connu. Sur de faibles volumes, une variation de trente pour cent est normale, ce que rappelle l’intervalle de confiance.
Ce qu’elle implique en pilotage
Qu’il faut résister à l’intervention immédiate.
Sur une campagne à enchères automatiques, réagir à chaque écart hebdomadaire relance l’apprentissage sans nécessité, ce qui est décrit côté enchère automatique. L’inaction est souvent la meilleure décision face à un pic isolé.
FAQ