Acquisition et conversion
A/B testing
L’A/B testing consiste à montrer deux versions d’une page ou d’une annonce à deux moitiés du trafic, et à comparer ce qu’elles produisent. C’est la seule façon d’attribuer un changement de performance à une modification précise.
La méthode
Une hypothèse formulée avant le test : ce qu’on change, et pourquoi on pense que cela produira un effet.
Une seule variable modifiée. Changer le titre et le bouton en même temps rend impossible de savoir lequel a agi.
Une répartition aléatoire et simultanée du trafic. Tester une version cette semaine et l’autre la semaine suivante mesure la semaine autant que la version.
Un critère de succès défini avant : la conversion finale, pas le clic intermédiaire.
Le volume nécessaire
C’est ce qui décide si le test est possible. Détecter un écart faible demande beaucoup de trafic, et détecter un écart important en demande peu.
Ordre de grandeur : sur une page qui convertit à 2 %, détecter un passage à 2,4 % demande plusieurs milliers de visites par version. Sur un passage à 4 %, quelques centaines suffisent.
Une page qui reçoit 300 visites par mois ne peut pas être testée sérieusement. Sur ces volumes, mieux vaut appliquer ce qui est connu pour fonctionner que tester à l’aveugle.
Les 4 erreurs qui inversent les conclusions
Arrêter dès que l’écart plaît. Les résultats fluctuent fortement au début. Regarder chaque jour et arrêter quand la version préférée mène produit des faux positifs à répétition.
Ne pas fixer la durée à l’avance. Le test doit couvrir au moins un cycle complet, généralement une ou deux semaines pleines, pour absorber les variations de jour et de fin de semaine.
Tester trop de variantes. Multiplier les versions divise le trafic et allonge le test d’autant.
Confondre significativité et importance. Un écart statistiquement significatif de 0,2 point peut être vrai et sans intérêt économique.
Ce qui vaut la peine d’être testé
Par ordre d’effet observé : la proposition elle-même et la promesse du titre, la levée des objections comme le prix et l’engagement, la longueur et le nombre de champs du formulaire, puis seulement la mise en forme.
Les tests de couleur de bouton, très populaires, produisent des écarts généralement trop faibles pour être détectables sur des volumes courants.
En publicité
Les plateformes proposent leurs propres expérimentations, qui répartissent le trafic entre deux configurations de campagne. Elles sont plus fiables qu’une comparaison de périodes, parce qu’elles éliminent l’effet du calendrier.
Le sujet de la conversion elle-même est traité côté expertise CRO, et la page testée côté landing page.
FAQ