A/B testing : trancher les débats d'opinion par l'expérimentation
L'A/B testing compare deux versions d'une page, d'un message ou d'un parcours en répartissant les utilisateurs aléatoirement entre elles, puis en mesurant laquelle produit le meilleur résultat sur un indicateur défini à l'avance. La décision repose ainsi sur des comportements observés plutôt que sur l'opinion — à condition de respecter la rigueur statistique.
Comment ça marche, étape par étape
1. Partir d'une hypothèse, pas d'une envie
Formulez le test en trois temps : « Nous observons [problème mesuré], nous pensons que [changement] produira [effet chiffré], parce que [raison] ». Tester « pour voir » produit des résultats ininterprétables ; une hypothèse claire rend le test lisible même quand il échoue.
2. Choisir UN indicateur principal et dimensionner l'échantillon
Décidez avant le lancement l'indicateur qui tranchera (taux de conversion, revenu par visiteur) et calculez la taille d'échantillon nécessaire pour détecter l'effet espéré. Ce calcul préalable évite le piège classique : un test trop court dont on interprète le bruit comme un signal.
3. Répartir aléatoirement et lancer les deux versions en parallèle
La version A (l'existant) et la version B (la modification) doivent tourner simultanément, sur des utilisateurs affectés au hasard. Comparer « avant/après » sur deux périodes différentes n'est pas un test A/B : la saisonnalité et l'actualité contaminent la comparaison.
4. Tenir la durée prévue sans regarder tous les jours
Arrêter un test dès que la variante passe au vert est l'erreur la plus répandue : les premiers jours fluctuent énormément et multiplient les faux positifs. Respectez la durée calculée à l'étape 2, en couvrant des semaines entières pour lisser les effets de jour de semaine.
5. Décider, documenter, capitaliser
Trois issues possibles : déployer la variante gagnante, conserver l'existant, ou relancer un test mieux dimensionné si le résultat est non concluant. Consignez chaque test (hypothèse, résultat, décision) dans un registre partagé : la valeur composée d'un programme de tests vient de cette mémoire.
Quand l'utiliser
- Pages et parcours à fort trafic où chaque point de conversion gagné a un impact financier direct (paiement, inscription, tarifs).
- Débats internes récurrents (« ce titre est meilleur », « ce formulaire est trop long ») : le test remplace l'argument d'autorité.
- Campagnes d'e-mails et d'annonces : objets, accroches et visuels se testent vite sur de gros volumes.
Limites à connaître
- En dessous de quelques milliers d'utilisateurs concernés, la plupart des tests restent non concluants : mieux vaut alors des tests utilisateurs qualitatifs.
- Le test optimise localement : il améliore la page existante mais ne dira jamais qu'il faudrait repenser le parcours entier.
- Un résultat significatif n'explique pas le POURQUOI : sans analyse qualitative, on généralise parfois une fausse leçon.
- Multiplier les indicateurs et les regards en cours de route gonfle mécaniquement les faux positifs — la discipline du protocole n'est pas optionnelle.
+12 %
de revenus pour le moteur de recherche Bing après un simple changement d'affichage des titres d'annonces, révélé par un test A/B jugé mineur en interne
Source : Kohavi & Thomke, Harvard Business Review, 2017
Exemple concret
Une place de marché débat depuis des semaines : faut-il afficher les frais de service dès la fiche produit ou seulement au paiement ?
L'équipe formule l'hypothèse que l'affichage précoce des frais réduira légèrement les mises au panier mais augmentera la conversion finale en supprimant la mauvaise surprise au paiement. Le test, dimensionné pour trois semaines sur la moitié du trafic, confirme : −4 % d'ajouts au panier, mais +9 % de commandes finalisées et une baisse des abandons au paiement. La transparence tarifaire est déployée pour tous, et le registre de tests s'enrichit d'une leçon réutilisable sur la confiance.
Questions fréquentes
Quelle est la différence entre test A/B et test multivarié ?
Le test A/B compare deux versions qui diffèrent idéalement par un seul élément. Le test multivarié combine plusieurs éléments variables simultanément (titres × images × boutons) pour identifier la meilleure combinaison — mais il exige beaucoup plus de trafic pour conclure.
Combien de temps doit durer un test A/B ?
La durée découle du calcul d'échantillon, pas de l'impatience : le temps nécessaire pour atteindre le nombre de conversions requis, en couvrant des semaines complètes. En pratique, rarement moins de deux semaines — et un test qu'on arrête « dès que c'est vert » ne vaut rien.
Que faire quand un test n'est pas concluant ?
C'est une information : l'effet espéré est probablement trop faible pour compter, ou le test était sous-dimensionné. Documentez-le, puis testez une variation plus franche — les micro-changements cosmétiques produisent rarement des effets détectables.
Comment parler d'A/B testing en entretien d'embauche ?
Racontez un test complet : hypothèse, dimensionnement, résultat, décision — y compris un test perdant assumé. Les recruteurs se méfient des candidats qui n'affichent que des victoires à +40 % : la rigueur du protocole est précisément la compétence recherchée.