Vous avez deux versions d’une page web.
Une version affiche un bouton vert.
L’autre un bouton bleu.
Après quelques jours, vous constatez que la version bleue génère davantage de clics.
Pouvez-vous en conclure que le bouton bleu est meilleur ?
Pas si vite.
La différence observée peut être réelle… mais elle peut aussi simplement être due au hasard.
C’est précisément le type de situation dans laquelle l’A/B testing devient intéressant.
L’objectif n’est pas simplement de regarder quelle version obtient le meilleur résultat.
Il s’agit de déterminer si la différence observée est suffisamment importante pour penser qu’elle reflète un véritable effet.
Et derrière cette idée très business se trouve… de la statistique.
Qu'est-ce que l'A/B testing ?
L’A/B testing consiste à comparer deux versions d’un élément afin de déterminer laquelle produit le meilleur résultat.
Par exemple :
- deux pages d’accueil ;
- deux objets d’e-mail ;
- deux boutons ;
- deux offres commerciales ;
- deux parcours utilisateurs ;
- deux prix ;
- deux campagnes publicitaires.
On appelle généralement :
Version A → groupe témoin
Version B → groupe testé
On observe ensuite une mesure qui nous intéresse.
Par exemple :
taux de clic, taux de conversion, panier moyen, nombre d’inscriptions…
L’idée paraît simple :
A donne 8 % de conversion
B donne 10 % de conversion
Donc B est meilleur.
Mais statistiquement, la question est plutôt :
La différence entre 8 % et 10 % est-elle suffisamment importante pour penser qu’elle ne s’explique pas simplement par la variabilité des données ?
Et là, on change complètement de niveau de raisonnement.
Une différence observée n'est pas forcément un effet réel
Imaginez que vous testiez deux pages d’inscription.
Sur 1 000 visiteurs :
- Version A → 80 inscriptions
- Version B → 100 inscriptions
Le taux de conversion est donc :
A : 8 %
B : 10 %
La différence est de 2 points de pourcentage.
On pourrait être tenté de dire :
« La version B fonctionne mieux. »
Mais supposons que vous répétiez exactement la même expérience avec d’autres visiteurs.
Vous pourriez obtenir :
- A : 8,4 %
- B : 9,1 %
Puis :
- A : 7,8 %
- B : 8,2 %
Les résultats ne seront jamais exactement identiques.
Pourquoi ?
Parce que nous travaillons avec des échantillons.
Et un échantillon comporte toujours une part de variabilité.
C’est l’une des idées fondamentales de la statistique :
Une différence observée dans un échantillon ne signifie pas automatiquement qu’une différence existe dans la population.
C'est là que l'A/B testing rencontre les statistiques
Pour déterminer si une différence est suffisamment convaincante, on peut utiliser un test d’hypothèse.
On commence par définir une hypothèse de départ :
H₀ : les deux versions ont le même taux de conversion.
Puis on cherche à déterminer si les données observées sont suffisamment incompatibles avec cette hypothèse.
On peut alors obtenir une p-value.
Mais attention :
la p-value ne nous dit pas que B est meilleur à 95 %.
Elle nous aide à déterminer si les données observées sont suffisamment surprenantes sous l’hypothèse nulle.
C’est une nuance importante.
Et elle permet d’éviter une erreur très fréquente :
statistiquement significatif ≠ forcément important pour le business.
Significatif statistiquement… mais intéressant pour l’entreprise ?
Imaginez maintenant :
A → 8,00 %
B → 8,05 %
Avec un très grand nombre de visiteurs, cette petite différence pourrait devenir statistiquement significative.
Mais est-ce que gagner 0,05 point de conversion justifie de modifier toute votre stratégie ?
Pas nécessairement.
À l’inverse, une différence business très intéressante peut ne pas être statistiquement significative si l’échantillon est trop petit.
C’est pourquoi une bonne analyse ne devrait pas se limiter à :
« La p-value est inférieure à 0,05. »
Il faut également regarder :
- l’ampleur de l’effet ;
- l’intervalle de confiance ;
- la taille de l’échantillon ;
- le contexte business ;
- le coût de la décision ;
- les conséquences potentielles.
La statistique aide à prendre une décision. Elle ne prend pas la décision à votre place.
L'A/B testing suit finalement une logique très simple
Derrière les formules, on retrouve une démarche que l’on peut résumer ainsi :
Question business
↓
Hypothèse
↓
Expérience
↓
Données
↓
Analyse statistique
↓
Interprétation
↓
Décision
C’est cette chaîne qui est intéressante.
L’A/B testing n’est donc pas simplement :
On teste A et B et on garde celui qui a le meilleur score.
C’est une démarche expérimentale qui permet de réduire l’incertitude avant de prendre une décision.
Et si le résultat n'est pas significatif ?
C’est une autre situation souvent mal comprise.
Supposons que B obtienne 10 % contre 8 % pour A, mais que le test ne soit pas significatif.
Cela ne signifie pas :
Les deux versions sont forcément identiques.
Cela signifie plutôt que les données disponibles ne permettent pas de conclure suffisamment clairement à une différence.
Pourquoi ?
Plusieurs explications sont possibles :
- l’effet réel est faible ;
- l’échantillon est trop petit ;
- les données sont trop variables ;
- l’expérience n’est pas suffisamment précise.
Encore une fois :
ne pas détecter une différence ≠ prouver qu’il n’existe aucune différence.
Ce qu'il faut retenir
L'A/B testing est un excellent exemple de la manière dont les statistiques peuvent être utilisées dans le monde réel.
On part d'une question très concrète :
« Quelle version fonctionne le mieux ? »
Mais pour y répondre correctement, il faut aller plus loin que la simple comparaison des résultats.
Il faut notamment se demander :
C'est là que les statistiques prennent tout leur sens.
Les données ne servent pas seulement à produire des chiffres.
Elles servent à prendre de meilleures décisions face à l'incertitude.
Pour aller plus loin, si vous souhaitez comprendre les statistiques sans apprendre les formules par cœur, commencez par les ressources gratuites.
L'objectif est toujours le même :
comprendre le sens avant de manipuler les formules.
Betty Mourid St-Pierre
Enseignante en statistiques et analyse de données depuis plus de 20 ans (HES-SO, EU Business School Genève). Elle accompagne étudiants et professionnels à comprendre les données qui les entourent sans formule intimidante.
📩 Chaque jeudi, une méthode concrète d'apprentissage et d'organisation dans sa newsletter gratuite.
🎥 Retrouve-la aussi sur YouTube.
