Qu’est-ce que l’écart type en A/B testing ?

L’écart type, c’est comme une règle pour mesurer à quel point tes résultats « s’éparpillent » autour de la moyenne.

  • Si les résultats sont tous proches de la moyenne, l’écart type est petit → les résultats sont stables et fiables.

  • Si les résultats sont très dispersés, l’écart type est grand → ça veut dire que les résultats varient beaucoup, donc moins fiable.

C’est un peu comme si tu voulais mesurer si une équipe de foot est régulière :

  • Si elle gagne toujours entre 2 et 3 buts, l’écart type est petit.

  • Si elle gagne parfois 5-0 et d’autres fois perd 0-4, l’écart type est grand. 😅

il permet d’estimer la variabilité du taux de conversion dans chaque version testée.
Il est utilisé pour déterminer si la différence entre deux versions est significative statistiquement (et non due au hasard).
Il intervient dans le calcul de la valeur P (probabilité que les résultats observés soient dus au hasard).
pictos-pub-2

L’écart type vous dit si les résultats sont cohérents ou s’ils font le yoyo.

  • Si la différence entre deux versions est réelle,

  • Ou si c’est juste un coup de chance ou du hasard.

Et dans un test A/B, on préfère des résultats stables pour être sûr que la version gagnante l’est vraiment.