.avif)
Faux Positifs
.webp)
Résultat d’un test statistique qui indique à tort qu’un effet est significatif, alors qu’il ne l’est pas réellement. Dans le cadre du CRO et de l’A/B testing, un faux positif peut conduire à valider une variation inefficace, ce qui risque d’entraîner des décisions contre-productives (ex. : généralisation d’une version qui n’apporte aucun gain réel).
Les faux positifs sont liés au niveau de confiance choisi pour un test (souvent 95 %) : il y a toujours une probabilité (ex. : 5 %) de conclure à une différence simplement due au hasard. Ce phénomène est d’autant plus critique si l’on mène de nombreux tests simultanément, sans contrôle du taux de faux positifs (ex. : via correction de Bonferroni ou test de fausse découverte).
Les faux positifs sont l’inverse des faux négatifs, qui, eux, ratent un effet réellement présent. Trouver le bon équilibre entre ces deux types d’erreurs est essentiel pour des expérimentations fiables et une stratégie CRO solide.
Définitions similaires
MDE (Minimum Detectable Effect)
La plus petite différence qui, si elle existe, peut être détectée de manière fiable dans un test statistique.
Puissance Statistique
La probabilité qu'un test détecte un effet réel, si cet effet existe. Une puissance élevée réduit le risque de faux négatifs.
Uplift
L'augmentation des conversions ou de la valeur engendrée par une action spécifique, souvent mesurée dans les tests A/B.
Mann-Whitney U Test
Un test non paramétrique utilisé pour comparer deux échantillons indépendants afin de déterminer s'ils proviennent de la même distribution.
p-value
Une mesure statistique qui indique la probabilité d'observer les données collectées (ou quelque chose de plus extrême) sous l'hypothèse nulle.
Frequentist
Une approche statistique qui estime les paramètres du modèle en se basant uniquement sur les données observées, sans utiliser d'informations a priori.
.svg){kind=small}
