Frequentist

Approche statistique qui consiste à estimer les paramètres d’un modèle (moyenne, taux de conversion, etc.) uniquement à partir des données observées, sans utiliser d’informations a priori. Elle repose sur des concepts comme l’hypothèse nulle, les tests de signification, les p-values et les intervalles de confiance, et constitue l’approche traditionnelle de l’analyse statistique.

En A/B testing et CRO :

L’approche fréquentiste est historiquement utilisée dans de nombreux calculateurs de confiance d’A/B testing pour déterminer si une variation produit un effet significatif ou non.

Elle cherche à répondre à la question :

“Si la variation testée n’a aucun effet réel, quelle est la probabilité d’obtenir un tel résultat par hasard ?”

Mais cette approche repose sur des contraintes fortes :

• Taille d’échantillon suffisante,
• Durée de test respectée (risques liés à l’arrêt anticipé),
• Interprétation technique des résultats (p-value ≠ probabilité que B soit meilleur).

Limites dans un contexte CRO :

• Tests souvent plus longs à cause de la nécessité d’atteindre une taille d’échantillon prédéfinie,
• Moins intuitive pour les équipes non techniques,
• Plus sensible aux erreurs de lecture ou à des pratiques à risque comme le p-hacking,
• Ne donne pas directement la probabilité qu’une variation soit meilleure.

Tendance actuelle : passage à l’approche bayésienne

Dans le domaine du CRO, l’approche fréquentiste est de plus en plus délaissée au profit de la statistique bayésienne, qui :

• fournit des résultats exploitables plus rapidement,
• s’adapte dynamiquement à la taille de l’échantillon,
• permet d’estimer directement la probabilité qu’une variation surperforme,
• facilite la prise de décision par les équipes produit et marketing.

Des plateformes comme VWO, Convert, Optimizely (nouvelle version) ou AB Tasty (mode bayésien) intègrent désormais des moteurs statistiques bayésiens pour accélérer l’analyse et réduire les erreurs d’interprétation.

‍