.avif)
Prueba de significación estadística Prueba A/B
.webp)
Método de análisis estadístico utilizado para determinar si los resultados observados en una prueba (como una prueba A/B ) son lo suficientemente fiables como para atribuirlos a un efecto real y no al azar o a una fluctuación aleatoria. Es una herramienta fundamental para validar o rechazar una hipótesis, basada en datos cuantitativos.
Objetivo:
Evaluar si la diferencia entre dos (o más) variantes es estadísticamente significativa, es decir, si es improbable que se deba al azar. Esto permite tomar decisiones bien fundadas y minimiza los falsos positivos (concluir erróneamente que una variante es mejor).
🔍 Funcionamiento :
La prueba se basa en dos supuestos:
- Hipótesis nula (H₀): no hay diferencias reales entre las variantes analizadas.
- Hipótesis alternativa (H₁): existe una diferencia significativa.
A continuación, se calcula un valor p: la probabilidad de obtener una diferencia al menos tan grande como la observada, si la hipótesis nula fuera cierta.
→ Si el valor p es inferior al nivel de significación (generalmente 0,05), se rechaza la hipótesis nula → la diferencia se considera estadísticamente significativa.
📊 Indicadores relacionados :
- Valor P: medida de la sorpresa; cuanto más bajo sea, más potencialmente real es el efecto.
- Nivel de confianza (a menudo del 95%): probabilidad de no equivocarse al concluir que existe una diferencia.
- Potencia estadística: capacidad de la prueba para detectar un efecto real en caso de que exista; suele fijarse en un 80% o más.
- Efecto Mínimo Detectable (EMD): cuanto menor sea el efecto esperado, más tráfico se necesita para llegar a una conclusión.
🧪 Aplicación CRO:
En una prueba A/B o multivariante, la prueba de significación estadística es esencial para :
- validar una variación como "ganadora" o no,
- evitar errores de interpretación debidos a efectos de ruido o a pruebas interrumpidas demasiado pronto(p-hacking),
- Garantizar que los resultados sean generalizables y no se limiten a un periodo o segmento concreto.
Definiciones similares
MDE (Efecto Mínimo Detectable)
La diferencia más pequeña que, de existir, puede detectarse con fiabilidad en una prueba estadística.
Poder estadístico
Probabilidad de que una prueba detecte un efecto real, si es que existe. Una potencia elevada reduce el riesgo de falsos negativos.
Levante
El aumento de las conversiones o del valor generado por una acción específica, a menudo medido en pruebas A/B.
Prueba U de Mann-Whitney
Prueba no paramétrica utilizada para comparar dos muestras independientes y determinar si proceden de la misma distribución.
p-valor
Medida estadística que indica la probabilidad de observar los datos recogidos (o algo más extremo) bajo la hipótesis nula.
.svg){kind=small}
