Confianza estadística

Nivel de certeza que tenemos en los resultados de una prueba estadística. Generalmente se expresa en porcentaje, por ejemplo el 95%, lo que significa que si la prueba se repitiera un gran número de veces en las mismas condiciones, el 95% de las pruebas llevarían a la misma conclusión. Se trata de un concepto central del análisis frecuentista, utilizado en la mayoría de las herramientas clásicas de pruebas A/B.

Enfoque frecuentista :

• La confianza estadística está vinculada a la probabilidad de rechazar erróneamente la hipótesis nula (riesgo de error de tipo I).
• Un nivel de confianza del 95% corresponde a un nivel de significación (valor p) de 0,05.
• Esto significa que aceptamos una probabilidad máxima del 5% de que la diferencia observada se deba al azar.

Ejemplo: Si la variación B tiene un nivel de confianza estadística del 96%, se considera que supera significativamente a la versión A con un margen de error inferior al 4%.

Enfoque bayesiano :

• En su lugar, hablamos de la probabilidad de que una variación sea mejor que la otra (por ejemplo, "la variación B tiene un 92% de probabilidades de ser mejor que la A").
• No se trata de una prueba de rechazo, sino de una estimación directa de la probabilidad de una ganancia real.
• Este enfoque suele ser más intuitivo para los equipos empresariales, pero depende en mayor medida de las priors (hipótesis de partida).

En CRO :

Sea cual sea el marco elegido, la confianza estadística es esencial para :

• validar los resultados de una prueba A/B,
• limitar los falsos positivos (efectos debidos al azar),
• tomar decisiones informadas basadas en datos fiables.

Nota: una confianza estadística elevada no garantiza un impacto empresarial significativo. Debe cotejarse con otros indicadores (aumento, tamaño de la muestra, valor incremental) para orientar una decisión de implantación.

‍