p-valor

Medida estadística utilizada en el enfoque frecuentista para indicar la probabilidad de observar los resultados obtenidos (o incluso resultados más extremos) si la hipótesis nula fuera cierta. En otras palabras, cuantifica el grado de sorpresa ante la observación en comparación con una situación en la que no habría ninguna diferencia real entre las variantes probadas.

CRO / Pruebas A/B :

En una prueba A/B, la hipótesis nula afirma que la variación B no tiene ningún efecto en comparación con la A.
➡️ Un valor p bajo (por ejemplo, 0,03) indica que los resultados observados no son muy compatibles con esta hipótesis, lo que refuerza la idea de que existe un efecto real.

Para recordar:

• Un valor p inferior a 0,05 (umbral clásico) suele considerarse estadísticamente significativo → se rechaza la hipótesis nula.
• Un valor p superior a 0,05 no demuestra que no haya efecto, sino que las pruebas son insuficientes para llegar a una conclusión.
• El valor p no mide la probabilidad de que la variación sea mejor, ni el tamaño del efecto. Para ello, nos fijamos en elaumento, los intervalos de confianza o elimpacto empresarial estimado.

Errores comunes en la CRO:

• Interpretar un valor p de forma aislada sin tener en cuenta el volumen de datos, el MDE o el contexto empresarial.
• "P-hacking": detener una prueba en cuanto se alcanza 0,049 puede dar lugar a falsos positivos (resultados engañosos).
• Olvide que el valor p no dice nada sobre la significación práctica: un efecto mínimo puede ser significativo pero inútil.

‍