.avif)
p-Wert
.webp)
Ein statistisches Maß, das im frequentistischen Ansatz verwendet wird, um die Wahrscheinlichkeit anzugeben, dass die Ergebnisse (oder noch extremere Ergebnisse) beobachtet werden, wenn die Nullhypothese wahr wäre. Anders ausgedrückt, quantifiziert sie den Grad der Überraschung der Beobachtung im Vergleich zu einer Situation, in der es keine tatsächlichen Unterschiede zwischen den getesteten Varianten gäbe.
Im Kontext CRO / A/B-Testing :
In einem A/B-Test besagt die Nullhypothese, dass die Variation B keinen Effekt im Vergleich zu A hat.
➡️ Ein niedriger p-Wert (z. B. 0,03) bedeutet, dass die beobachteten Ergebnisse mit dieser Hypothese nicht vereinbar sind, was die Annahme verstärkt, dass ein tatsächlicher Effekt vorliegt.
Zum Vormerken:
- Ein p-Wert unter 0,05 (klassischer Schwellenwert) wird oft als statistisch signifikant angesehen → man lehnt die Nullhypothese ab.
- Ein p-Wert über 0,05 beweist nicht, dass es keinen Effekt gibt, sondern dass nicht genügend Beweise vorliegen, um eine Schlussfolgerung zu ziehen.
- Der p-Wert misst weder die Wahrscheinlichkeit, dass die Variation besser ist, noch die Größe des Effekts. Dafür schaut man sich denUplift, die Konfidenzintervalle oder dengeschätzten Business Impact an.
Häufige Fallen in CRO :
- Einen p-Wert isoliert interpretieren, ohne die Datenmenge, den MDE oder den geschäftlichen Kontext zu berücksichtigen.
- "P-Hacking": Einen Test bei Erreichen von 0,049 abzubrechen, kann zu falsch positiven Ergebnissen (irreführenden Ergebnissen) führen.
- Vergessen Sie, dass der p-Wert nichts über die praktische Signifikanz aussagt: Ein kleiner Effekt kann signifikant, aber nutzlos sein.
Ähnliche Definitionen
MDE (Minimum Detectable Effect)
Der kleinste Unterschied, der, wenn er vorhanden ist, in einem statistischen Test zuverlässig festgestellt werden kann.
Falsche Positive
Ergebnisse, die fälschlicherweise angeben, dass ein Effekt vorhanden ist, obwohl dies nicht der Fall ist.
Statistische Leistung
Die Wahrscheinlichkeit, dass ein Test einen tatsächlichen Effekt aufdeckt, wenn dieser Effekt existiert. Eine hohe Potenz verringert das Risiko falsch negativer Ergebnisse.
Uplift
Die Steigerung der Konversionen oder des durch eine bestimmte Aktion erzeugten Werts, die oft in A/B-Tests gemessen wird.
Mann-Whitney U Test
Ein nichtparametrischer Test, der verwendet wird, um zwei unabhängige Stichproben zu vergleichen, um festzustellen, ob sie aus der gleichen Verteilung stammen.
Statistisches Vertrauen
Grad der Gewissheit, den man bei den Ergebnissen eines statistischen Tests hat.
Frequentist
Ein statistischer Ansatz, der die Parameter des Modells ausschließlich auf der Grundlage der beobachteten Daten schätzt und keine A-priori-Informationen verwendet.
.svg){kind=small}
