.avif)
Statistischer Signifikanztest A/B-Test
.webp)
Eine Methode der statistischen Analyse, mit der festgestellt wird , ob die in einem Test (z. B. einem A/B-Test) beobachteten Ergebnisse zuverlässig genug sind, um sie einem tatsächlichen Effekt und nicht dem Zufall oder einer Zufallsschwankung zuzuschreiben. Sie ist ein grundlegendes Instrument, um eine Hypothese auf der Grundlage quantitativer Daten zu bestätigen oder zu verwerfen.
🎯 Ziel :
Beurteilen Sie, ob der Unterschied zwischen zwei (oder mehr) Varianten statistisch signifikant ist, d. h., dass es unwahrscheinlich ist, dass er zufällig zustande kommt. Dies ermöglicht es, fundierte Entscheidungen zu treffen und falsch-positive Ergebnisse zu minimieren (fälschlicherweise zu dem Schluss zu kommen, dass eine Variante besser ist).
🔍 Betrieb :
Der Test beruht auf zwei Annahmen:
- Nullhypothese (H₀): Es gibt keinen wirklichen Unterschied zwischen den getesteten Varianten.
- Alternativhypothese (H₁): Es gibt einen signifikanten Unterschied.
Dann wird ein p-Wert berechnet: die Wahrscheinlichkeit, dass die Abweichung mindestens so groß ist wie die beobachtete, wenn die Nullhypothese wahr wäre.
→ Wenn der p-Wert unter der Signifikanzschwelle (normalerweise 0,05) liegt, wird die Nullhypothese verworfen → der Unterschied wird als statistisch signifikant angesehen.
📊 Zugehörige Indikatoren :
- P-Wert: Maß für die Überraschung; je kleiner der P-Wert, desto potenziell realer ist der Effekt.
- Konfidenzniveau (oft 95%): Die Wahrscheinlichkeit, dass man sich nicht irrt, wenn man auf einen Unterschied schließt.
- Statistische Power: Fähigkeit des Tests, einen tatsächlichen Effekt zu erkennen, wenn er existiert; wird oft auf 80% oder mehr festgelegt.
- Minimum Detectable Effect (MDE): Je kleiner der erwartete Effekt ist, desto mehr Verkehr ist nötig, um zu einer Schlussfolgerung zu kommen.
🧪 Anwendung in CRO :
In einem A/B- oder multivariaten Test ist der Test auf statistische Signifikanz unerlässlich, um :
- eine Variation als "gewinnbringend" validieren oder nicht,
- Fehlinterpretationen aufgrund von Rauscheffekten oder zu früh abgebrochenen Tests(p-hacking) vermeiden,
- sicherstellen, dass die Ergebnisse verallgemeinerbar sind und sich nicht nur auf einen bestimmten Zeitraum oder ein bestimmtes Segment beziehen.
Ähnliche Definitionen
MDE (Minimum Detectable Effect)
Der kleinste Unterschied, der, wenn er vorhanden ist, in einem statistischen Test zuverlässig festgestellt werden kann.
Falsche Positive
Ergebnisse, die fälschlicherweise angeben, dass ein Effekt vorhanden ist, obwohl dies nicht der Fall ist.
Statistische Leistung
Die Wahrscheinlichkeit, dass ein Test einen tatsächlichen Effekt aufdeckt, wenn dieser Effekt existiert. Eine hohe Potenz verringert das Risiko falsch negativer Ergebnisse.
Uplift
Die Steigerung der Konversionen oder des durch eine bestimmte Aktion erzeugten Werts, die oft in A/B-Tests gemessen wird.
Mann-Whitney U Test
Ein nichtparametrischer Test, der verwendet wird, um zwei unabhängige Stichproben zu vergleichen, um festzustellen, ob sie aus der gleichen Verteilung stammen.
Statistisches Vertrauen
Grad der Gewissheit, den man bei den Ergebnissen eines statistischen Tests hat.
p-Wert
Ein statistisches Maß, das die Wahrscheinlichkeit angibt, dass die gesammelten Daten (oder etwas Extremeres) unter der Nullhypothese beobachtet werden.
.svg){kind=small}
