.avif)
Falsche Positive
.webp)
Ergebnis eines statistischen Tests, das fälschlicherweise anzeigt, dass ein Effekt signifikant ist, obwohl er es in Wirklichkeit nicht ist. Im Rahmen von CRO undA/B-Testing kann ein falsches positives Ergebnis dazu führen, dass eine unwirksame Variation validiert wird, was wiederum zu kontraproduktiven Entscheidungen führen kann (z. B. die allgemeine Verbreitung einer Version, die keinen wirklichen Gewinn bringt).
Falsch positive Ergebnisse hängen mit dem für einen Test gewählten Konfidenzniveau (häufig 95 %) zusammen: Es besteht immer eine Wahrscheinlichkeit (z. B. 5 %), dass man auf einen lediglich zufällig entstandenen Unterschied schließt. Dieses Phänomen ist umso kritischer, wenn viele Tests gleichzeitig durchgeführt werden, ohne dass die Rate der falsch positiven Ergebnisse kontrolliert wird (z. B. via Bonferroni-Korrektur oder False Discovery Test).
Falsch-positive Fehler sind das Gegenteil von falsch-negativen Fehlern, die ihrerseits einen tatsächlich vorhandenen Effekt verpassen. Das richtige Gleichgewicht zwischen diesen beiden Arten von Fehlern zu finden, ist entscheidend für zuverlässige Experimente und eine solide CRO-Strategie.
Ähnliche Definitionen
MDE (Minimum Detectable Effect)
Der kleinste Unterschied, der, wenn er vorhanden ist, in einem statistischen Test zuverlässig festgestellt werden kann.
Statistische Leistung
Die Wahrscheinlichkeit, dass ein Test einen tatsächlichen Effekt aufdeckt, wenn dieser Effekt existiert. Eine hohe Potenz verringert das Risiko falsch negativer Ergebnisse.
Uplift
Die Steigerung der Konversionen oder des durch eine bestimmte Aktion erzeugten Werts, die oft in A/B-Tests gemessen wird.
Mann-Whitney U Test
Ein nichtparametrischer Test, der verwendet wird, um zwei unabhängige Stichproben zu vergleichen, um festzustellen, ob sie aus der gleichen Verteilung stammen.
Statistisches Vertrauen
Grad der Gewissheit, den man bei den Ergebnissen eines statistischen Tests hat.
p-Wert
Ein statistisches Maß, das die Wahrscheinlichkeit angibt, dass die gesammelten Daten (oder etwas Extremeres) unter der Nullhypothese beobachtet werden.
Frequentist
Ein statistischer Ansatz, der die Parameter des Modells ausschließlich auf der Grundlage der beobachteten Daten schätzt und keine A-priori-Informationen verwendet.
.svg){kind=small}
