Frequentist

Statistischer Ansatz, bei dem die Parameter eines Modells (Mittelwert, Umrechnungskurs usw.) ausschließlich anhand der beobachteten Daten geschätzt werden, ohne dassA-priori-Informationen verwendet werden. Er beruht auf Konzepten wieNullhypothese, Signifikanztests, p-Werten und Konfidenzintervallen und ist der traditionelle Ansatz der statistischen Analyse.

In A/B-Testing und CRO :

Der frequentistische Ansatz wird historisch in vielenA/B-Testing-Vertrauenskalkulatoren verwendet, um zu bestimmen, ob eine Variation einen signifikanten Effekt erzeugt oder nicht.

Sie versucht, die Frage zu beantworten:

"Wenn die getestete Variation keine tatsächlichen Auswirkungen hat, wie hoch ist die Wahrscheinlichkeit, dass ein solches Ergebnis zufällig zustande kommt?"

Dieser Ansatz beruht jedoch auf starken Einschränkungen:

• Ausreichende Stichprobengröße,
• Testdauer eingehalten (Risiken durch vorzeitige Beendigung),
• Technische Interpretation der Ergebnisse (p-Wert ≠ Wahrscheinlichkeit, dass B besser ist).

Grenzen in einem CRO-Kontext :

• Tests dauern oft länger, weil eine vordefinierte Stichprobengröße erreicht werden muss,
• Weniger intuitiv für nicht-technische Teams,
• Anfälliger für Lesefehler oder riskante Praktiken wie P-Hacking,
• Gibt nicht direkt die Wahrscheinlichkeit an, dass eine Variation besser ist.

Aktueller Trend: Übergang zum bayesianischen Ansatz

Im Bereich der CRO wird der frequentistische Ansatz zunehmend zugunsten der Bayes'schen Statistik aufgegeben, die :

• liefert schneller verwertbare Ergebnisse,
• sich dynamisch an die Größe der Stichprobe anpasst,
• ermöglicht eine direkte Schätzung der Wahrscheinlichkeit, dass eine Variation eine Outperformance erzielt,
• erleichtert die Entscheidungsfindung von Produkt- und Marketingteams.

Plattformen wie VWO, Convert, Optimizely (neue Version) oder AB Tasty (bayesianischer Modus) enthalten nun bayesianische Statistik-Engines, um die Analyse zu beschleunigen und Fehlinterpretationen zu reduzieren.

‍