Statistische Signifikanz einfach erklärt
Signifikant heißt nicht groß und nicht wichtig. Was statistische Signifikanz bedeutet, warum die Schwelle bei 5 Prozent liegt, welcher Test wofür passt und wie falsche Signifikanzen entstehen.
Ein Ergebnis ist statistisch signifikant, wenn es so deutlich ausfällt, dass Zufall als Erklärung unwahrscheinlich ist. Mehr heißt es nicht. Signifikant heißt weder groß noch wichtig noch sicher. Wer das eine Wort sauber versteht, liest jeden A/B-Test und jede Kampagnenauswertung mit anderen Augen.
In drei Sätzen
- 01Signifikant heißt: Der p-Wert liegt unter einer vorher festgelegten Schwelle, meist 5 Prozent.
- 02Nicht signifikant heißt nicht, dass es keinen Effekt gibt, sondern dass die Daten ihn nicht belegen.
- 03Viele Tests gleichzeitig und ständiges Nachsehen erzeugen signifikante Ergebnisse, die nur Zufall sind.
Die Definition
Ein Signifikanzniveau von 5 Prozent bedeutet also: Wenn eine Maßnahme in Wahrheit nichts bewirkt, würde ein Test in etwa einem von zwanzig Fällen trotzdem ein signifikantes Ergebnis zeigen. Das nimmt man bewusst in Kauf, um nicht jeden echten Effekt zu verpassen.
Warum ausgerechnet 5 Prozent?
Die Schwelle ist eine Konvention, keine Naturkonstante. Sie geht auf den Statistiker Ronald Fisher zurück, der in den 1920er Jahren eins zu zwanzig als praktische Grenze vorschlug. In der Medizin sind oft strengere Schwellen üblich, in schnellen Marketingtests manchmal lockerere. Entscheidend ist, dass die Schwelle vor dem Test feststeht und nicht danach so gewählt wird, dass das Ergebnis passt.
Die zwei Fehler, die ein Test machen kann
| In Wahrheit kein Effekt | In Wahrheit ein Effekt | |
|---|---|---|
| Test signifikant | Fehler 1. Art: falscher Alarm, Wahrscheinlichkeit Alpha | richtig erkannt |
| Test nicht signifikant | richtig verworfen | Fehler 2. Art: Effekt übersehen |
Der Fehler 2. Art ist im Marketing der häufigere. Ein Test mit zu wenig Besuchern hat kaum eine Chance, einen realistischen Effekt von ein paar Prozent nachzuweisen. Das Ergebnis heißt dann nicht signifikant, und die Variante wird verworfen, obwohl sie besser war. Wie viele Besucher ein Test braucht, steht im Beitrag zur Stichprobengröße.
Welcher Signifikanztest wofür?
| Frage | Passender Test |
|---|---|
| Unterscheiden sich zwei Conversion-Raten? | Test für zwei Anteile (z-Test) oder Chi-Quadrat-Test |
| Unterscheiden sich zwei Durchschnitte, etwa der Warenkorbwert? | t-Test, bei ungleichen Streuungen nach Welch |
| Umsatz je Besucher, mit vielen Nullen und wenigen Großbestellungen? | Mann-Whitney-U-Test oder Bootstrap |
| Mehr als zwei Varianten? | Chi-Quadrat-Test oder Varianzanalyse, danach Korrektur für Mehrfachvergleiche |
| Dieselben Kunden vorher und nachher? | gepaarter t-Test |
Signifikanz berechnen
Für den häufigsten Fall, zwei Conversion-Raten, rechnet man den Abstand der beiden Raten geteilt durch seinen Standardfehler. Das Ergebnis heißt z. Liegt der Betrag von z über 1,96, ist der Unterschied auf dem 5-Prozent-Niveau signifikant. In Excel liefert die Formel =2*(1-NORM.S.VERT(ABS(z);WAHR)) den zugehörigen p-Wert. Ein vollständig durchgerechnetes Beispiel mit 10.000 Besuchern je Variante steht im Beitrag zum p-Wert.
Signifikant heißt, der Zufall ist als Erklärung unwahrscheinlich. Ob sich der Effekt lohnt, ist eine zweite Frage, die der Test nicht beantwortet.
Drei Wege zu falschen Signifikanzen
- Viele Tests gleichzeitig. Wer zwanzig Varianten ohne echten Effekt testet, bekommt mit rund 64 Prozent Wahrscheinlichkeit mindestens ein signifikantes Ergebnis. Bei mehreren Vergleichen muss die Schwelle entsprechend strenger werden.
- Ständiges Nachsehen. Einen Test täglich zu prüfen und bei der ersten Signifikanz zu stoppen, erhöht die Rate falscher Alarme deutlich. Laufzeit vorher festlegen oder Verfahren nutzen, die Zwischenblicke einplanen, etwa bayesianische Tests.
- Nachträglich Segmente suchen. Wenn der Gesamttest nichts zeigt, findet sich fast immer ein Gerät, eine Region oder ein Wochentag mit Signifikanz. Solche Funde sind Hypothesen für den nächsten Test, keine Ergebnisse.
Besser als ein reines Ja oder Nein ist deshalb fast immer das Konfidenzintervall: Es zeigt, wie groß der Effekt vermutlich ist und wie unsicher diese Schätzung.