Regression zur Mitte: Warum die schlechtesten Kampagnen von selbst besser werden
Überarbeite die fünf teuersten Kampagnen, und im nächsten Monat sind sie besser. Ein großer Teil davon wäre auch ohne Änderung passiert. Was hinter dem Effekt steckt und wie du ihn herausrechnest.
Nimm die fünf Kampagnen mit den schlechtesten Kosten je Conversion aus dem letzten Monat, überarbeite sie, und im nächsten Monat sind sie fast immer besser. Das fühlt sich an wie ein Beweis für gute Arbeit. Ein großer Teil davon wäre aber auch ohne jede Änderung passiert. Das Phänomen heißt Regression zur Mitte, und es gehört zu den teuersten Denkfehlern in der Kampagnenoptimierung.
In drei Sätzen
- 01Extreme Messwerte bestehen aus echter Leistung plus Zufall, und der Zufall wiederholt sich nicht.
- 02Wer die schlechtesten Kampagnen auswählt, wählt auch die mit dem meisten Pech aus. Sie verbessern sich von selbst.
- 03Nur eine Vergleichsgruppe ohne Änderung zeigt, wie viel der Verbesserung wirklich von der Maßnahme kommt.
Die Definition
Beschrieben hat den Effekt der britische Forscher Francis Galton im 19. Jahrhundert: Sehr große Eltern hatten im Schnitt Kinder, die zwar groß, aber weniger extrem groß waren. Nicht weil die Kinder schrumpften, sondern weil die außergewöhnliche Größe der Eltern zum Teil Zufall war, der sich nicht vererbt.
Ein Experiment mit 40 Kampagnen
Wir haben es simuliert: 40 Kampagnen, deren tatsächliche Kosten je Conversion rund um 50 Euro liegen, mit den üblichen Schwankungen von Monat zu Monat. Im ersten Monat werden die fünf teuersten ausgewählt. Dann passiert nichts, keine Änderung, keine Optimierung. Wiederholt über 2.000 Durchläufe ergibt sich:
| Monat 1 | Monat 2, ohne jede Änderung | |
|---|---|---|
| CPA der fünf teuersten Kampagnen | rund 71 € | rund 53 € |
| Scheinbare Verbesserung | etwa 25 % |
Eine Verbesserung um ein Viertel, ganz ohne Maßnahme. Hätte in dieser Zeit jemand die Gebote angepasst und Anzeigen ausgetauscht, hätte der Bericht einen klaren Erfolg gezeigt, egal ob die Änderungen etwas gebracht haben.
Wer immer nur die schlechtesten Kampagnen anfasst, wird jeden Monat Erfolge melden, und nie wissen, welche davon echt sind.
Wo der Effekt im Marketing täuscht
- Optimierung der Schlusslichter. Die schwächsten Anzeigen, Keywords oder Kampagnen verbessern sich nach jeder Änderung.
- Kürzung der Spitzenreiter. Umgekehrt fällt die beste Kampagne des Vormonats fast immer ab, und wer ihr deshalb Budget streicht, reagiert auf Zufall.
- Maßnahmen nach einem Einbruch. Wer nach der schlechtesten Woche des Jahres eine neue Agentur, Strategie oder Landingpage einführt, sieht danach fast sicher eine Erholung.
- Neue Mitarbeiter und Tools. Eingeführt wird meist, wenn es gerade schlecht läuft. Die Erholung wird dann dem Neuen zugeschrieben.
Wie du den Effekt herausrechnest
Das Gegenmittel ist immer dasselbe: eine Vergleichsgruppe. Teile die schwachen Kampagnen zufällig in zwei Hälften, überarbeite nur eine davon und vergleiche im nächsten Monat. Beide Hälften werden sich verbessern. Nur der Unterschied zwischen ihnen ist die Wirkung der Überarbeitung. Wie man solche Vergleiche sauber aufsetzt, zeigen die Beiträge zum Causal-Impact-Experiment und zum Holdout-Test.
Wo keine Vergleichsgruppe möglich ist, helfen zwei Dinge. Längere Zeiträume, weil sich Zufall über mehr Daten ausgleicht. Und Vorsicht bei Kampagnen mit wenigen Conversions, denn je kleiner die Zahlen, desto größer der Zufallsanteil und desto stärker die Rückkehr zur Mitte. Modelle, die kleine Datenmengen zum Durchschnitt hin korrigieren, wie im Beitrag zur Sättigungskurve mit wenig Daten beschrieben, bauen diesen Effekt bereits ein.