Holdout-Test und Geo-Test: So misst du die echte Wirkung eines Kanals
Attribution verteilt Verkäufe, ein Test zeigt, ob sie ohne den Kanal ausgeblieben wären. Wie Holdout- und Geo-Tests funktionieren, mit Rechenbeispiel und fünf Planungsregeln.
Attribution verteilt Verkäufe auf Kanäle. Sie beantwortet aber nicht, ob diese Verkäufe ohne den Kanal ausgeblieben wären. Dafür gibt es nur einen direkten Weg: Man lässt einen Teil des Marktes bewusst ohne Werbung und vergleicht. Die zwei gängigen Formen heißen Holdout-Test und Geo-Test.
In drei Sätzen
- 01Ein Holdout-Test schließt zufällig ausgewählte Personen von der Werbung aus, ein Geo-Test ganze Regionen.
- 02Der Unterschied zwischen Test- und Kontrollgruppe ist die zusätzliche Wirkung, unabhängig von jeder Attribution.
- 03Beide Tests brauchen genug Volumen und Laufzeit, sonst geht ein echter Effekt im Zufall unter.
Holdout-Test
Ein Beispiel: Eine Retargeting-Kampagne erreicht eine Million Menschen. 10 Prozent werden zufällig ausgeschlossen. In der Testgruppe kaufen 2,4 Prozent, in der Kontrollgruppe ohne Anzeigen 2,0 Prozent. Die relative Steigerung liegt bei 20 Prozent. Bei 900.000 Menschen in der Testgruppe sind das 0,4 Prozentpunkte mal 900.000, also 3.600 zusätzliche Käufe. Von den 21.600 Käufen der Testgruppe gehen damit nur rund 17 Prozent auf die Kampagne zurück, der Rest wäre ohnehin gekommen.
Bei 50.000 Euro Budget und 60 Euro Bestellwert ergibt das 216.000 Euro zusätzlichen Umsatz, einen inkrementellen ROAS von 4,3. Ob das reicht, entscheidet die Marge, siehe Was ist ein guter ROAS?
Meta und Google bieten solche Tests als Conversion-Lift-Studien direkt in ihren Werbekonten an, teils mit Mindestbudgets und Freischaltung. Der Nachteil: Sie messen nur Menschen, die die Plattform selbst identifizieren kann, und sie werden von dem Anbieter ausgewertet, dessen Kanal geprüft wird.
Geo-Test
Weil nicht Personen, sondern Regionen verglichen werden, braucht ein Geo-Test kein Tracking auf Personenebene und keine Einwilligung. Er erfasst auch Wirkungen, die über andere Wege ankommen, etwa die Suche nach dem Markennamen nach einer Videoanzeige oder den Kauf im Laden. Dafür sind Regionen nie so gleich wie zufällige Personengruppen. Deshalb vergleicht man nicht einfach Region A mit Region B, sondern baut aus mehreren Kontrollregionen einen Vergleichsverlauf, der die Testregion vor dem Test möglichst genau nachzeichnet. Das Verfahren dahinter heißt Synthetic Control.
Welcher Test wann?
| Holdout-Test | Geo-Test | |
|---|---|---|
| Einheit | Personen oder Nutzerkonten | Regionen |
| Braucht Tracking | ja, auf Personenebene | nein, Umsatz je Region reicht |
| Erfasst Wirkung über andere Kanäle | eingeschränkt | ja |
| Gut für | Retargeting, E-Mail, einzelne Kampagnen auf einer Plattform | ganze Kanäle, TV, Plakat, Video, Budgetstufen |
| Schwachstelle | Plattform wertet sich selbst aus, Gerätewechsel | Regionen unterscheiden sich, lokale Ereignisse stören |
Attribution sagt, wer beim Kauf dabei war. Ein Holdout sagt, ob es ohne ihn auch geklappt hätte.
Fünf Regeln für die Planung
- Vorher festlegen, was gemessen wird. Zielgröße, Laufzeit und Mindesteffekt stehen vor dem Start fest, nicht nach dem ersten Blick in die Zahlen.
- Größe rechnen. Kleine Effekte brauchen große Gruppen. Wie man die nötige Größe bestimmt, zeigt der Beitrag zur Stichprobengröße.
- Lange genug laufen lassen. Mindestens einen vollen Kaufzyklus plus die Zeit, in der Werbung nachwirkt, siehe Adstock. Kürzer als vier Wochen ist selten sinnvoll.
- Nichts anderes ändern. Parallel gestartete Aktionen in nur einer Gruppe machen den Test wertlos.
- Unsicherheit mitberichten. Ein Lift von 20 Prozent mit einem Intervall von minus 5 bis plus 45 ist ein anderes Ergebnis als eines von 15 bis 25, siehe Konfidenzintervall.
Die Ergebnisse solcher Tests sind die beste Grundlage, um Modelle zu kalibrieren. Ein Marketing-Mix-Modell, dessen Kanalwirkung zu den Testergebnissen passt, ist deutlich belastbarer als eines, das nur aus Zeitreihen geschätzt wurde.