Warum Bayesian Causal Impact ehrlicher ist als der Vorjahresvergleich

Über Jahrzehnte war der Vergleich denkbar einfach. Man nahm den Umsatz in einem Zeitraum, stellte ihn dem gleichen Zeitraum im Vorjahr gegenüber, und die Differenz galt als Erfolg oder Misserfolg der eigenen Arbeit. Dieser Vorjahresvergleich steckt bis heute in fast jedem Reporting. Er ist intuitiv, schnell und leider in den meisten Fällen irreführend. Wir zeigen, warum, und warum ein Verfahren wie Bayesian Causal Impact der ehrlichere Vergleich ist.

Das stille Versprechen des Vorjahresvergleichs

Wenn wir den März dieses Jahres mit dem März des Vorjahres vergleichen, machen wir eine unausgesprochene Annahme. Wir tun so, als wäre alles andere gleich geblieben und nur unsere Maßnahme hätte sich geändert. Genau diese Annahme ist fast immer falsch. Zwischen den beiden Märzen liegt ein ganzes Jahr, in dem sich unzählige Dinge verändert haben.

Die Konjunktur war anders, vielleicht gab es eine Preiserhöhung, ein Wettbewerber ist dazugekommen oder verschwunden, das Wetter war anders, ein Feiertag fiel auf einen anderen Wochentag, die Klickpreise auf den Plattformen haben sich verschoben, und die Stimmung der Verbraucher war eine andere. Der Vorjahresvergleich wirft all diese Unterschiede in einen Topf und schreibt sie stillschweigend unserer Maßnahme zu.

Warum die Umstände nie gleich sind

Marketing findet nicht in einem Labor statt, sondern in einem offenen Markt, der von außen ständig beeinflusst wird. Diese äußeren Einflüsse sind oft größer als der Effekt der eigenen Maßnahme. Eine gute Kampagne in einem schwachen Wirtschaftsjahr kann im Vorjahresvergleich schlechter aussehen als eine mittelmäßige Kampagne in einem starken Jahr. Der Vergleich belohnt dann nicht die bessere Arbeit, sondern das günstigere Umfeld.

Was Bayesian Causal Impact anders macht

Der entscheidende Unterschied ist, dass Causal Impact nicht stur einen früheren Zeitraum nimmt, sondern aktiv ein Was-wäre-wenn rekonstruiert. Es lernt aus der Vorgeschichte das normale Verhalten deiner Kennzahl, und es nutzt Vergleichsgrößen, die denselben äußeren Einflüssen unterliegen, aber von deiner Maßnahme unberührt sind, etwa ein Markt ohne die Kampagne. Dadurch fließen Konjunktur, Saison und Markttrend in das synthetische Szenario ein und werden aus dem Effekt herausgerechnet.

Der Mehrwert der Unsicherheit

Ein Vorjahresvergleich liefert immer eine glatte Zahl, plus zwölf Prozent, fertig. Er sagt nie, wie sicher diese Zahl ist. Bayesian Causal Impact dagegen gibt zu jedem Effekt ein Konfidenzintervall an. Du siehst nicht nur, dass der Effekt vermutlich positiv war, sondern auch, wie verlässlich diese Aussage ist. Ein Effekt, dessen Intervall sauber im positiven Bereich liegt, ist eine belastbare Erkenntnis. Reicht das Intervall bis ins Negative, weißt du, dass du vorsichtig sein musst. Diese Ehrlichkeit fehlt dem Vorjahresvergleich vollständig.

Wann der einfache Vergleich noch reicht

Fairerweise, der Vorjahresvergleich ist nicht immer wertlos. Für einen groben Überblick über die Geschäftsentwicklung taugt er. Gefährlich wird er erst, wenn aus ihm konkrete Wirkungs-Aussagen und Budget-Entscheidungen abgeleitet werden. Sobald du wissen willst, ob eine bestimmte Maßnahme funktioniert hat, ist der einfache Vergleich zu grob, weil er die veränderte Welt nicht herausrechnet. Genau dort beginnt der Bereich, für den Causal Impact gemacht ist.

In Vectalyze ist Causal Impact deshalb fest eingebaut. Du wählst die Maßnahme und den Zeitpunkt, das System baut das synthetische Szenario und zeigt dir den echten Effekt mit Unsicherheitsband. Was früher eine Statistiker-Aufgabe war und meist durch einen schnellen Vorjahresvergleich ersetzt wurde, ist damit für jedes Team in wenigen Klicks erreichbar. Wie du so ein Experiment Schritt für Schritt selbst aufsetzt, zeigen wir im Beitrag zum Causal-Impact-Experiment.