Forecast-Genauigkeit messen: MAPE, WAPE, Bias und Rolling Forecast
Welche Kennzahl sagt, wie gut eine Prognose ist? Warum der MAPE bei kleinen Werten täuscht, was der Bias verrät und wie ein Rolling Forecast die Messung verbessert.
Eine Prognose, deren Treffsicherheit niemand misst, ist eine Meinung mit Nachkommastellen. Die Messung ist nicht schwer, es gibt aber mehr als eine Kennzahl, und die bekannteste davon führt bei kleinen Werten zuverlässig in die Irre. Hier stehen die vier Zahlen, die man braucht, und wie man sie liest.
In drei Sätzen
- 01Der MAPE ist verbreitet, wird aber durch einzelne kleine Istwerte verzerrt. Der WAPE ist robuster.
- 02Der Bias zeigt, ob eine Prognose systematisch zu hoch oder zu niedrig liegt, das sieht man im MAPE nicht.
- 03Für Prognosen mit Bandbreite zählt, wie oft der Istwert tatsächlich in der Bandbreite landet.
Die vier Kennzahlen
| Kennzahl | Formel in Worten | Beantwortet |
|---|---|---|
| MAPE | Durchschnitt der prozentualen Abweichungen, je Periode vom Istwert aus | Wie weit liege ich im Mittel daneben, in Prozent? |
| WAPE | Summe der absoluten Abweichungen geteilt durch Summe der Istwerte | Wie groß ist der Fehler im Verhältnis zum Gesamtvolumen? |
| Bias | Summe von Prognose minus Ist geteilt durch Summe der Istwerte | Schätze ich systematisch zu hoch oder zu niedrig? |
| Trefferquote | Anteil der Perioden, in denen der Istwert in der Prognose-Bandbreite lag | Stimmt die angegebene Unsicherheit? |
Ein Rechenbeispiel, das den Unterschied zeigt
Vier Wochen Leads einer Kampagne, Prognose gegen Ist. In der vierten Woche lief die Kampagne wegen eines Feiertags kaum.
| Woche | Ist | Prognose | Abweichung | in % vom Ist |
|---|---|---|---|---|
| 1 | 100 | 90 | 10 | 10 % |
| 2 | 80 | 85 | 5 | 6 % |
| 3 | 120 | 110 | 10 | 8 % |
| 4 | 10 | 20 | 10 | 100 % |
| Summe | 310 | 305 | 35 |
Der MAPE ist der Durchschnitt der letzten Spalte und liegt bei 31 Prozent. Der WAPE ist 35 geteilt durch 310, also 11 Prozent. Beide beschreiben dieselbe Prognose. Der MAPE wird von einer einzigen Woche mit zehn Leads dominiert, in der zehn Leads Abweichung sofort hundert Prozent sind. Wer Kampagnen mit schwankendem Volumen bewertet, sollte deshalb den WAPE nehmen.
Der Bias liegt bei minus 5 geteilt durch 310, also knapp minus 2 Prozent: Die Prognose liegt über die vier Wochen minimal zu niedrig, aber ohne erkennbare Schieflage. Ein Bias von plus 15 Prozent über mehrere Monate wäre dagegen ein Hinweis, dass jemand systematisch zu optimistisch plant, auch wenn der MAPE unauffällig bleibt.
Ein kleiner Fehler, der immer in dieselbe Richtung zeigt, ist gefährlicher als ein großer, der sich ausgleicht.
Die Bandbreite prüfen
Gute Prognosen geben nicht nur einen Wert, sondern ein Intervall an, etwa ein 95-Prozent-Band. Dann gibt es eine einfache und strenge Prüfung: Über viele Perioden sollten etwa 95 Prozent der Istwerte im Band liegen. Liegen nur 70 Prozent darin, ist das Modell zu selbstsicher. Liegen alle darin und das Band ist sehr breit, ist es zu vorsichtig, um nützlich zu sein. Mehr zur Bedeutung solcher Bänder im Beitrag zum Konfidenzintervall.
Rolling Forecast statt starrem Jahresplan
Für die Genauigkeitsmessung hat das einen Vorteil: Jede Periode wird mehrfach prognostiziert, mit zwölf, sechs und einem Monat Vorlauf. So sieht man, wie schnell die Prognose besser wird, wenn der Termin näher rückt, und ab welchem Vorlauf sie für Budgetentscheidungen taugt.
Wie oft und womit vergleichen
- Gegen eine naive Prognose. Ist das Modell besser als „nächste Woche wie letzte Woche" oder „wie im Vorjahr"? Wenn nicht, ist es überflüssig.
- Nur mit Daten, die das Modell nicht kannte. Wer die Genauigkeit auf den Trainingsdaten misst, misst, wie gut sich das Modell erinnert.
- Getrennt nach Vorlauf und Kampagne. Ein Durchschnitt über alles verdeckt, wo die Prognose versagt.
Welche Verfahren sich für Marketingprognosen eignen, steht im Beitrag zu den Forecast-Methoden, wie ein Modell mit Trend und Saison arbeitet, im Beitrag zum Kalman-Filter.