Kampagnenauswertung – ein wissenschaftliches Experiment

Um den Absatz, die Kundenbindung oder die Bekanntheit zu erhöhen, investieren Unternehmen oft hohe Summen in Marketingkampagnen. Doch erzielen diese überhaupt die gewünschte Wirkung? Und wenn ja, in welchem Maße können sie zum Unternehmenserfolg beitragen? Häufig lässt sich das an monetären Ergebnissen ablesen. Doch worauf muss dabei geachtet werden? Was sind die ausschlaggebenden Kennzahlen, auf welche man bei der Kampagnenauswertung achten muss?

Dieser Artikel gibt einen Einblick in verschiedene Test- und Auswertungsmethoden, welche Dir helfen werden, zukünftige Kampagnen erfolgreicher zu gestalten. Indem Du jede Kampagne als wissenschaftliches Experiment angehst, erhälst Du tiefere Einblicke. Und durch tieferes Verständnis maximierst Du Deinen Erfolg!

Beispielsweise gehört zur Auswertung eines Newsletter nicht nur die Opening-Raten. Haben die aktiven Kunden denn auch einen höheren Umsatz generiert? Der Erfolg einer Kampagne setzt sich aus verschiedenen Faktoren zusammen.

Testmethoden

Um tiefere Einblicke in eine Kampagne zu bekommen, gibt es verschiedene Ansätze. Je nach Art passen jeweils verschiedene Kampagnenauswertungen besser.

Generell empfiehlt es sich beim Testaufbau von Kampagnen mit Kontrollgruppen zu arbeiten. Damit schafft man eine Vergleichsgrundlage für die Ergebnisse. Bei dieser handelt es sich um eine kleine Gruppe der Kunden, an die sich die Kampagne richtet. Sie ähnelt in ihrer Struktur der Zielgruppe und repräsentiert diese in ihrer Zusammensetzung an demographischen Merkmalen, Kaufverhalten, Geschlecht, etc… Diese sollte in etwa 5-10% Ihrer Zielgruppe umfassen. Bei kleineren Zielgruppen mit wenigen Tausenden Personen ein wenig mehr, ca. 10-20%.

A/B Test – unterschiedliches Angebot, gleiche Kunden

Der A/B-Test ist eine der gängigsten Testmethoden, um der Wirkung von Kampagnen auf den Zahn zu fühlen. Dazu gibt es zwei Ansätze: entweder wird mit einer Nullgruppe oder mit zwei verschiedenen Kampagnen gearbeitet. Bei der ersten Methode kommt der eine Teil der Kunden mit einer Marketingkampagne in Berührung, beispielsweise mit einem Zusatzkatalog oder einem Sonderangebot. Die andere Gruppe erhält hingegen nichts. Vergleicht man nun die Perfomance der beiden Gruppen, so lässt sich daraus der Erfolg der Kampagne ablesen.

Möchte man nun aber Kampagnen optimieren und herausfinden, was diese erfolgreich macht, so arbeitet man ebenfalls mit zwei Kundengruppen der gleichen Struktur. Dieses Mal bekommen beide Gruppen eine Kampagnen – allerdings zwei unterschiedliche. Um beim Beispiel des Zusatzkataloges zu bleiben, ändern wir an diesem für die zweite Kundengruppe nun ein Merkmal ab – etwa das Titelbild. Nun lässt sich wieder die Perfomance der beiden Gruppen untereinander vergleichen. Dadurch kann ermittelt werden, welche Kampagne erfolgreicher verlief. Wichtig ist hierbei, dass sich die Kampagnen nur in einer Variablen unterscheiden, um so gezielte Schlussfolgerungen ziehen zu können.
Diese Tests können auch als A/B/n-Tests durchgeführt werden, „n“ steht dabei für eine weitere Variante, also eine weitere Gestaltungsmöglichkeit eines Titelbildes zum Beispiel. Das Testen mehrerer Varianten parallel erfordert allerdings einen größeren Pool an Kunden, um valide Ergebnisse erzielen zu können.

Diese Tests finden vor allem Anwendung, um verschiedene Werbemaßnahmen zu vergleichen. Anschließend kann das beste Ergebnis ausgewählt und dadurch die Kampagne optimiert werden.

Die Ergebnisse eines solchen Tests können beispielsweise wie folgt aussehen:

	Kundenanzahl	Response-Quote	Ø Umsatz
Angebot A	500	3%	110 Euro
Angebot B	500	4%	114 Euro

Der Test lässt sich aber auch umkehren. Du stellst Dir die Frage, welche Kundengruppen am besten auf Dein Angebot reagieren, um besseres Targeting dafür einsetzten zu können? Dazu muss man zunächst mit heterogenen Kundengruppen arbeiten und deren Resonanz auf das Angebot messen. Quasi in Form eines umgekehrten A/B-Testes. Wie das funktioniert, erklären wir im nächsten Absatz anhand einer speziellen Form des A/B-Testes, nämlich dem Champion-Challenger Ansatz.

Champion Challenger – unterschiedliche Kunden, gleiches Angebot

Dieser Testaufbau lässt sich am besten an einem Beispiel beschreiben. Gehen wir einmal davon aus, dass wir unseren besten Kunden ein Sonderangebot zukommen lassen wollen. Doch wer sind eigentlich die besten Kunden? Um diese zu ermitteln wenden wir unser übliches, schon oft erprobtes Vorgehen an – das ist der aktuelle Champion. Dem gegenüber steht nun aber eine neue Methode, welche den Champion herausfordert – der sogenannte Challenger.

Bei dem jeweils ausgewählten Kundenkreis stellt man fest, dass sich ein Großteil überschneidet, also von beiden Modellen ausgewählt wurde. Daher betrachtet man für die Auswertung der Ergebnisse nur jene Kunden und deren Umsätze, welche sich nicht in der Schnittmenge befunden haben.

Die Ergebnisse diesen Tests könnten so aussehen.

	Kundenanzahl	Response-Quote	Ø Umsatz
Kundengruppe Champion	500	5%	100 Euro
Kundengruppe Challenger	500	7%	130 Euro

Diese Methode ist ein guter Ansatz um neue Ideen und Entwicklungen im kleinen, kostensparenden Rahmen zu erproben. Dadurch wird das Risiko gesenkt, dass eine Innovation nicht den gewünschten Erfolg erzielt. Im Grunde funktioniert der Ansatz auf dieselbe Weise wie der A/B-Test, wird aber eher für Strategien angewandt, um diese auszutesten.

Nach dem nun beschriebenen Tests von Marketingkampagnen liegen uns nun einige Ergebnisse vor. Doch was nun? Zunächst sollte man die Ergebnisse nicht vorschnell als bare Münze nehmen. Um tatsächlich valide Schlussfolgerungen ziehen zu können, ist es wichtig, ein wenig tiefer in die Materie einzutauchen und sich intensiver mit den Auswertungsergebnissen zu befassen.

Auswertungsmethoden

Meist erkennt man relativ schnell mit einfachen Auswertungstool erste Ergebnisse einer Marketingkampagne. Wie viele Kunden haben einen Newsletter geöffnet, wie viele sind dadurch auf die Webseite gelangt und wie viel Umsatz wurde dadurch generiert. Doch blickt man ein wenig tiefer in die Datensätze, so erkennt man, dass die Durchschnittswerte, welche man zunächst grob ausgerechnet hat, durch einzelne Daten verzogen und somit verfälscht werden können. Ausreißer beeinflussen Ergebnisse oft. Vor allem im Business-to-Business-Sektor ist die Wahrscheinlichkeit nicht gering, dass mehrere Tausend Euro Umsatz durch einen einzigen Kunden generiert worden sind, welcher das Ergebnis zunächst sehr positiv erscheinen lässt, die Durchschnittswerte aber in eine unrealistische Richtung verzerrt.
Um mit diesen Daten richtig umzugehen, können sie isoliert betrachtet werden oder es erfolgt eine Deckelung der Umsatzhöhe.

t-Tests

Der t-Test ist die gebräuchlichste Methode in der Statistik, um Mittelwerte zweier Gruppen zu vergleichen.
Mit dem t-Test lässt sich ermitteln, ob zwei verschiedene Stichproben signifikant unterschiedlich sind. Hierzu werden also zwei Stichproben benötigt – perfekt für die Ergebnisse der bereits beschrieben A/B-Tests. Gehen wir beispielsweise davon aus, dass Gruppe A, welche einen Katalog mit einem roten Titelbild erhalten hat, höhere Umsätze erzielt, als Gruppe B, welche ein blaues Titelbild zugesendet bekam. Doch ist dieser Effekt wirklich statistisch signifikant? Dies kann durch den Test überprüft werden.

Schauen wir uns als Beispiel nochmal unseren ersten A/B-Test an, so ist das Ergebnis nicht signifikant, da Gruppe B zwar im Schnitt einen höheren Umsatz generiert, die Abweichungen innerhalb dieser Ergebnisse aber sehr schwanken. Hier kann man also schlussfolgern, dass Angebot B keine besseren Ergebnisse liefert als Angebot A.

Bei unserem zweiten Test hingegen unterscheiden sich die Mittelwerte des Umsatzes deutlicher, zudem sind die Abweichungen innerhalb der Umsätze nicht so groß. Das Ergebnis ist daher signifikant, was bedeutet, dass das Angebot in Kundengruppe B (Challenger) relevant bessere Ergebnisse erzielt.

Generell muss man darauf achten, dass bei einer großen Datenmenge, also bei vielen Kundendaten, bereits kleine Abweichungen ausreichen, damit der Test signifikant ist. Bei wenigen Kunden sind dafür größere Abweichungen nötig.

Aber keine Sorge, Du musst kein Mathefreak sein und auch keinen Taschenrechner zücken, um einen t-Test anzuwenden. Mit Excel und Online-Rechnern lässt sich das ganz einfach lösen. Auch wir haben für unser Beispiel einen Online-Rechner benutzt. Diesen findest Du hier:

https://www.graphpad.com/quickcalcs/ttest1.cfm

Voraussetzung für die Anwendung des t-Testes ist, dass die Grundgesamtheiten normalverteilt vorliegen. Ist dies nicht der Fall, so muss auf andere statistische Verfahren zurückgegriffen werden – beispielsweise  Bootstrapping.

Bootstrapping

Wie funktioniert das? Grob gesagt werden dabei immer wieder kleinere Stichproben aus der Gesamtdatenmenge gezogen, es wird ein Resampling durchgeführt. Es werden also durch die Annahme, dass die Verteilungsfunktion ihrer empirischen Verteilungsfunktion entspricht, weitere Datensätze generiert.

Üblicherweise werden zwischen 1000 und 10.000 weitere Stichproben aus der vorhandenen Datenmenge gezogen. Logischerweise mit zurücklegen, anderenfalls hätte man das exakt selbe Ergebnis der ursprünglichen Datenmenge vorliegen. Durch die Ziehungen liegen also manche Datenpunkte mehrfach vor, andere dafür möglicherweise gar nicht.

Der Name Bootstrapping leitet sich übrigens von einem englischen Sprichwort ab: „Sich an den eigenen Füßen aus dem Sumpf ziehen.“ Der Bedarf an weiteren Stichproben wird nämlich aus der eigenen, bereits vorhandenen Stichprobe gedeckt. Dadurch wird die Zuverlässigkeit von Signifikanztests und die Konfidenzintervalle verbessert.

Um Bootstrapping anwenden zu können muss man in Statistik nicht mit einer 1,0 abgeschnitten haben. Kontaktiere uns gerne für einen Auszug eines Codes von Paraboost, durch welchen sich Bootstrapping ganz leicht umsetzten lässt.