Kostenlos testen Login
Home » Blog » Die 6 häufigsten Fehler beim A/B-Testing

Die 6 häufigsten Fehler beim A/B-Testing

4. Juni 2018

Testing_Fehler_Newsletter2Go

Was ist A/B-Testing und wofür wird es benötigt?

Mit einem A/B-Testing haben Sie die Möglichkeit, verschiedene Varianten Ihres Mailings zu testen. Dabei können sich diese im Inhalt, der Betreffzeile oder im Absender unterscheiden. Mit Hilfe Ihrer Newsletter Software, die ein A/B-Testing Tool beinhaltet, werden diese Varianten automatisch gegeneinander getestet. D.h. eine bestimmte Empfängergruppe erhält Variante A und eine andere Empfängergruppe erhält Variante B. Allerdings können Sie einige Fehler beim A/B-Testing machen, die das Ergebnis verfälschen. Wie Sie diese vermeiden und weitere Tipps für ein erfolgreiches E-Mail Marketing, erfahren Sie im folgenden Beitrag.

1. Fehler: Sie haben keine Hypothese

Testen Sie niemals ohne sich vorher eine Hypothese zu überlegen. Was erwarten Sie von dem Test, welche Variante wird warum besser oder schlechter performen. Ohne eine Hypothese können Sie Ergebnisse gar nicht genau nachvollziehen und ein Fazit aus Ihrem Test ziehen. Nehmen wir zum Beispiel ein Schuh-Unternehmen mit einer passablen Öffnungsrate. Es fragt sich aber, warum so wenige Empfänger auf den Call-to-Action Button (CTA) drücken – also warum die Klickrate so schlecht ist. Deshalb möchte das Unternehmen mit Hilfe eines A/B-Testings herausfinden, ob es an der Position des Buttons liegt und erstellt ein Mailing mit mehreren Varianten der Button-Position. Die Hypothese der Unternehmens ist, dass die Variante mit einem Button gleich zu Beginn des Mailings am erfolgreichsten sein wird. Diese Hypothese wird sich am Ende bestätigen oder nicht, vielleicht wird das Ergebnis aber auch nicht eindeutig genug sein. Woran das liegen könnte, lesen Sie weiter unten.

2. Fehler: Sie testen zu viele Varianten parallel

Generell ist es empfehlenswert, nur eine Veränderung vorzunehmen und diese in unterschiedlichen Varianten zu testen. Unser Schuh-Unternehmen testete im neuen Design der Newsletter, allerdings die Position der Buttons erneut und fügte noch einige Varianten hinzu. Dort waren die Buttons dann nicht mittig, sondern nach links eingerückt. Da das Schuh-Unternehmen bereits einen Test zu der Button-Position laufen hat, verfälscht der neue Test, nun das Ergebnis des laufenden Tests und am Ende wird wahrscheinlich die falsche Variante gewinnen. Empfehlenswert ist es daher, nur wenige Varianten zu testen.

3. Fehler: Es laufen mehrere Tests gleichzeitig

Wenn mehrere Tests gleichzeitig laufen verfälscht es das Ergebnis und Sie haben ein fehlerhaftes A/B-Testing. Das Schuh-Unternehmen hat im Test mehrere Veränderungen vorgenommen. Anstatt nur die Position des Buttons zu verändern, wurde gleichzeitig auch die Farbe der jeweiligen Buttons verändert. Das beeinflusst die Auswertung natürlich, denn am Ende des A/B-Test ist es nicht möglich zu sagen, ob die Position oder die Farbe für die Verbesserung der Klickrate verantwortlich waren.

4. Fehler: Ihre Testgruppe ist zu klein

Es lohnt sich schon, eine ausreichend große Gruppe auszuwählen, um einen erfolgreichen Test zu erhalten. Mit Hilfe der Segmentierung von Empfängern haben Sie wahrscheinlich schon gegliederte Empfängerlisten und müssen sich nun nur noch für eine Liste entscheiden.

Haben Sie generell nicht so viele Newsletter-Empfänger lohnt sich ein A/B-Testing wahrscheinlich gar nicht, da Sie keine aussagekräftigen Ergebnisse erhalten werden.

5. Fehler: Testzeitraum nicht ausreichend

Für Ihr erfolgreiches E-Mail Marketing ist es empfehlenswert, das A/B-Testing über einen gewissen Zeitraum laufen zu lassen. Das Schuh-Unternehmen hat den Zeitraum für seinen A/B-Test auf drei Tage beschränkt. Da es seine Newsletter allerdings wöchentlich verschickt, besteht der Fehler des A/B-Testings darin, dass diese drei Tage nicht ausreichen werden, um ein adäquates Resultat hervorzubringen.

Je nachdem wie häufig Sie Ihr Mailing versenden, wäre mindestens eine Woche als Testzeitraum anzusehen. Besser ist es allerdings, sich für den Test mehrere Wochen Zeit zu nehmen, um signifikante Ergebnisse zu erlangen.

6. Fehler: Test zu früh beendet

Führen Sie Ihren Test lang genug fort. Beenden Sie Ihr Testing zu früh, weil Sie denken, Sie haben bereits Ihr gewünschtes Ergebnis, kann dies eine Fehleinschätzung sein. Denn Sie haben kein statistisch signifikantes Ergebnis. Es lohnt sich, eine Zeit abzuwarten, sodass entsprechend viele Conversions vorliegen, die verglichen werden können.. Mit diesem Ergebnis können Sie arbeiten und sicher sein, dass es aussagekräftig genug ist.

Definieren Sie Ihre Ziele und stellen Hypothesen auf. Mit dem Test einer Veränderung an einer ausreichend großen Testgruppe und über einen längeren Zeitraum, erhalten Sie aussagekräftige Ergebnisse für ein erfolgreiches E-Mail Marketing. Viel Erfolg beim Erstellen Ihres A/B-Testings. Probieren Sie es aus!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

    Newsletter2Go verwendet Cookies, um Ihnen den bestmöglichen Service zu gewährleisten. Wenn Sie auf der Seite weitersurfen stimmen Sie der Cookie-Nutzung zu. Ich stimme zu.