Ein Anfängerhandbuch für A / B Tests

May 8, 2018 By Appy Pie -- Comments


App Erstellen mit Appy Pie, App Hersteller Appy Pie, 9. April 2018: Sie haben eine App entwickelt und sie scheint auf dem richtigen Weg zu sein, um ein gewisses Maß an Erfolg zu erzielen. Heißt das, du bist bereit, deine Füße hochzulegen und einfach die Dinge selbst passieren zu lassen? Natürlich möchten Sie, dass Ihre App immer besser wird. Um dies zu erreichen, müssen Sie Ihre App und App Erfahrung verbessern. Vielleicht haben Sie sogar Feedback und Vorschläge erhalten, wie Sie Ihre App besser und wünschenswerter machen können.

Auch wenn Sie scheinbar brillante Ideen zur Verbesserung Ihrer App erhalten, ist es nur natürlich, dass Sie sich nicht sicher sind, ob Sie diese Änderungen Möglich sind. Würden diese Änderungen Ihre App besser oder schlechter machen? Wie mildern Sie diese Ängste um herauszufinden, ob eine Änderung der Software gut oder schlecht ist und wird ein kontrolliertes Experiment namens A / B Test durchgeführt.

A / B Test ist eine viel genauere Möglichkeit, dies herauszufinden, als einfach zu erraten, anzunehmen oder aus eigener Beobachtung zu beurteilen. A / B Tests werden Ihnen tatsächlich einige Zahlen geben, um eine Version mit der anderen zu vergleichen. Auf diese Weise erhalten Sie eine unvoreingenommene und echte Vorstellung davon, was mit Ihrer App passiert und können Sie dann fundierter Entscheidungen für die Zukunft der App treffen.

Was ist ein A / B Test?

A / B Tests oder Teil Tests wie es manchmal genannt wird, ist der Prozess des Vergleichens zwischen zwei Versionen einer App, einer Zielseite, einer Website usw., um die Vorlieben und Abneigungen Ihrer Zielgruppe auf der Grundlage der Leistung zu verstehen der beiden Versionen unter ähnlichen Umständen. Die Ergebnisse, die Sie aus diesen Tests erhalten, können Ihnen dann helfen, Anpassungen und Änderungen an der App vorzunehmen um dann die Konversion Raten zu optimieren.

In diesem Prozess werden zwei Versionen derselben App in zwei verschiedenen Beispielen der Zielgruppe präsentiert. Der Erfolg der A / B Tests hängt stark von der Größe des Beispiels ab, für das Sie die App testen möchten. Die Glaubwürdigkeit der Erkenntnisse aus diesen Tests ist direkt proportional zur Größe der Stichprobe. Je größer die Stichprobengröße, desto sicherer kann die Glaubwürdigkeit der Testergebnisse sein. Wenn die Anzahl der Personen, die auf den Test antworten, zu gering ist, können sie möglicherweise nicht die Präferenzen der breiten Zielgruppe repräsentieren, die Sie bedienen können.

Warum sollten Sie A / B Tests verwenden?

Als Sie vor dem Aufbau Ihrer App Marktforschung betrieben haben und die Prinzipien sorgfältig analysiert und die Besten Paktierenden Branche befolgt haben,  ist die Wahrscheinlichkeit das Sie immer noch viele Ihrer App Elemente dem Rätselraten überlassen haben!

Zu den häufigsten Annahmen gehört, dass das, was für andere funktioniert, für uns funktionieren wird, dass die Ergebnisse unserer Marktforschung für die Mehrheit unserer Zielnutzer und so viel mehr gelten. Es ist jedoch zwingend notwendig, dass wir diese Annahmen machen, denn wenn wir es nicht tun, dann könnten wir aufgrund unzähliger Zweifel überhaupt nichts tun!

Es gibt jedoch Möglichkeiten, “Ich glaube, wir könnten …” in “Ich weiß, wir können …” und A / B Tests oder Teil Tests der verschiedenen Elemente der App zu drehen. Wenn es solide Daten gibt, die eindeutig belegen, dass Option A besser ist als Option B, wird das Rätselraten aus dem Bild genommen.

A / B Tests haben das Potenzial, zum Kernprinzip Ihrer Konversion Marketing Strategie zu werden und bieten Ihnen Möglichkeiten, Untersuchungen durchzuführen und Lösungen zu finden, um die Anzahl der Besucher zu erhöhen.

Was können Sie A / B testen?

Fast alles, was ein Teil Ihres Marketingmaterials ist, einschließlich der Schlagzeilen, Aufruf zu Aktionen, Inhalten, Bildern usw., können alle A / B getestet werden. Es ist jedoch sinnvoll, die Elemente in Ihrer App zu priorisieren, die das Potenzial haben, Konversion zu beeinflussen. Im Folgenden finden Sie eine Liste von Elementen, mit denen Sie beginnen können:

  • Email Anmelde Option
  • Suchmodalitäten
  • Kopieren und CTA auf der Zielseite
  • Kopieren & CTA auf der Homepage
  • Ablauf der Registrierung oder Kontoerstellung
  • Ablauf des Abmelden
  • Alle CTAs für ihren Text, Design & Placement
  • Elemente der Navigation
  • Komponenten der Führungsform
  • Kopieren und Präsentation eines beliebigen Werbeelements
  • Suchergebnisse
  • Struktur der Preispläne
  • Kostenlos gegen Bezahlung

Der Real A / B Testprozess

Der Prozess des A / B Tests ist nicht etwas, das Sie einmal tun und danach vergessen, sondern es ist ein kontinuierlicher Prozess, der in Ihren Verbesserungszyklus integriert werden muss. Nach dem Shewhart Zyklus der kontinuierlichen Verbesserung oder Prozesse und Produkte gibt es vier Phasen im Zyklus Plan. Tun, prüfen und handeln. Der Grundgedanke dabei ist, Ihr Unternehmen näher an den perfekten Betrieb zu bringen. Perfektion wird jedoch nicht an einem Tag erreicht, weshalb A / B-Tests ein sich wiederholendes Programm sind, anstatt eine einmalige Aktivität zu sein.

1) Daten sammeln

Sobald Sie erkannt haben, dass Sie A / B Tests durchführen müssen, müssen Sie zunächst herausfinden, was Sie durch diese Tests verbessern möchten, und dann die Liste priorisieren. Es gibt zwar ein Element der Annahme, aber es kann unmöglich ein komplettes Rätselraten sein. Der Test muss mit einer Art von Beweis in Form von Daten geführt werden.

Analysen

Analytik ist ein geeigneter Ort, um mit der Datenerfassung zu beginnen. Als App oder Webseiten Besitzer müssen wir sowieso viele Datenanalysen durchführen, was uns ein robustes Wissen schenkt und somit auch einen einfachen Zugang ermöglichst. Die Idee hier ist, die Seiten zu identifizieren, die Probleme haben, einschließlich hoher Seitenaufrufe und hoher Ausgang-, Ausladepunkt oder Absprungraten oder der Seiten, von denen Sie meinen, dass sie besser funktionieren.

Heatmaps

Analytik kann nur die Problemseiten identifizieren und gebt Ihnen jedoch nicht wirklich an, um welches Problem es sich handelt. Heatmaps können Ihnen dabei helfen zu erkennen, wo Leute klicken, wie weit unten die Besucher herunterscrollen und es gibt eine Reihe von Heatmapping Werkzeuge, die sogar für kleinere Unternehmen verfügbar sind.

Umfragen

Umfragen, die direkte und spezifische Fragen stellen, können Ihnen wertvolle Einblicke in die Bereiche Ihrer App oder Website geben, auf denen sich Menschen befinden. Die Umfragen können entweder für die Besucher vor Ort sein oder per Email an die tatsächlichen Kunden gesendet werden.

2) Ziele zuweisen

Nachdem Sie Ihre Daten erfasst und die Seiten identifiziert haben, die Ihre Konversion behindern oder das Potenzial haben, Ihre Konversion zu steigern, müssen Sie diese Seiten priorisieren und ihnen Ziele zuweisen. Wenn Sie klare Ziele zugewiesen haben, können Sie besser entscheiden, welche Seite besser abschneidet  das Original oder die Variante. Priorisierung ermöglicht es Ihnen, nach Potential, Wichtigkeit und Leichtigkeit zu testen.

Potenzial

In der Regel die Seiten, die am schlechtesten funktionieren, und wenn Sie diese Seiten reparieren, haben Sie das höchste Potenzial für Verbesserungen.

Bedeutung

Dies sind die Seiten mit dem höchsten Traffic, haben aber auch die höchsten Absprungs Rate und Austrittsraten, einschließlich derjenigen Seiten, die einen höheren Preis in Ihrem Bestreben haben, mehr Besucher zu ihnen zu bringen. Wenn Sie Verbesserungen an diesen Seiten vornehmen, erhöhen Sie die Konversion und senken somit die CAC oder Kundenakquisitionskosten.

Leichtigkeit

Bei der Priorisierung Ihrer Tests ist ein wichtiger Faktor, der berücksichtigt werden muss, die Einfachheit. Während einige Tests einfach zu implementieren sind, gibt es andere, die ein gewisses technisches Know-how benötigen.

In den meisten Fällen beziehen sich Ihre Ziele aufsteigende Konversion und weniger Abgaben. Konversionen folgen jedoch nicht immer, nachdem ein Besucher nur eine Seite gesehen hat. Als Teil der laufenden A / B Tests würden Sie häufig Klicken Sie auf Ziele, Ziele besuchen und Umsatzziele verwenden. Es ist unmöglich, einen einzigen A / B Test durchzuführen, ohne zuerst die Ziele zu identifizieren.

3) Hypothesen vorschlagen

Wie wir bereits besprochen haben, müssen die A / B Tests zwar kein vollständiges Rätselraten sein, dennoch müssen einige Annahmen zugrunde gelegt werden. Eine Hypothese unterstützt die Annahme, dass das Ändern eines bestimmten Elements auf einer bestimmten Seite ein höheres Engagement, höhere Konversion oder höhere Einnahmen bedeuten würde. Diese Annahmen müssen jedoch realistisch sein und müssen durch Belege gestützt werden.

4) Erstellen Sie verschiedene Versionen

Ganz gleich welches Element Sie testen, eine bestimmte Schaltfläche, eine bestimmte Kopie oder Beschreibung eines Produkts oder einer Dienstleistung neu definieren, die Bannerbildfarben ändern oder andere Änderungen vornehmen, jede dieser Änderungen muss eine robuste Rechtfertigung im Kern haben es. Es bedeutet einfach, dass Sie in dem Moment, in dem Sie nach dem Grund gefragt werden, warum Sie eine bestimmte Änderung vornehmen wollen, eine wohlgeformte Antwort dafür haben sollten.

Nachdem Sie nun genügend Daten gesammelt, potenzielle Bereiche identifiziert, Ziele zugewiesen und Hypothesen für die Änderungen vorgeschlagen haben, sind Sie fast in der Lage, die eigentlichen Tests durchzuführen. Bis zu diesem Zeitpunkt hatten Sie sich auf Informationen verlassen, die Ihnen bereits zur Verfügung standen, für diesen Teil würden Sie sich jedoch wahrscheinlich auf externe Tools verlassen müssen.

5) Führen Sie den A / B Test durch

Nachdem Sie verschiedene Versionen oder Varianten erstellt haben, legen Sie einige Ziele für sie klar fest. Sie können auch das benutzerdefinierte Zielmodus einschließen und dann die eigentlichen Tests ausführen. Dies ist der Zeitpunkt, an dem Sie sich zurücklehnen und warten, bis die Testdauer vorüber ist, damit Sie mit der Analyse der Ergebnisse beginnen können. Das von Ihnen ausgewählte A / B Test-Tool stellt sicher, dass die Besucher Ihrer Seite zufällig auf eine der beiden Varianten treffen und misst anschließend deren Interaktionen für weitere Analysen.

6) Analysieren Sie die Ergebnisse

Nach Abschluss der Tests müssen die Ergebnisse analysiert werden, und es ist diese Phase des Tests, die im gesamten Testprozess am wichtigsten ist. Dieser Teil des Prozesses ermöglicht es Ihnen im Wesentlichen, alles, was Sie aus den Testergebnissen gelernt haben, anzuwenden, so dass Sie einige positive Veränderungen an Ihrem Produkt vornehmen können.

Während Sie die Untersuchung und Analyse der Ergebnisse durchführen, stellen Sie sicher, dass Sie sie im Zusammenhang mit dem Ziel und den Hypothesen betrachten, die Sie zu Beginn definiert haben. Wenn Sie beispielsweise eine Steigerung des Umsatzes testen, ist die Seite, die höhere Einnahmen erzielt, der Gewinner, im Vergleich zu der mit höheren Klickraten oder Anmeldungen. Ob das Ergebnis Ihre Hypothesen unterstützt oder nicht, Sie müssen mit dem Testen fortfahren. Selbst nachdem Sie ein Element identifiziert haben, mit dem Sie Ihre Einnahmen steigern können, müssen Sie weiterhin andere Elemente testen. Nachdem Sie mehrere A / B Tests durchgeführt haben, bemerken Sie, dass ein Muster auftaucht, das anzeigt, welche Änderungen bessere Ergebnisse liefern. Aber eine wichtige Sache, an die Sie sich erinnern sollten, ist, dass die prozentuale Veränderung oder Differenz, die Sie während der Testphase beobachten könnten, nicht zu einer permanenten Veränderung derselben Größenordnung führen kann.

Zu beachtende Punkte für A / B Tests

Nachdem Sie davon überzeugt sind, dass Sie A / B Tests benötigen und sich dafür entschieden haben, damit zu arbeiten, und bevor Sie mit der Verarbeitung beginnen, müssen Sie einige Dinge beachten.

# 1 Seien Sie sicher, was Sie messen möchten

Es ist großartig, dass Sie Verbesserungen vornehmen wollen, aber bevor Sie sich mit den feinen Details befassen, müssen Sie einen robusten Plan entwickeln. Bestimmen Sie die genaue Seite, das Element oder den Parameter, die Sie verbessern möchten, und auf dieser Grundlage müssten Sie den Parameter ermitteln, den Sie zum Testen Ihrer Hypothesen messen wollen.

# 2 Beginne mit einer einzelnen Variable

Wählen Sie zunächst nur ein Element zum Spielen aus, um die Dinge einfach zu halten. Wenn der erste Test funktioniert, kannst du mit weiteren Verbesserungen experimentieren. Klein anfangen würde Sie immer in Sichtweite der Veränderungen halten, die Auswirkungen haben. Durch diese gestaffelten Tests erhalten Sie eine bessere Kontrolle über die Ergebnisse.

# 3 Gehen Sie nicht über die Zeitleiste hinaus

Es stimmt zwar, dass Sie bei der Durchführung eines A / B-Tests etwas Geduld haben, aber die Tests zu lange laufen lassen, könnte die Ergebnisse verfälschen und ihre Gültigkeit verlieren. Sie würden natürlich den Test für mindestens ein oder zwei Wochen durchführen, damit Sie substanzielle Ergebnisse erhalten, aber wenn Sie länger als zwei Monate bleiben, werden nur zu viele Variablen ins Spiel gebracht.

# 4 Sie können nicht einfach aufhören zu testen

Zu denken, dass du jemals mit deiner App fertig werden würdest, ist einfach ein Mythos! Es ist wichtig, dass Sie weiter daran und an Ihrer Website arbeiten, um sicherzustellen, dass die Leistung am besten ist. Ihre Seiten funktionieren möglicherweise alle gut, aber es gibt immer Spielraum für weitere Verbesserungen. Betrachten Sie Ihre App immer als eine fortlaufende Arbeit und verlieren Sie nie die Chance, eine wahrnehmbare Verbesserung zu erzielen.
Wie lange sollten die Tests laufen?

Wir haben darüber gesprochen, die Tests nicht zu lange zu machen, aber wie lange sollten Sie sie am besten laufen lassen? Leider gibt es keine feste Anzahl, wenn es um die Dauer der Tests geht. Die Seiten, die einen höheren Datenverkehr haben, müssen die Tests für eine kürzere Dauer ausführen, da eine gültige statistische Signifikanz früher erreicht wird. Einige Konvertierungsentscheidungen können jedoch etwas länger dauern. Sie dürfen jedoch in diesem Fall nicht aufgeben, sondern den Test noch einige Tage laufen lassen, um zu sehen, ob sich die Ergebnisse wieder trennen. Abgesehen davon müssen auch das Timing und seine Auswirkungen auf den Website-Traffic und die Konversion berücksichtigt werden. Die Zahlen in der Ferienzeit können sich von denen in normalen Tagen unterscheiden.

Als allgemeine Regel gilt, dass Tests für mindestens 10 Tage, vorzugsweise einschließlich 2 Wochenenden, durchgeführt werden dürfen. Der wichtigste zu berücksichtigende Faktor ist jedoch, dass der Test eine gültige statistische Signifikanz in der Periode erreichen muss.

Fazit

A / B Tests sind eine der effektivsten und effizientesten Techniken, um festzustellen, warum eine bestimmte Seite, eine Email-Marketingkampagne oder eine andere Werbekampagne nicht die erhofften Ergebnisse liefert. Obwohl dieser Artikel über einige Facetten der Testmethode spricht, gibt es noch viel mehr. Die zugrunde liegende Absicht dieser aufkommenden Technik besteht darin, bestätigte Ziele zu demonstrieren und Ihre App auf ein exponentielles Wachstum mit nahezu perfekten Tests, Analysen und Ergebnissen auszurichten.

Filed Under: App Analytics

Rated 9.8 out of 10 for Best Mobile app builder by 1378+ clients on over 5 Million+ apps