Immer mehr Online-Marketer und Produktteams nutzen A/B-Tests, um ihre Ideen zu überprüfen – doch leider gibt es noch viele Stolpersteine, die vermieden werden können. Die fünf häufigsten Fehler, die zu falschen Resultaten und möglicherweise sogar zu negativen betriebswirtschaftlichen Folgen führen können, erklärt André Morys in diesem Artikel und liefert einen Prozessvorschlag, mit dem durchdachte Experimente zu besseren Resultaten führen.
Es passiert immer wieder: Eine Kollegin hat die Idee, ein neues Element auf der Landingpage einzufügen, die anderen sind dagegen oder haben andere Ideen. Doch zum Glück können immer mehr Unternehmen verschiedene Ideen ganz einfach in einem Experiment in Form eines A/B-Tests überprüfen. Mit wenigen Klicks werden die unterschiedlichen Ideen einfach mit einem Testing-Tool umgesetzt und nach wenigen Tagen steht fest: Die Kollegin hatte recht, ihre Version führt zu 15 % mehr Klicks auf die Website.
Hurra! Das war ein schneller Erfolg, der gefeiert werden muss. Weil es so schön war, wird in Zukunft immer mehr „getestet”, und wie es scheint, haben die Kollegen immer mehr unterschiedliche Ideen. Bald wird ein „Backlog” eingeführt, in dem jedes Team seine Ideen sammelt. „Button vergrößern” steht da drin oder „Visuals testen”. Immer mehr dieser Ideen sammeln sich – deutlich mehr, als das Unternehmen überhaupt in der Lage ist, mit A/B-Tests zu überprüfen.
Doch so langsam legt sich die Faszination. Das Experimentieren wird zu richtig viel Arbeit. Die unterschiedlichen Varianten müssen ja alle gebaut werden und je mehr Ideen getestet werden, desto häufiger bleiben die Ergebnisse aus. Das Tool sagt: „Kein signifikanter Gewinner gefunden – weitere 243 Tage Testlaufzeit benötigt.” Das klingt frustrierend.
Die Beteiligten in diesem Beispiel sind gleich in mehrere Fallen gelaufen, die jedem passieren können, der eine ähnliche Geschichte erlebt hat. Ehrlich gesagt ist dies der häufigste Fall, der in den meisten Unternehmen vorzufinden ist.
Schlecht laufende A/B-Tests und Optimierungsprogramme lassen sich anhand mehrerer Symptome erkennen:
Da das Testing-Tool selbst oft Geld kostet, aber auch die Durchführung der Tests wertvolle Ressourcen bindet, ist das natürlich keine gute Situation. Es ist eine Frage der Zeit, bis die fehlenden Erfolgserlebnisse zum Rückgang der Motivation führen und damit zu noch weniger guten Ergebnissen.
Denn inzwischen ist der positive Effekt des Experimentierens auf das Wachstum und die Profitabilität der Unternehmen gut erforscht. Namhafte Analyse- und Beratungsfirmen wie CapGemini oder Forrester beschreiben Unternehmen, die mithilfe von Experimenten schneller lernen, was ihre Kunden möchten, als sogenannte „Insights Driven Businesses”. Bei einer Untersuchung im Jahr 2016 hat Forrester bereits herausgefunden, dass Unternehmen, die aus Daten Erkenntnisse gewinnen und diese Erkenntnisse für ihr Wachstum nutzen, im Schnitt fast achtmal schneller wachsen als ihre traditionellen Marktbegleiter, die nur etwa 3,5 % pro Jahr wachsen:
Was unterscheidet die erfolgreichen von den nicht erfolgreichen Unternehmen? Warum drehen sich die einen auf der Stelle und die anderen kommen voran? Wir gehen die häufigsten fünf Problemfelder der Reihe nach durch. Diese Problemfelder sind echte Fallen, denn für die meisten Beteiligten sind sie zunächst nicht sichtbar.
Welche dieser Fallen kannst du in deinem Unternehmen erkennen?
„Größere Buy-Box” oder „CTA above the fold”, „Emotionaleres Wording verwenden” bis hin zu „Teaser Visual mit Bild XY testen” – es gibt in den Backlogs der Unternehmen nichts, was es nicht gibt. Dabei sind die Backlogs meist randvoll – oft handelt es sich um so viele Einträge, dass schnell der Überblick verloren geht.
Sehr häufig ist die Quelle für diese Einträge auch eine einfache Frage, z. B. könnte „Größere Buy-Box” eigentlich auch lauten: „Ich frage mich, ob eine größere Buy-Box einen Einfluss auf die Conversion-Rate hat.”. Denn hinter diese Frage steckt eigentlich keine qualifizierte Wachstumshypothese – es ließen sich unendlich viele solcher Fragen sammeln und das Finden der Antworten wird ewig dauern.
Kein Wunder also, dass sich mit dieser Methode kein achtmal größeres Wachstum erzielen lässt – im Gegenteil: Ein Unternehmen, das möglichst viele solche Fragen sammelt, „rät” eigentlich nur herum und verliert viel Zeit. Mit viel Fantasie könnte dieses Vorgehen das Wachstum sogar verzögern, da zu viel Zeit mit nicht wirklich sinnvollen Dingen verschwendet wird.
Was ist also eine qualifizierte Wachstumshypothese im Vergleich zu einer Frage oder einer Idee?
Echte Wachstumshypothesen:
Eine echte Wachstumshypothese könnte wie folgt aussehen:
„Wir beobachten, dass unsere Kunden aufgrund der großen Auswahl sich nicht für den richtigen Artikel entscheiden können. Indem wir sie dazu ermutigen, die Filter zu nutzen, gelangen sie schneller und einfacher zum richtigen Artikel und der Revenue per Visitor steigt, da sich das Customer Experience verbessert.”
Warum ist so eine vorqualifizierte Hypothese so lang?
Zum einen erklärt sie bereits, was die Quelle oder Ursache für die Hypothese ist. Das können Beobachtungen aus dem User Research sein, Expertenevaluationen oder Gespräche mit Kunden. Es ließe sich sogar ergänzen, dass diese Hypothese mithilfe von Analytics-Daten qualifiziert werden kann. Dafür wird die gewählte Kennzahl – in diesem Falle RPV – für zwei Segmente einfach verglichen: einmal für das Segment der Nutzer, die Filter benutzen, um zu einer Artikeldetailseite zu kommen, und im anderen Segment für diejenigen, die keine Filter nutzen. Dies stellt jedoch nur eine Vorqualifizierung dar – zur echten Priorisierung von Hypothesen kommen wir später.
Der zweite Faktor, der die Hypothese als Text ein wenig länger macht, ist die Tatsache, dass die Hypothese den Zusammenhang zwischen Problem, Kundenverhalten und Kennzahl erklärt. In diesem Fall geht es darum, dass Nutzer nicht den richtigen Artikel finden und die Filter eine Lösung dafür sein könnten.
Im Idealfall liegt einer Hypothese ein universelles Prinzip zugrunde. Wenn dieses Prinzip nun in einem erfolgreichen Experiment in Form eines A/B-Tests als wirksam validiert wird, ergibt sich dadurch die Möglichkeit, das „Gewinnerprinzip” zu skalieren. Die Frage im Anschluss an einen solchen erfolgreichen Test lautet also: „Wo tritt das Problem noch auf?”, oder: „Wie können wir den Effekt noch verstärken?” Lösungen wären zum Beispiel, die Listenansicht der Suchergebnisseite zu verbergen, bevor nicht die Filter genutzt werden. Oder der Hinweis zur Filternutzung wird noch prominenter angezeigt.
Nur wer das Kundenverhalten kennt, kann solche Hypothesen aufstellen. Denn letztlich bedeutet jeder erfolgreiche A/B-Test, dass Kundenverhalten positiv beeinflusst wurde und der Zusammenhang zwischen Kundenerlebnis („Customer Experience”) und betriebswirtschaftlichen Kennzahlen („Conversion-Rate” oder noch besser „Revenue per Visitor”) bedacht wurde.
Viele Unternehmen und Produktteams führen „Ideation Workshops” durch. Manchmal sind es auch „Design Thinking Workshops”. Nicht dass ich gegen das eine oder das andere etwas hätte, aber meist sind diese Workshops die Quelle für oberflächliche und nicht funktionierende Hypothesen, die einfach zu kurz denken und kein signifikantes Ergebnis zutage bringen. Daher ist es wenig verwunderlich, dass die Unternehmen, die schneller wachsen als andere, auch signifikant mehr in echte Kundenzentrierung investieren – was uns zum nächsten Punkt bringt.
Stelle die Qualität der Hypothesen in den Backlogs sicher, indem du entsprechende Meetings oder Instanzen schaffst, bei denen über die Qualität der Backlogs gesprochen wird.
Es klingt so einfach: 1.000 Besucher kommen auf unsere Seite – nur 30 kaufen etwas. Unser Funnel ist löchrig und wir verlieren 97 % unseres Traffics. Schon mal gehört? „Der Funnel” ist ein Modell, eine Vereinfachung der Realität, die passend sein mag, um die Verkaufseffizienz eines Systems zu beschreiben. Diese Realität reicht aber nicht aus, um passende Lösungen zu finden.
„I hate funnels” hat Avinash Kaushik bei seiner Abschluss-Keynote als recht starkes Statement auf dem Growth Marketing SUMMIT 2016 in Frankfurt gebracht. Wie kann es sein, dass Mr. Google Analytics persönlich dieses Modell so infrage stellt? Weil er verstanden hat, dass die Realitäten von Kunden viel komplexer sind.
Kunden bewegen sich nicht in Funnels.
Echte Kundenzentrierung beginnt dort, wo die verantwortlichen Personen in einem Unternehmen realisieren, dass die Nutzer deutlich komplexere und eben sehr individuelle Wege zurücklegen („Customer Journey”), als wir sie überhaupt in einem Web-Analytics-Tool erfassen können.
Diese echten Customer Journeys zeichnen sich durch folgende Aspekte aus:
Die gesamte Customer Journey ist ein hoch komplexes Konstrukt, dass sich einfach nicht in einem „Funnel” ausdrücken lässt.
Eine weitere Herausforderung: Selbst Kunden sind sich ihrer Realität gar nicht bewusst. Daher nutzen wirklich kundenzentrierte Unternehmen gleich mehrere Methoden, um die Kundenrealität besser zu verstehen. Beispiel Interview oder User Research: Noch nie hat ein Kunde offen geäußert, dass eine Website oder ein Online-Shop zu wenig mit Kontrasteffekten bei der Preisgestaltung arbeitet oder dass bei der Produktverfügbarkeit zu wenig mit Verknappung gearbeitet wird. Beides sind Beispiele dafür, dass Kunden sich vieler Prinzipien während eines Kaufprozesses selbst nicht bewusst sind.
Immer mehr Unternehmen investieren daher in sogenannte „Behavioral Science Units”, die das Ziel haben, das Kundenverhalten besser zu verstehen und mithilfe von Daten die passenden Angebote zu liefern. Kundenzentrierung bedeutet aber nicht, dass der Konsument mithilfe psychologischer Prinzipien zu seinem Nachteil manipuliert werden soll – echte Kundenzentrierung bedeutet, die Kundenentscheidung zu vereinfachen und das Kundenerlebnis zu optimieren. Die besseren betriebswirtschaftlichen Resultate sind eine Folge davon.
Zunächst einmal ist es wichtig zu verstehen, dass echte Kundenzentrierung deutlich mehr Aufwand ist als keine oder nur oberflächlich gelebte Kundenzentrierung. Von alleine wird kein System und keine Organisation auf der Welt auf die Idee kommen, mehr Aufwand in eine Sache zu investieren, wenn es auch anders geht. Das Gute an datengetriebener Optimierung ist aber: Der Mehrwert kundenzentrierter Hypothesen lässt sich sofort messen. Gute Resultate liefern den „Buy-in” für mehr Kundenzentrierung, echte Daten sind die härteste Währung in Unternehmen, um Dinge zu verändern.
Ein erster Schritt für mehr Kundenzentrierung ist es daher auch, bei jedem Projekt, jeder Entscheidung und jeder Hypothese eine Frage in den Vordergrund zu stellen: Wird diese Veränderung das Kundenverhalten positiv beeinflussen? Ist es das Beste, was wir tun können, um ein besseres Kundenerlebnis zu schaffen? Das bringt uns zum nächsten Punkt, der Priorisierung.
Mit guten Resultaten schaffst du den Buy-in für eine positive Veränderung der Unternehmenskultur. Stelle den Zusammenhang zwischen Resultaten und Kundenzentrierung her und ermutige Stakeholder und Kollegen dazu, die Kundenrealität zu verstehen – auch wenn es mehr Aufwand ist, als es nicht zu tun.
Die Backlogs sind voll mit Ideen. Noch kein Team und kein Unternehmen hat bisher zu wenige Ideen gehabt – es sind nur eventuell die falschen Ideen oder es fällt schwer, aus der großen Masse an Ideen die richtigen herauszufiltern.
Das Problem an der Sache ist: Menschen finden ihre eigenen Ideen automatisch gut. Bestätigungsfehler oder englisch „Confirmation Bias” nennen daher Psychologen den Effekt, dass jeder Mensch seine Informationen auch so auswählt, dass sie die eigene Meinung bestätigen. Dies ist natürlich in einem Team besonders schwierig, da im schlimmsten Fall jeder für seine eigene Idee am meisten kämpft.
Wie lässt sich dieser Bestätigungsfehler beseitigen? Wie können Teams möglichst objektiv und valide vorhersagen, welche Ideen die besten sind? Vor allem im Rahmen agiler Teams ist dies eine herausfordernde Aufgabe, da es der Kern der Agilität ist, immer an den vielversprechendsten Dingen zuerst zu arbeiten, um so möglichst effektiv zu bleiben.
Zusammen mit dem Prinzip der Kundenorientierung lässt sich die Kunst der Priorisierung perfektionieren, denn jede Priorisierung basiert auf dem Modell der Kosten-Nutzen-Einschätzung. Dabei sind die Kosten meist recht schnell geklärt – mit ein wenig Erfahrung kann jeder Projektmanager irgendwann gut einschätzen, wie viel Konzeptionsaufwand, Umsetzung, Entwicklung und Qualitätssicherung für ein bestimmtes Vorhaben nötig ist.
Wie lässt sich der Nutzen eines Experiments abschätzen?
Wer kundenorientiert denkt, wird schnell verstehen, dass jeder im Tool gemessene Uplift und jede Verbesserung der Kennzahlen in Wirklichkeit eine Veränderung von Kundenverhalten bedeutet. Wenn die Conversion-Rate steigt, haben mehr Kunden sich entschieden, etwas zu kaufen. Wenn der Revenue per Visitor steigt, haben mehr Kunden mehr Umsatz gemacht, indem sie mehr oder teurere Artikel gekauft haben. Egal, wie wir es drehen: Jede Veränderung der Kennzahlen ist in Wirklichkeit eine Veränderung von Verhalten, die wir anhand der geänderten Kennzahlen beurteilen. Wenn wir uns also fragen, wie hoch die Chancen für ein positives Resultat sind (Denglish-Buzzword dazu: „Impact”), dann müssen wir uns in Wirklichkeit fragen, wie gut die Chancen für eine Verhaltensänderung der Kunden stehen.
Im ersten Moment klingt das genauso kompliziert und unmöglich, wie es die Schätzung des Nutzens ohnehin schon wäre. Worin liegt also der Vorteil? Ganz einfach: Die Faktoren, die für eine Verhaltensänderung der Kunden beeinflusst werden müssen, sind bereits erforscht und bekannt.
Faktoren für die Verhaltensänderung bei Kunden:
Auf Basis des Motivationsmodells von BJ Fogg, Stanford-Professor für Psychologie und Experte im Bereich HCI, lassen sich drei einfache Fragestellungen dekonstruieren:
Die dritte Frage stellt sich in den seltensten Fällen, da im Allgemeinen eher von einer Verbesserung der Usability auszugehen ist als von einer Verschlechterung. Dafür gibt es für spezifische Experimente, die das Kundenverhalten beeinflussen, zwei weitere Fragen:
Letztlich haben Psychologen viele Prinzipien, die das Verhalten von Menschen beeinflussen, bereits erforscht und validiert (sogenannte kognitive Verzerrungen). Experimente, die auf derlei Prinzipien fußen, haben in der Regel höhere Erfolgsaussichten, weil sie bereits auf einer kundenzentrierten Denkweise beruhen.
Führe eine sinnvolles Priorisierungsframework ein, bei dem sich das Team die richtigen Fragen für eine valide Einschätzung stellt. Im richtigen Modus führen diese Fragen automatisch zu einer Verbesserung von Konzepten und Hypothesen und fördern die Kundenzentrierung.
„Wir haben das schon getestet – Kundenbewertungen funktionieren nicht!” Dies ist ein Beispiel für einen der teuersten Sätze, die leider viel häufiger gesagt werden, als man denkt. Grundsätzlich ist der Optimierungsprozess ganz einfach: Von irgendwoher kommt eine Idee, sie wird qualifiziert und zu einer Hypothese formuliert, jemand macht auf Basis dieser Hypothese ein Konzept und das wird dann schließlich umgesetzt. Und plopp: Die Resultate sind negativ oder nicht signifikant. Die Hypothese hat wohl einfach nicht funktioniert.
Was ist schiefgegangen? Am wahrscheinlichsten ist es, dass bereits im Konzept nicht nur die eigentliche Hypothese umgesetzt wurde, sondern irgendein anderes Element ebenfalls verändert wurde, um die eigentliche Hypothese darstellen zu können. Beispiel: Die Kundenbewertungen sollen auf jeden Fall sichtbar sein, „above the fold”, dafür muss ein anderes Element weichen oder weiter nach unten geschoben werden.
In diesem Beispiel wurde das primäre Call-to-Action-Element, der „Zur Kasse”-Button (was gibt es Wichtigeres auf dieser Seite?), nach unten geschoben, um einem neuen Element Platz zu machen (z. B. den oben genannten Kundenbewertungen). Die Testresultate könnten dann im Vergleich zur Originalversion („Control”) negativ sein, weil mehr Nutzer den Button nicht sehen. Diese Resultate haben nicht direkt etwas mit dem neuen Element zu tun, sondern mit der Veränderung eines anderen Elements. „Isolieren” wird dieses Prinzip in der Testkonstruktion genannt, um sicherzustellen, dass wirklich nur der Effekt der eigentlichen Hypothese gemessen wird. Rechts wäre eine alternative Umsetzung, bei der kein anderes Element verändert wird. Eine 100%ige Isolierung der Hypothese ist nicht immer möglich – aber der Gedanke, so wenig wie möglich zu verändern, ist bei der Konzeption hypothesenbasierter Tests wichtiger als alles andere.
Warum ist dieser Fehler so teuer? Wie stellen uns einfach vor, die isolierte Variante hätte in Wirklichkeit 5 % mehr Umsatz generiert – sie wäre aber nie getestet worden und die Verantwortlichen für diesen Test laufen in Zukunft mit dem falschen Wissen „das funktioniert nicht …” herum. Eine teure Fehlannahme ...
Darüber hinaus sorgen oft technische Probleme bei der Umsetzung für negative Effekte. Nur eine Sekunde Ladezeit entspricht bereits (je nach Studie) 5 %-7 % Conversion-Rate. Was passiert, wenn ein Split-URL-Test aufgrund des Redirects eine halbe Sekunde länger dauert? Was passiert, wenn die Variante beim Seitenaufbau mit Code-Injection nur 0,2 Sekunden flackert? Was passiert, wenn bei nur einem Device mit einem Trafficanteil von 5 % der primäre Button nicht funktioniert? Bereits kleinste Einflussfaktoren können den ohnehin schon kleinen positiven Effekt einer Hypothese vollständig ruinieren oder zumindest in einen nicht mehr signifikant nachweisbaren Bereich drücken.
Führe eine Qualitätssicherung für Testkonstruktion und Konzepte ebenso wie für die technische Umsetzung ein, um alle negativen Faktoren zu eliminieren.
„Was du nicht messen kannst, kannst du nicht lenken.” (Peter Drucker)
Oft haben Unternehmen sehr konkrete Ziele: Wachstumsziele, Profitabilitätsziele, strategische Positionierungsziele, Markenbekanntheitsziele und vieles mehr. Doch bei den meisten Organisationen findet nur ein kleiner Teil davon wirklich online statt. Die Customer Journeys der Kunden erstrecken sich von TV-Werbung über Print und die Websites vieler Wettbewerber und Preisvergleichsportale bis hin zur eigenen Website.
Warum ist es wichtig, das zu verstehen? Die Veränderung, die mithilfe eines A/B-Tests erreicht werden soll, ist in diesem oben geschilderten Bild nur ein kleiner Ausschnitt aus der gesamten Customer Journey eines Kunden. Wenn dann zusätzlich für ein Experiment noch ein Ziel ausgewählt wird, dass innerhalb der Customer Journey wiederum nur einen kleinen Teilerfolg darstellt, wie z. B. die Nutzung eines bestimmten Features oder ein Klick auf einen Button, dann ist der Effekt auf das eigentliche Unternehmensziel im besten Falle homöopathisch.
Ein Großteil aller Experimente widmet sich solchen Zielen und die Auswirkung auf das Erreichen der Unternehmensziele ist meist spekulativ. Echte Wachstumshypothesen können nur dann validiert werden, wenn die Ziele des Experiments mit den Unternehmenszielen verknüpft sind. Erst wenn dieser Zusammenhang verstanden und umgesetzt wird, kann das Experimentieren im Unternehmen überhaupt zum Laufen kommen – denn ohne diese Zielerreichung fehlt die Unterstützung („Buy-in”) für wirklich wirksame Veränderungen.
Sorge dafür, dass die Ziele der Experimente mit den Unternehmenszielen verbunden sind. Wenn es Ziele gibt, die nicht gemessen werden, setze dich dafür ein, dies zu ändern. Berichte über die Resultate an die Entscheider und Gremien, um das Experimentieren im Unternehmen voranzubringen.
Viele Unternehmen testen bereits – doch die Resultate sind oft nur mittelmäßig. Dabei stehen die einzelnen Fähigkeiten und Ressourcen zur Verfügung, um für wirksame Veränderungen zu sorgen. Jeder, der an Experimenten mitarbeitet oder auch die Durchführung von Experimenten verantwortet, kann dazu beitragen, dass Unternehmen schneller lernen, was ihre Kunden wirklich wollen und was nicht. Belohnt werden sie dafür mit validen Erkenntnissen und im Idealfall sogar mit betriebswirtschaftlich spannenden Resultaten. Egal, was deine Perspektive auf A/B-Tests ist: Du kannst ganz konkret dabei helfen, das Kundenerlebnis jeden Tag ein Stück besser zu machen!