In Google AdWords gibt es seit Kurzem ein neues spannendes Tool: die AdWords-Kampagnentests oder auch ACE (AdWords Campaign Experiments). Mit diesem Instrumentarium können recht einfach simultane Split-Tests durchgeführt und somit Änderungen innerhalb einer Kampagne getestet werden. Adwords-Spezialist Alexander Beck zeigt, wie das Tool eingestellt wird, welche Chancen und Grenzen es bietet und welche Tests möglich und sinnvoll sind.
Wie laufen Optimierungen von AdWords-Kampagnen bislang ab? Zumeist werden die Leistungsdaten für einen vergangenen Zeitraum erhoben, ausgewertet und nach Potenzialen hinterfragt. Auf dieser Grundlage werden Änderungen durchgeführt, diese dann auf ihre tatsächlichen Wirkungen getestet und anschließend mit den Daten vor der Änderung verglichen.
Ein einfaches Beispiel: Wir haben das Keyword gummistiefel hinterlegt und erzielten im Vormonat damit eine hohe Conversion-Rate. Für den aktuellen Monat erhöhen wir daher testweise den bisherigen Bietpreis und steigern damit nicht nur unsere Besucherzahlen, sondern erzielen auch mehr Verkäufe. Das wirft die Frage auf, ob die besseren Daten damit nur auf das Anheben des Bietpreises zurückzuführen sind oder ob es noch andere Gründe gibt.
Diese sogenannten sequenziellen Tests erlauben Vorher-Nachher-Betrachtungen. Unberücksichtigt bleiben dabei externe Faktoren, die sich zwischen den Betrachtungszeiträumen geändert haben: In unserem Beispiel unterstützte möglicherweise ein regnerischer Monat den Verkauf der Gummistiefel, die Situation bei den Mitbewerbern änderte sich zu unseren Gunsten, eigene unterstützende Kampagnen in anderen Online- oder Offline-Kanälen nahmen positiv Einfluss auf die AdWords-Werbung und vieles mehr.
Diese Ungenauigkeiten können mithilfe von Split-Tests drastisch reduziert werden: Zwei (oder mehr) verschiedene Varianten eines Elements werden in festgelegtem Verhältnis während des gleichen Zeitraums ausgespielt. Durch die gleichen Rahmenbedingungen lassen sich Leistungssteigerungen somit ursächlich auf die Änderungen im AdWords-Account zurückführen.
Split-Tests (oder A/B-Tests) sind insbesondere aus dem Bereich der Landingpage- oder Conversion-Optimierung bekannt. Innerhalb des AdWords-Kontos wurden sie bislang nur bei Anzeigenvarianten innerhalb einer Anzeigengruppe angewendet:
Bei der leistungsabhängigen Anzeigenauslieferung liefert Google zunächst alle hinterlegten Anzeigen in gleichem Verhältnis aus, um dann automatisch die Variation mit der besten Klickrate zu präferieren.
Bei der leistungsunabhängigen Anzeigenauslieferung hingegen werden die Anzeigen auch bei unterschiedlichen CTR immer im gleichen Verhältnis ausgespielt. Die Optimierung kann dann manuell durchgeführt werden: Es werden mehrere Anzeigenvariationen hinterlegt, bei statistisch validen Ergebnissen die schlechter performenden Anzeigen aussortiert und die Gewinner beibehalten. Diese treten in einer nächsten „Testrunde“ gegen neue Texte an, sodass auf diese Weise die Leistung der Anzeigen immer weiter gesteigert wird. Mit der leistungsunabhängigen Anzeigenauslieferung ist es insbesondere möglich, die zumeist interessantere Conversion-Rate in die Auswertung einzubeziehen.
Neue Testversionen bergen jedoch immer auch die Gefahr, deutlich schlechtere Erfolge als die Control-Anzeigen zu erzielen. Dieses Risiko konnte bislang nur minimiert werden, indem die „alten“ Anzeigen dupliziert wurden.
Mit dem neuen ACE-Tool kann nun die Verteilung zwischen alten und neuen Anzeigen gesteuert werden und muss nicht mehr im gleichen Verhältnis erfolgen. Doch ACE greift noch weiter: So sind auf diese Weise auch Tests weiterer Elemente wie Bietpreise, neue Keywords, Keyword-Optionen oder auch Anzeigengruppen-Strukturen möglich.
Grundsätzlich ist es möglich, mehrere unterschiedliche Elemente gleichzeitig zu testen – beispielsweise neue Bietpreise in Kombination mit neuen Anzeigen. Beachten Sie jedoch, dass Sie dann keine Aussage treffen können, welches der Elemente zur Leistungssteigerung oder -verschlechterung geführt hat. Sie können nur erkennen, dass diese Kombination besser oder schlechter ist als die Control-Kombination – nicht ob es am Bietpreis, an den Anzeigen oder an beiden lag.
Mithilfe von ACE lassen sich zahlreiche Optimierungen im AdWords-Konto nunmehr auf Grundlage von Tests durchführen. Es besteht kein Grund mehr, Änderungen durchzuführen und darauf zu hoffen, dass sie positiv wirken. Durch Tests kann die Auswirkung vielmehr abgesichert und die beste Variante übernommen werden.
Das Vorgehen ist immer das gleiche: Sie aktivieren den Test für eine Kampagne, indem Sie die Testparameter unter den Kampagneneinstellungen festlegen. Dann wechseln Sie auf die Ebene, auf der Sie Elemente testen wollen: Keywords, Anzeigen oder Anzeigengruppen. Dort definieren Sie eine Kontrollgruppe und lassen diese gegen eine Testgruppe laufen. Liegen sichere Ergebnisse vor, so übernehmen Sie die erfolgreicheren Einstellungen für die gesamte Kampagne. Das Testtool kann dabei sowohl für Search- wie auch für Display-Kampagnen verwendet werden. Anfallende Kosten werden natürlich auch in der Testgruppe ganz normal verrechnet.
Da ACE auf Kampagnenebene aktiviert wird, können keine Kampagneneinstellungen wie beispielsweise Budgets, Zielsprachen und -regionen, Gebotsoptionen oder auch Anzeigenerweiterungen getestet werden. Auch bezieht sich der Test nur auf diejenige Kampagne, für die er aktiviert wurde.
Die Testfunktion ist unter dem Reiter Einstellungen im Bereich erweiterte Einstellungen zu finden.
Zunächst ist sinnvollerweise ein eindeutiger Testname zu vergeben. Start- und Enddatum können vorab festgelegt, aber auch über die entsprechenden Buttons manuell gesteuert werden. Letzteres birgt die Gefahr, die Aktivierung des Tests nach Anlegen der Kontroll- und Testelemente zu vergessen. Passiert Ihnen dies, so wird nur die Kontrollgruppe ausgespielt.
Sobald der Test läuft, sind keine Änderungen mehr möglich. Ist der Test beendet, so können Sie mit einem einfachen Klick festlegen, ob Sie die ursprünglichen Einstellungen behalten oder die Testeinstellungen übernehmen wollen.
Kontrolle/Test unterteilt gibt an, in welchem Verhältnis Kontroll- und Testgruppe bei passenden Suchanfragen aktiviert werden. Hiermit steuern Sie also, ob Sie den Test eher vorsichtig oder eher aggressiv angehen möchten – sicherlich auf Grundlage der Risiken und Erwartungen, aber auch auf Grundlage des Traffics, denn Sie nehmen damit auch Einfluss auf die Länge des Tests.
Lassen Sie beide Gruppen im Verhältnis 50:50 laufen, so werden bei 200 Auktionen 100-mal die Kontroll-, 100-mal die Testgruppe per Zufallsprinzip ausgespielt. Diese Aufteilung sollte am schnellsten zu eindeutigen Ergebnissen führen. Geben Sie der Testgruppe nur 30 %, so kommt es nur zu 60 Schaltungen aus dieser Gruppe und 140 Schaltungen aus der Kontrollgruppe. Hiermit wählen Sie zwar eine vorsichtigere Aufteilung, die das Risiko der neuen Einstellungen auf Ihren Erfolg verringert. Doch läuft der Test in der Regel länger, bis er Ihnen valide Ergebnisse liefert.
Pro Kampagne ist nur ein Test möglich. Um einen neuen Test zu starten, müssen Sie den alten löschen. Innerhalb dieses Tests können Sie bis zu 1.000 Elemente testen.
Nach dem Einstellen der Testparameter wechseln Sie auf die Reiter der Elemente, die Sie testen wollen: Keywords, Anzeigen oder Anzeigengruppen. Alle aktiven Elemente sind nun dem Status Kontrolle und Test zugeordnet und nehmen damit sowohl an Ausspielungen teil, die über die Kontrollgruppe erfolgen, als auch an denen, die über die Testgruppe geschehen.
Belassen Sie diesen Status für alle Elemente, so vergleichen Sie natürlich Gleich mit Gleich. Um einen Test durchzuführen, müssen Sie bestimmte Elemente und Einstellungen vielmehr gezielt nur einer Kontrollgruppe und nur einer Testgruppe zuweisen können. Sie tun dies über das Status-Drop-Down der entsprechenden Zeile oder – ratsam insbesondere bei mehreren Elementen – über das Drop-Down in der Kopfzeile.
Nehmen wir obiges Gummistiefel-Beispiel, so belassen wir also sowohl die Anzeigengruppe wie auch die Keywords als Kontrolle und Test, da sie an beiden Ausspielungen teilnehmen. Beim Bietpreis definieren wir jedoch den ursprünglichen CPC als nur Kontrolle, den testweise erhöhten CPC als nur Test. Würden wir hingegen testen wollen, wie gummistiefel im Vergleich zu regenstiefel performt, so erhielte gummistiefel den Status nur Kontrolle, regenstiefel nur Test.
Denken Sie deshalb beim Aufsetzen dieser Tests daran, dass sich Ihre Einstellungen auf den verschiedenen Ebenen nicht widersprechen. So kann eine Anzeigengruppe, die als Kontrollgruppe ausgewiesen ist, keine Keywords aktivieren, die nur einer Testgruppe zugewiesen wurden.
Die Teilergebnisse Ihres Tests erhalten Sie in der Testansicht. Zu dieser gelangen Sie, indem Sie den Button Segment klicken und dann den Punkt Test aktivieren. Sie erkennen zusätzlich zu den Gesamtergebnissen des abgefragten Zeitraums die Ergebnisse der Kontrollgruppe (Zeile Steuerung) und die Ergebnisse der Testgruppe (Zeile Test). Unter außerhalb des Experiments stehen Daten, die weder der Test- noch der Kontrollgruppe zugeordnet werden können – wenn also beispielsweise Ihr abgefragter Zeitraum außerhalb des Testzeitraums liegt.
Neben den numerischen Leistungsdaten zeigt Google durch Pfeile jeweils an, ob die Werte gestiegen oder gesunken sind und wie hoch die Aussagekraft der bisherigen Ergebnisse ist.
Die Pfeilrichtung ist zwar leicht verwirrend, wird im AdWords-Konto aber immerhin konsequent auch an anderen Stellen derart umgesetzt: Nach unten zeigende Pfeile bedeuten einfach eine Verringerung der Werte, ohne diese zu interpretieren. Sinkt beispielsweise die durchschnittliche Anzeigenposition, so stehen Ihre Anzeigen weiter oben. Auch ein gesunkener CPC wird im Allgemeinen als besser angesehen als ein gestiegener. Nach unten zeigende Pfeile symbolisieren in diesem Fall also eine positive Entwicklung.
Wie sicher die bislang vorliegenden Entwicklungen sind, zeigt die statistische Relevanz. Sind die Unterschiede zu gering, so ist noch keine Sicherheit gegeben, dass die augenblicklich führende Variante tatsächlich auch die bessere ist. Da sich das Ergebnis noch drehen kann, sollten Sie den Test noch länger laufen lassen und auf statistisch valide Ergebnisse warten.
Wie sicher die Ergebnisse bisher sind, ist recht einfach an der Anzahl der Pfeile abzulesen. Das Maximum sind drei blaue Pfeile. Diese bedeuten, dass nur noch eine Unsicherheit von 0,1 % verbleibt. Bei zwei Pfeilen liegt die Wahrscheinlichkeit, dass die Unterschiede zufällig sind, bei einem Prozent. Ein Pfeil gibt an, dass die Zufälligkeit bei 5 %, die Sicherheit also bei 95 % liegt. Mit grauen Pfeilen sowohl nach oben als auch nach unten zeigt Google neutrale Ergebnisse an – es liegen also noch keine statistisch signifikanten Abweichungen zwischen Kontrolle und Test vor.
Die genauen Relevanz-Berechnungen finden Sie in der Google-Hilfe unter https://adwords.google.com/support/aw/bin/answer.py?hl=de&answer=167743. Da nur wenige Spaß an diesen Rechenübungen haben, aber alle nur mit statistisch relevanten Ergebnissen arbeiten sollten, finden Sie unter http://www.adwords-buch.info/anzeigen-checker ein Tool, das Ihnen die statistische Relevanz auch für andere Tests ausrechnet.
Zur Optimierung von Kampagnen bietet sich häufig eine feinere Anzeigengruppen-Struktur an. Hierbei werden wichtige Keywords in eigene Anzeigengruppen ausgelagert, um den Suchanfragen der User noch passendere Anzeigen ausliefern zu können. In Folge sollen Qualitätsfaktor, Klick- und Conversion-Rate steigen. Mithilfe von ACE können Sie dieser Umstrukturierung einen Test vorschalten, um den tatsächlichen Erfolg Ihrer geplanten Maßnahmen zu prüfen.
Definieren Sie die ursprüngliche Anzeigengruppe mit der gesamten Keywordliste als Kontrollgruppe. Die thematisch zusammengehörigen Teil-Keywordlisten werden in neuen Anzeigengruppen als Testgruppen angelegt. Diese eröffnen Sie wie gewohnt über den Button Neue Anzeigengruppe. Sie können sie bereits direkt vor dem Abspeichern als Testgruppe definieren oder wiederum nachträglich über die Status-Funktion zuordnen.
In Abb. 04 war die Anzeigengruppe Abendkurse die Kontrollgruppe. Deren Keywordliste wurde thematisch in zwei neue Anzeigengruppen aufgeteilt – zum einen für User, die schwerpunktmäßig nach Kurse am Abend suchen, zum anderen für User, die nach berufsbegleitende Kurse suchen. Diese Anzeigengruppen dienten also als Testgruppen.
Beide Testgruppen wiesen sowohl eine höhere Klickrate also auch eine höhere Conversion-Rate auf. Nach Beendigung des Tests konnten Sie also mit der Sicherheit übernommen werden, dass sie tatsächlich bessere Ergebnisse als die Kontrollgruppe liefern.
Beim Optimieren einer Kampagne stellt sich immer auch die Frage, ob vorhandene Keywords gelöscht und neue Keywords hinzugefügt werden sollen. Dabei gehen die Wirkungen einzelner Keywords oftmals über die reinen Leistungsdaten hinaus, sodass Testergebnisse für erfolgreiche Entscheidungen mehr als hilfreich sind. Dies gilt nicht nur für Such-Kampagnen. Auch bei Display-Kampagnen sind Tests zu Keywords und Placements äußerst sinnvoll und können erstaunliche Erkenntnisse bringen.
Einer Search-Kampagne sollen neue Keywords hinzugefügt werden. Die Wirkung lässt sich auf zwei Arten testen: Sie können diese Keywords zum einen einer bestehenden Anzeigengruppe hinzufügen. Zum anderen können Sie die bestehende Anzeigengruppe (Kontrollgruppe) gegen eine neue Anzeigengruppe (Testgruppe) testen, welche die ursprüngliche Keywordliste plus die neuen Keywords beinhaltet.
Einfacher umzusetzen scheint die Variante des Hinzufügens von Keywords. Die Anzeigengruppe selbst sowie die ursprüngliche Keywordliste behalten den voreingestellten Status Kontrolle und Test, da sie in beiden Fällen aktiviert werden sollen. Die neuen Keywords werden als Testelemente hinzugefügt – analog zur eben beschriebenen Vorgehensweise bei Anzeigengruppen.
Was passiert? Wird bei einer Auktion die Kontrollgruppe ausgewählt, so steht die ursprüngliche Keywordliste zur Verfügung. Wird hingegen die Testgruppe aktiviert, so stehen alle Keywords – alte und neue – zur Verfügung. Der Einfluss der neuen Keywords kann dabei sowohl für die einzelnen Keywords als auch für die Leistung der gesamten Anzeigengruppe ausgewertet werden.
Der Leistungsvergleich der beiden Keywordlisten als Kontroll- und Testgruppe berücksichtigt Wirkungen, die durch ein Auswerten der einzelnen Keyword-Leistungsdaten nicht möglich ist. Insbesondere Konten, die noch keine Search Funnels innerhalb und außerhalb von AdWords berücksichtigen, können durch diese Tests ungeahnte Performancesteigerungen erfahren.
Sehen Sie unterschiedliche Keyword-Optionen ebenfalls als unterschiedliche Keywords. Schon die unterschiedlichen Leistungsdaten zeigen Ihnen, dass Sie einen Suchbegriff in Exact Match nicht wie den gleichen Suchbegriff in Broad Match behandeln dürfen. Testen Sie deshalb das Hinzufügen oder Verwerfen von Keyword-Optionen wie das Hinzunehmen oder Löschen von Keywords.
Dies gilt nicht nur für den naheliegenden Fall der Option Broad Match, die trotz negativer Keywords häufig genug zu erstaunlichen Anzeigenauslieferungen führt. So verzichten beispielsweise zahlreiche Konten auf das modifizierte Broad Match: die einen, weil sie eben einen deutlichen Impression-/Klick-/Conversion-Rückgang zum derzeit verwendeten Broad Match befürchten; die anderen, weil sie mit höheren Gesamt- und Conversion-Kosten im Vergleich zum derzeitigen Phrase Match rechnen.
Mit ACE können genau diese Keywords nun als Kontrollelemente, die entsprechenden Keywords in modifiziertem Broad Match als Testelemente definiert werden. Die unterschiedlichen Ergebnisse zeigen die tatsächlichen Auswirkungen, die eine Umstellung erzielen würde.
Eine Erhöhung und Verringerung des Bietpreises kann weitreichende Folgen haben – sei es durch Änderung der Standardgebote oder der individuellen CPC: Wie sind die tatsächlichen Auswirkungen auf den zu zahlenden Klickpreis? Wie entwickeln sich Anzeigenposition und Klickrate? Was passiert mit Besucherzahl und Besucherqualität? Wie entwickeln sich die Kosten und die Conversion-Leistungsdaten?
Sie möchten beispielsweise erfolgreiche Keywords mit höheren Bietpreisen belegen, denn Ihre Conversion-Bringer sollen über den höheren maximalen CPC an prominenterer Position ausgespielt werden und so mehr Besucher auf Ihre Site führen.
Gleichzeitig sehen Sie natürlich die Gefahr, dass mit höherer Besucherzahl die Qualität des einzelnen Besuchers abnimmt und die Conversion-Rate sinkt. Ob sich höhere Klickpreise und sinkende Besucherqualität tatsächlich noch für Sie lohnen, testen Sie mit dem Testtool ab.
Wie gehen Sie vor? Sie belassen den voreingestellten Status Kontrolle und Test für Anzeigengruppe und Keywords.
In der Testansicht (Drop-Down Segment, dann Punkt Test) legen Sie das Gebot für die Testgruppe als Prozentsatz der Kontrollgruppe fest. In Abb. 05 wird das Standardgebot der Testgruppe um 50 % auf 0,60 Euro erhöht. Für einzelne Elemente können Sie dies per Inline-Editing direkt in der Zeile Test machen; für mehrere Elemente gleichzeitig bietet sich die Bulk-Bearbeitung über den Button Bearbeiten an.
Gerade bei Erhöhung der Bietpreise ist es wichtig zu wissen, dass auch das Tagesbudget im festgelegten Verhältnis verteilt wird. Bei einem Tagesbudget von 100 Euro würde die Testgruppe in obigem Beispiel also 30 Euro, die Kontrollgruppe 70 Euro erhalten.
Warum es dies zu beachten gilt, zeigt Abb. 06. Sie sehen die Testergebnisse auf Kampagnenebene.
Für die Anzeigengruppen dieser Kampagne wurden die Standardgebote verdoppelt. Während das Teil-Tagesbudget für die Kontrollgruppen noch nicht ausgeschöpft war, wurde es bei den Testgruppen aufgrund der höheren Klickpreise recht schnell erreicht. Da bei Erreichung des Tagesbudgets jedoch die Anzeigenauslieferung eingestellt wird, führte dies zu signifikanten Rückgängen an Impressions und Besuchern.
Für den Bereich der Anzeigen sind Änderungen bislang nur angekündigt. Praktisch wäre es, die einzelnen Varianten – ähnlich den Keywords – einfach der Kontroll- oder der Testgruppe zuordnen zu können. Dies ist bislang nicht der Fall. Trotzdem kann ACE schon jetzt genutzt werden, um das Risiko neuer Anzeigen durch ein geschickt eingestelltes Verhältnis von Kontrolle zu Test zu reduzieren.
Hierfür muss der Test über einen Umweg angelegt werden, indem man die Ursprungsgruppe dupliziert. Anzeigengruppe A soll Anzeige X enthalten, die im Verhältnis 70:30 gegen Anzeige Y getestet werden soll. Das Verhältnis wird im Rahmen der Testparameter festgesetzt, Anzeigengruppe A wird als Kontrollgruppe definiert. Nun legt man eine neue Anzeigengruppe B an. Diese enthält die gleiche Keywordliste wie Anzeigengruppe B sowie die zu testende Anzeige und wird als Testgruppe ausgewiesen.
Zu beachten gilt es, dass Sie in der Test-Anzeigengruppe tatsächlich die gleiche Keywordliste und die gleichen sonstigen Einstellungen hinterlegen. Ansonsten können Sie Änderungen in den Leistungsdaten nicht eindeutig der neuen Anzeige zuschreiben.
Da diese Möglichkeit des Anzeigen-Testens einigermaßen umständlich ist, bleibt abzuwarten, wie die Verbesserungen des Testtools in diesem Bereich aussehen werden. Auch für Kampagnen im Display-Netzwerk wäre eine Vereinfachung begrüßenswert, da Tests in diesem Bereich nicht nur aufgrund der Vielfalt an möglichen Anzeigenformaten sehr lohnenswert sind. Insbesondere bei Remarketing-Kampagnen können durch verbesserte Werbebotschaften große Optimierungspotenziale genutzt werden.
ACE befindet sich noch in der Beta-Phase, sodass regelmäßig Änderungen vorgenommen werden. Wie bereits erwähnt, ist bislang nur ein Experiment pro Kampagne möglich, die Kampagneneinstellungen selbst können gar nicht getestet werden. Alerts sind derzeit ebenfalls nicht möglich. Bedient werden kann ACE zurzeit nur über das Web Interface. Supporte für den AdWords-Editor und die API sollen folgen.
Der größte Verbesserungsbedarf liegt allerdings bei den Auswertungen. Ein Export der Statistiken für Kontroll- und Testgruppen ist bislang nicht möglich. Dies einzuführen ist umso dringlicher, als Sie Ihre Ergebnisse nach dem Löschen eines Tests nicht mehr aufrufen können.
Die Testansicht wird bei größeren Tests sehr schnell sehr unübersichtlich. Nehmen Sie beispielsweise eine umfassende Neustrukturierung Ihrer Anzeigengruppen vor, so erhalten Sie keine Gesamt-Leistungsdaten für die Testgruppen. Vielmehr müssen Sie sie einzeln mit der Kontrollgruppe vergleichen.
Trotzdem bietet das Testtool großartige Möglichkeiten, Entscheidungen auf Grundlage echter Ergebnisse, nicht auf Grundlage vermuteter Auswirkungen zu treffen. Für die Zukunft gilt daher mehr als je zuvor: Optimieren durch ständiges Testen.