SEO-Tools unter der Lupe – TEIL 7: AUDISTO

Eines gleich vorweg: Für kleine Online-Shops und Webauftritte ist AUDISTO vielleicht etwas überdimensioniert. Das bedeutet nicht, dass man damit keine Erkenntnisse generieren könnte, ganz im Gegenteil. Das erstmalige Aufsetzen ist jedoch für einen SEO-Einsteiger oder jemanden, der mit den ganzen technischen Parametern nichts anfangen kann, wohl eher schwierig, ebenso wie vielleicht auch die Interpretation einiger Kernergebnisse nach dem Crawlen. Bei größeren Websites oder Sites, die mit mehreren Systemen (z. B. CMS, Blog-, Shop-, Foren-Software etc.) erzeugt oder gewartet werden und entsprechend unübersichtlich werden können, läuft AUDISTO zur wahren Größe auf. Bis zu 50 Mio. URLs lassen sich crawlen und damit dürften wohl die meisten auch umfangreicheren Websites bedienbar bzw. analysierbar sein.

Viele gute SEO-Tools entstanden ja aus vormals internen Werkzeugen von SEOs. So ist das auch und gerade bei AUDISTO. Tobias Schwarz wusste um die Wichtigkeit der internen Verlinkung für Google und professionalisierte zusammen mit Gerd Riesselmann im Lauf der Zeit die Tool-Sammlung so, dass man 2011 auf den freien Markt ging und das Tool seither als Software as a Service (d. h., alles läuft auf deren Rechnern und wird über den Browser bedient) anbietet. AUDISTO verfügt nur über eine englische Benutzeroberfläche, was aber für die Zielgruppe sicher kein nennenswertes Problem darstellen dürfte.

Erste Schritte

Der erste Schritt ist, für ein Projekt das Crawling vorzubereiten. Im Prinzip kann man diesen Vorgang natürlich einfach anstoßen, wie das bei den meisten anderen Tools üblich ist. Damit würde man aber der später verfügbaren Analysepower nicht gerecht. Insofern empfiehlt sich eine gute Planung vor dem eigentlichen Start. AUDISTO bietet aber sein sehr gutes Onboarding an und unterstützt hier bei Bedarf.

Nach der Eingabe eines Projektnamens konfiguriert man zunächst die „Essentials“ (Abbildung 2).

Unter Punkt 1 und 2 in Abbildung 2 stellt man die Geschwindigkeit des Crawlvorgangs ein. Bis zu 24 gleichzeitige Zugriffe lassen sich hier auswählen und bei Bedarf auch bis zu fünf Sekunden Pause jeweils dazwischen. Das kann Sinn machen, wenn man den eigenen oder vor allem auch fremde Webserver nicht zu stark belasten möchte oder darf. Anschließend wählt man die Start-URL (Punkt 3). Das Tool besitzt eine eigene Auto-Detection (Punkt 4), falls der Crawlvorgang doch zu schnell läuft und der Webserver zunehmend oder auch fallweise Fehler ausgibt. Dann wird die Geschwindigkeit verringert und die aufgezeichneten URLs mit Fehlercode werden später nochmals angefordert. Ein erneuter Crawl wegen z. B. zu vieler Serverfehler ist also in der Regel nicht nötig. Diese Option sollte man nur deaktivieren, wenn man den Server gezielt testen möchte. Da gerade bei größeren Domains und/oder bei langsameren Crawls durchaus Tage vergehen können, ist die Benachrichtigungsoption per Mail (Punkt 5) durchaus sinnvoll. Wie im Punkt 6 zu sehen ist, können zusätzlich noch die maximale Crawltiefe und ein Maximum an URLs hinterlegt werden.

Im Reiter „Advanced“ lassen sich weitere Einstellungen vornehmen, wie z. B., ob auch Subdomains gecrawlt werden sollen, wie mit einem SSL-Zertifikat umzugehen ist, ob man für „Web“, „Phone“ oder „Tablet“ crawlen möchte, welchen Links gefolgt werden soll sowie weitere HTML-Settings (z. B. nofollow oder ob nofollow wie follow behandelt werden soll). Für Anweisungen in der robots.txt einer Domain kann weiterhin exakt definiert werden, wie sich der Crawler verhalten soll. Für „Was-wäre-wenn“-Analysen lässt sich sogar eine gesonderte robots.txt hinterlegen, die (noch nicht) live geschaltet ist. Plant man, bestimmte Bereiche zu sperren oder freizugeben, lassen sich somit sauber die Auswirkungen z. B. auf die PageRank-Verteilung simulieren.

Im Reiter „http Headers“ kann man die Einträge des vom Crawler gesendeten Headers modifizieren bzw. ergänzen (Abbildung 3). So ist es z. B. möglich, über einen eigenen User Agent (im Beispiel spaßhalber „Herbert“ genannt) von einem entsprechend präparierten Webserver andere als die normalen Ergebnisse zurückzubekommen. Komplexe Shopsysteme erlauben nicht immer gleichwertige Entwicklungsumgebungen. So kann ein Livesystem auch modifizierte Webseiten versenden, wenn der entsprechende Parameter im Header geschickt wird. In dem fiktiven Beispiel hier würde man also immer dann eine (modifizierte oder neue) Webseite schicken, wenn ein Request mit dem User Agent „Herbert“ ankommt. Ebenso kann das Serververhalten über bestimmte Cookies beeinflusst werden. Dazu hinterlegt man einfach ein spezielles Cookie für den Crawler von AUDISTO (Abbildung 3 oben). Für Crawls in passwortgeschützten Bereichen kann ebenfalls eine User- und Passwortkennung hinterlegt werden. Hierbei muss man wie immer im Kopf behalten, dass diese dann allerdings technisch bedingt ungeschützt über das Web übertragen wird.

Bereits bis hier wird deutlich, dass man sehr viel individualisieren und den eigenen Erfordernissen anpassen kann. Im Reiter „URL Rewriting“ geht es dann noch einen Schritt weiter. Hier lassen sich über Regeln u. a. bestimmte URLs ignorieren, Session-IDs abschneiden, die Behandlung von Trailing Slashes (also das / am Ende von Verzeichnissen) oder andere an die URL angehängte Parameter entfernen. Abbildung 4 zeigt dies beispielhaft. Hier wurde hinterlegt, dass alle Shopseiten (wenn der Pfad mit /shop/ beginnt) nicht mit einbezogen werden (erste Regel) und bei Kategorieseiten (wenn /category/ in der URL auftaucht) angehängte Suchparameter abgeschnitten werden (zweite Regel). Über diese zweite Regel lässt sich vermeiden, dass systembedingt durch verschiedene Filteransichten, wie sie z. B. bei facettierten Navigationen oft entstehen können, mehrere parametrisierte URLs erzeugt werden. Bei Bedarf lassen sich URLs natürlich auch komplett umschreiben bzw. modifizieren.

Ein Beispiel. Über die Funktion „Regex Replace Match By“ ließe sich bei URLs die ID eines Produkts und die Beschreibung trennen, was für spätere Analysen sehr nützlich sein kann. Erzeugt wird damit die Anweisung:

If Path Matches Regex "^(.*?)/([a-z-]+)-(\d+)$" Then   Regex Replace Match By "$1/$3.$2"

Diese schreibt dann URLs wie /shop/schuhe/schwarze-sneaker-1543 um in /shop/schuhe/1543.schwarze-sneaker.

Besonders nützlich: Clusterbildung

Noch immer geht es um die Einstellungen vor dem ersten Crawl. Aber den letzten Reiter „Clusters“ muss man gesondert hervorheben, denn er stellt eine der nützlichsten Möglichkeiten für eine vernünftige Analyse zur Verfügung. Wer bereits Domains jenseits der zehntausend URLs analysiert hat, kennt das Problem. Alle diese Adressen werden in einen großen Topf geworfen und sind hinterher meist nur ansatzweise mit komplexen Formeln anhand von URL-Mustern z. B. über Excel gruppierbar. Ohne vernünftige Segmentierungsmöglichkeiten bleiben aber gerade die wichtigen internen Beziehungen von Seiten über Links meist im Dunkeln. Hier setzt das Clustering-System von AUDISTO an. Damit dies vernünftig machbar ist, muss man die Strukturen einer Domain freilich kennen bzw. vorab genauer analysieren. Die Kernfrage dabei ist, welche Arten von Seitentypen es gibt. Das können z. B. sein:

• Produktübersichtsseiten
• Produktdetailseiten
• Vergleichsseiten
• Kategorieseiten
• Informationsseiten
• Suchergebnisseiten mit oder ohne Blätternavigation
• FAQ
• Glossare
• Blogseiten
• Forenseiten
• Dynamische Konfiguratoren
• Serviceseiten
• Spezielle Landingpages
• Seiten mit dynamischen Inhalten
• Bilderseiten
• und vieles mehr

Die zu trennenden Arten von Seiten legt man vorab fest und analysiert, wodurch sie sich jeweils von den anderen unterscheiden. Wählt man vernünftige und aussagekräftige Cluster, kann man später bei Analysen natürlich sehr viel besser segmentieren und eventuell auftauchenden Problemen leichter auf die Spur kommen, indem man danach filtert.

Dazu vergibt man zunächst sprechende Namen für einen Cluster (Abbildung 5, Punkt 1) und legt die Auswahlkriterien fest. Über „und“ oder „oder“ Verknüpfungen (Punkt 2) bestimmt man recht einfach über Pull-down-Menüs, nach welchem Typ (Punkt 3) man unterscheiden möchte, wie der jeweilige Inhalt behandelt werden soll (Punkt 4) und danach das Auswahlkriterium (Punkt 5). Ein Beispiel: Man hat diverse Kategorieseiten, die alle im Template eine div-Klasse „Produktauflistung“ enthalten. Diese Klasse ist aber auch in Ergebnissen einer Blätternavigation enthalten. Diese haben allerdings jeweils Parameter in der URL, die immer mit „cid=“ beginnen. Nach der Festlegung, dass im HTML-Code nach dem Textmuster „<div class="productlist“ gesucht wird, schließt man dies mit einer zweiten Regel aus: „Parameter“ „does not start with“ „cid=“. Auf diese Weise lassen sich Regeln für einen Cluster auf einfache Weise kombinieren. Blieben z. B. noch weitere nicht passende Seiten übrig, die zwar nicht den Parameter „cid=“ enthalten, dafür aber z. B. „farbe=“, zieht man auch diese und ggf. weitere ab. Punkt 5 zeigt dies beispielhaft.

Nach dem Crawl gibt AUDISTO Hinweise auf Optimierungsmöglichkeiten, die im Menüpunkt unter „Hints“ ausgewiesen werden. Auch nach diesen 139 SEO-Tipps lässt sich bei einem erneuten Crawl filtern. Punkt 6 visualisiert dies. Hier wurde im Pull-down „Hint“ gewählt und über das nachfolgende Pull-down, das alle betroffenen Hints enthält, z. B. „<a> has no content“. Diese Möglichkeit gibt dem Analysten viel Power in die Hand, weil man nun bei Bedarf zusätzlich Fehlerklassen bzw. Cluster bilden kann, die bestimmte Fehler bzw. Potenzial dafür enthalten. Möchte man alle Seiten, die zu langsam laden, auf diese Art markieren, wählt man „Response Time“ und hinterlegt einen gewünschten Zeitwert. Die Möglichkeiten der Segmentierung sind so flexibel, dass man praktisch alles frei nach den eigenen Wünschen gestalten kann.

In Kürze wird ein weiteres Feature freigegeben: Über sog. „Checks“ lassen sich, inklusive eigener Mark-up-Language, Regeln programmieren, um eine Site-Anforderungsanalyse fahren zu können. So kann man prüfen, ob wichtige Dinge vergessen wurden. Enthalten alle Seiten einen Zählcode? Wurde AdSense überall korrekt verbaut? Haben alle erreichbaren HTML-Seiten auch wirklich einen Link zum Impressum? Diese und andere Fragestellungen lassen sich dann domainweit und sogar domainübergreifend in einem kontinuierlichen Monitoring beantworten.

Die Site-Analyse

Nach einem Crawl findet man im Menüpunkt „Crawl Info“ u. a. entsprechende Hinweise über Fehler, die robots.txt und auch ein Logfile über den Crawlvorgang selbst. Unter „Structure“ findet man alle URLs nach den gebildeten Clustern, nach Klicklevel und Host. Eine Besonderheit ist die Unterscheidung zwischen Suchmaschinenbot und Besuchern. Die Klicktiefe bzw. die Ebenen müssen aus der jeweiligen Sicht z. B. durch den Einsatz der robots.txt, von canonical- oder hreflang-Tags nicht immer identisch sein. Besucher können nämlich Seiten u. U. schneller erreichen als ein Bot, der sich an bestimmte hinterlegte Anweisungen hält.

Im Untermenü „Links“ werden alle URLs mit der jeweiligen Anzahl aus- und eingehender Links gelistet. Diese „Beziehungen“ von URLs über Links werden bekanntlich von Google für die PageRank-Bildung herangezogen und sind daher besonders wichtig. Aber auch die jeweils abgehenden Links sind wichtig, weil sie für die Berechnung des sog. CheiRank verwendet werden. Dazu später mehr.

Das Menü „Performance“ weist jeweils sinnvoll gruppiert die Response-Times und die Filegrößen aus. Die Zeit- und Größengruppen sind anklickbar und zeigen dann z. B. nur die Seiten an, die (nur) zwischen drei und fünf Sekunden laden. Auch hier kann über ein Pull-down-Menü nach einzelnen vorher gebildeten Clustern gefiltert werden. So kann man schnell erkennen, ob bestimmte Seitentypen Probleme machen (Abbildung 6). Detailanalysen können z. B. verraten, dass zwar Bilder im Vergleich schnell geladen werden, die HTML-Seiten jedoch nicht, weil sie vielleicht dynamisch erzeugt werden. Mittelwertbetrachtungen helfen hier ja in der Regel nicht weiter, auch nicht die Betrachtung einzelner URLs wie in Google Analytics oder anderen Webdiensten, die derartige Auswertungen machen. Erst über die gesamthafte Betrachtung aller Seiten und deren Elemente lassen sich Problemstellen wirklich identifizieren.     

Im Menüpunkt „Onpage“ findet man die oben bereits erwähnten Hints, also Hinweise auf mögliche Fehler bzw. Optimierungspotenzial. Dabei ist natürlich nicht jeder Hint gleich als Fehler zu werten. Jede mehr oder weniger problematische Besonderheit listet AUDISTO hier auf und kann entsprechend den Gegebenheiten der eigenen Domain abgearbeitet werden. Dabei helfen ein Filter „Hint Group“ (Abbildung 7, Punkt 1) sowie die  selbst gebildeten Cluster (Punkt 2). Alle Hinweise sind für Details anklickbar (Punkt 3). Zum Verständnis sollte man freilich zumindest über gesunde SEO-Basiskenntnisse verfügen. Je mehr, desto besser erkennt man, wie tief ein solches Audit tatsächlich geht und wo sich Problembereiche befinden, die mit mach anderem Tool ggf. nicht oder nicht so transparent werden.

Für die Prüfung auf doppelte Inhalte (Duplicate Content) sortiert AUDISTO jedes mehrfache Auftreten zusammen mit den URLs einer eigenen Gruppe zu (Abbildung 8). Wer das hreflang-Tag für mehrere Länder und Sprachen einsetzt, bekommt eine ausführliche Fehleranalyse bei fehlenden Referenzierungen.

Besonderheit: PageRank und CheiRank

Über den PageRank von Google wurde in der Website Boosting ja schon sehr häufig berichtet, zuletzt als Titelbeitrag in der Ausgabe 44 („Es lebe der PageRank“). Insofern soll er an dieser Stelle aus Platzgründen nicht erneut erklärt werden. Er wird bekanntlich grob formuliert für eine Seite aufgrund des vererbbaren PageRank-Wertes aller auf diese URL verlinkenden Seiten gebildet. Bewertet werden also die eingehenden Links. Der sog. CheiRank ist so gesehen das Gegenteil davon. Er bewertet, wie viele Links von einer Seite weggehen. Damit werden die sog. „Hub“-Seiten identifiziert. Mit anderen Worten wird die Frage beantwortet, von welchen Seiten man auf dem kürzesten (Linkklick-)Weg zu möglichst vielen anderen Seiten kommt. Solche Seiten stellen gewissermaßen die Zentren einer Site dar. Abbildung 9 zeigt den Unterschied stark vereinfacht. Seite A hat nach der Betrachtung der eingehenden Links den höchsten PageRank, aber Seite D hat mehr ausgehende Links und stellt den stärksten Hub dar.

In der Darstellung wird auch gleichzeitig das hier vorhandene Problem deutlich. Aufgrund der internen Verlinkung erhält A die meiste Power, verteilt sie aber nicht entsprechend weiter. D dagegen erhält selbst nur wenig PageRank, wäre aber als zentraler „Verteiler“ besser geeignet als A. 

AUDISTO berechnet nun über alle Seiten nicht nur in tiefen Iterationsintervallen den PageRank, sondern auch den CheiRank. Beide Werte werden in den Übersichten pro URL mit ausgegeben bzw. sind sortiert nach beiden Werten anzeigbar.

Die Kombination zwischen PageRank und CheiRank wird in AUDISTO als sortierte URL-Tabelle unter „2D-Rank“ ausgegeben (Abbildung 10). Hier offenbaren sich dann strukturelle Schwächen hinsichtlich der internen Verlinkung. Wie im Beispiel gezeigt, haben eben nicht die PageRank-starken URLs den höchsten CheiRank. Mit anderen Worten verteilen die starken Seiten den PageRank nicht optimal, weil sie selbst keine guten Hubs sind. Unter „Potentials“ werden im Menü „Ranks“ daher auch entsprechend potenzielle Linkziele und gute interne Linkgeber gelistet. Die „URLs With A High PageRank And Only A Few Outgoing Links“ werden den „URLs With A High CheiRank And Only A Few Incoming Links“ gegenübergestellt. Wer sich schon intensiver mit SEO auseinandergesetzt hat, weiß, wie wichtig die internen Linkstrukturen für die Rankingbeurteilung von Google sind. Hier findet man daher immer einen guten Einstiegspunkt und strukturelle Verbesserungen. Zudem ist es vielleicht auch keine schlechte Idee, mögliche (googlekonforme) externe Backlinks auf Seiten mit hohem CheiRank zu bekommen. Diese vererben die extern zusätzlich empfangene Power nämlich besonders gut an andere Seiten. Ob dies gewünscht ist, hängt freilich von der gewählten SEO-Strategie ab.

Alle Daten über API abholbar

Sämtliche gecrawlte Daten lassen sich über die API von AUDISTO in eigene Systeme ziehen. Dies ist nicht selten ein kleines Ärgernis bei anderen SEO-Tools, die bestimmte Daten entweder gar nicht übertragen oder stark eingeschränkt, obwohl man sie im Webinterface sehen und darin blättern kann. Hier spürt man die professionelle Ausrichtung des Tools auch auf große Kunden, die SEO-Daten mit anderen Unternehmensdaten (Umsätze/Gewinn, Warenkörbe etc.) zusammenführen, aber verständlicherweise eben nicht an einen externen Anbieter übertragen wollen. Dies geht eben nur one-way, also vom Tool-Anbieter zum Kunden – nicht umgekehrt.

Wer also selbst weiterführende Analysen fahren möchte, wird von den unbeschränkten Übertragungsmöglichkeiten der API, aber auch von den umfassenden Möglichkeiten für Datendownloads via Excel oder dem extra Data-Downloader mit dem TSV-Format begeistert sein.

Hilfestellungen

Wertvolle und umfangreiche technische SEO-Tipps findet man kostenlos als „Insights“ im Blogbereich unter audisto.com/insights. Hier lohnt sich ein Reinsehen auf jeden Fall. Bereits bestehende Kunden von AUDISTO, mit denen Website Boosting im Vorfeld für eine Einschätzung sprach, lobten unisono das Onboarding hoch. Das Team nimmt sich auf sehr angenehme Art genügend Zeit, in das Tool und die Konfiguration einzuführen, und gibt bereitwillig und proaktiv Tipps und praktische Unterstützung. Aufgrund der Mächtigkeit der Parametrisierungsmöglichkeiten hilft dies enorm für eine hohe Startgeschwindigkeit und man profitiert von der Erfahrung. Dies erspart sicherlich die eine oder andere Crawlingrunde und führt schneller zur Aufdeckung von Optimierungspotenzialen.

Preise

Die monatlichen Preise starten bei 90.- € netto für 100.000 zu crawlende URLs (bis zu 1 Mio. analysierte URLs und 10 Mio. analysierte interne Links) und gehen bis zu 50 Mio. Crawlingbudget (dann 500 Mio. analysierte URLs und 5 Mrd. interne Links) für 3.000.- €. Zum Ende eines Monats kann jeweils gekündigt werden. Wer eine Vertragsdauer von 12 Monaten eingeht, bekommt einen Monat geschenkt. Unter audisto.com/pricing lässt sich der genaue Betrag entsprechend den eigenen Bedürfnissen recht einfach per Schieberegler ermitteln. Nützlich ist für viele sicherlich die Möglichkeit, ohne Zusatzkosten „Views“ für andere Nutzer, z. B. Team oder Kunden, zu öffnen, womit man dann Einblick in alle Daten erhält.

Eine Besonderheit ist, dass sich die Domain (und ggf. deren Subdomains) eines Projektes beliebig häufig crawlen lässt und dabei keine Limitierungen z. B. in Form von Credits greifen. Dies hilft insbesondere zu Beginn, da man oftmals erst nach einigen Crawls die wahre Power der Einstellmöglichkeiten und der Clusterbildung erkennt bzw. zu schätzen lernt. So sind ständige Verfeinerungen möglich, ohne ständig ängstlich auf einen Verbrauchszähler schielen zu müssen. Aber auch später bei fallweisen Einzel- und „Was-wäre-wenn“-Analysen beruhigt diese Art von Freiheitsgrad. AUDISTO hält jeweils die letzten fünf Crawls vor und erlaubt somit auch vergleichende Auswertungen nach Änderungen.      

Aufgrund von aktuellen Änderungen wurde hier ein Absatz entfernt.