Sie haben eine Website fertiggestellt und veröffentlicht. Im besten Fall kommt nun der GoogleBot und untersucht Ihren Internetauftritt. Dabei schaut sich der GoogleBot Ihre konkreten Texte genau an und prüft sie auf Bedeutsamkeit und Originalität. Er interessiert sich aber auch für weitere Angaben wie die Titel der einzelnen Seiten, deren kurze Beschreibungen oder die Attribute Ihrer Bilder.
Wer ist der GoogleBot und wie arbeitet er?
Der GoogleBot ist ein Programm von Google, das das Internet nach Inhalten durchsucht und an die Datenbanken von Google übermittelt. Der Prozess des Besuchs nennt sich auch Crawling. Das Programm kriecht (englisch to crawl: kriechen) auf den verschiedenen Wegen, das heißt mittels der internen Verlinkung durch Ihre Website, Damit gelangt es zu Ihren Inhalten: von der Startseite zur Seite Produkte und von dort zu Produkt 1, dann zu Produkt 2 und so weiter. Die Inhalte gehen nach einer Prüfung und der Analyse in mehr als 200 Punkten meist in den Index von Google ein, also die große Datenbank der Suchmaschine. Bei einer Suchanfrage via Google werden diese Daten dann entsprechend der Relevanz und des bisherigen Suchverhaltens ausgegeben.
Ob Google seinen Bot schon zu Ihrer Website geschickt hat, können Sie selbst ermitteln: Die meisten Internetprovider, die Ihnen den Speicherplatz für Ihren Internetauftritt zur Verfügung stellen, bieten Ihnen eine Übersicht, wer Ihren Internetauftritt besucht hat. Hier können Sie feststellen, wann Ihre Website zuletzt vom GoogleBot besucht worden ist, da er ein eindeutige Kennung hinterlässt. Es ist auch möglich, den Crawler bewusst auf die eigene Seite einzuladen; dies geht zum Beispiel nach einer Anmeldung beim Dienst Google Webmaster Tools. Dort können Sie sich auch anzeigen lassen, wie der Crawler Ihre einzelnen Seiten sieht.
Der GoogleBot hat jede Menge zu tun, denn täglich ändern sich sehr viele Webseiten und es kommen viele neue hinzu. Deshalb bleibt der Bot immer nur kurz auf einer Seite. Wenn die Abfrage zu lange dauert, bricht er den Vorgang ab und kriecht zur nächsten Seite. Eine Routine prüft zudem, ob es sich lohnt, diese Seite öfter aufzusuchen: Große Nachrichten-Portale werden sehr häufig besucht, damit aktuelle Nachrichten sofort im Index verfügbar sind.
Was machen andere Suchmaschinen und Dienste?
Andere Suchmaschinen wie BING oder Yahoo stellen ähnliche Dienste zur Verfügung. BING benutzt eine vergleichbare Technik wie Google und schickt ebenfalls einen Bot los. Außerdem gibt es zahlreiche andere Firmen wie Alexa oder Baido (eine chinesische Suchmaschiene), die ebenfalls Bots auf die Reise schicken. Der GoogleBot stellt sich aber nach wie vor als die wichtigste Suchmaschine dar: Google hatte 2014 in Deutschland einen Marktanteil von 94,88 %, BING kam auf 2,42 %, Yahoo landete auf Platz 3 mit 1,77 % (Quelle: Statista). Anbieter wie web.de, gmx.de oder T-Online haben eine eigene Suchmaschinen-Oberfläche, nutzen aber das Datenmaterial von Google.
Was erkennen die Bots?
Kurz gesagt: Die Bots erkennen alles – und manchmal vielleicht sogar noch mehr. Bots lieben gute, informative, strukturierte und bestenfalls originäre Texte, da unterscheiden sie sich gar nicht mehr so sehr von Lesern. Zudem lesen die Bots aber auch zum Beispiel die Metainformationen, denen die meisten Menschen keine Beachtung schenken. Wie die Hilfsprogramme für Menschen mit Sehbehinderung legt der GoogleBot bei Seiten mit Bildern seine Aufmerksamkeit mehr auf die Bildbeschreibungen – beide Programme beherrschen das Erkennen von Bildern noch nicht perfekt. Schwierigkeiten haben Crawler auch bei Inhalten, die mit der Flash-Technologie von Adobe gestaltet sind. Flash stellt die Inhalte kodiert dar, so sind zum Beispiel Texte im Flash-Kontext nur sehr schwer für Google verständlich.
Gute Texte, beschreibende Texte zu Bildern und eine gut erkennbare Struktur der Website sowie eine Kurzangabe des Inhalts in einem Satz sind wichtige Voraussetzungen für das Suchmaschinenergebnis. Wenn diese Vorgaben erfüllt sind, erfassen die Suchmaschinen auch Ihre Website und ordnen sie in ihrem Ranking ein, bestenfalls sogar ganz oben.
Es lohnt sich in jeden Fall zu überprüfen, ob Ihre Seiten schon von Crawlern besucht worden sind oder ob es gar Probleme gibt. Ihre Website ist schon seit einigen Jahren online, wurde länger nicht mehr überarbeitet und landet neuerdings nicht mehr wie früher auf den ersten drei Google-Ergebnisseiten? Der Grund hierfür kann in der vielleicht fehlenden Anpassung für die Darstellung auf Mobilgeräten liegen. Ein Blick in Ihr Webmaster Tools-Konto kann hier Aufschluss liefern.
Von langen Stichwort-Listen, die einst überschaubare Texte aufwerten sollten, lassen die Bots sich im Übrigen schon lange nicht mehr beeinflussen.
Kann ich Bots von meiner Website ausschließen?
Es ist übrigens durchaus möglich, den Crawlern zu verbieten, bestimmte Inhalt zu indexieren. Ein kleiner Befehl auf der jeweiligen Seite macht es möglich. Dies kann für einzelne Seiten Ihrer Website sinnvoll sein. Es kann aber auch für Ihre gesamte Website gelten, solange sie sich noch im Aufbau befindet. Im Allgemeinen halten sich die Suchmaschinen an diese Vorgabe. Eine Garantie dafür gibt es allerdings nicht. Letztlich sollte man nichts auf einem Webserver veröffentlichen, das nicht jeder sehen darf.
Schreibe einen Kommentar