Der Crawler ist das Suchprogramm der Suchmaschine der die Datenbestände des Index füllt.
Die Indexierung meint die Aufnahme der Inhalte einer Website in den Datenbestand der Suchmaschine. Das Suchprogramm von Google “durchforstet” das Web, dieser sog. Crawler erfasst die Daten der Websites im Internet.
Googlebot Crawler
Basierend auf der Aussage von Matt Cutts, dass die Anzahl der Seiten die der Googlebot crawlt in Relation zum aktuellen Pagerank einer Seite steht, wurde das Verhalten des Googlebots untersucht. Hierzu wurde ein Studie durchgeführt die dies nun in Frage stellt, es ist zwar keine repräsentative Untersuchung jedoch sind darunter einige interessante Details für diesen einen Fall ersichtlich geworden. Diese lassen auch Rückschlüsse auf das Google Ranking zu.
Der Versuch wurde auf eine absolut neue Domain ohne jegliche Indizierung und Backlinks ausgeführt. Es wurden pro Seite genau 250 Links angelegt die je auf eine Seite verwies die wiederum auf 250 links besaß und das immer weiter nach diesem Prinzip. Nun wurde beobachtet wie sich der Bot beim crawlen verhält, schließlich hat die neue Seite ohne Google Ranking einen Pagerank von 0 und würde Matt Cutts Aussage 100% zutreffen müsste der Googlebot irgendwann den Prozess abbrechen bzw. abbremsen, zumal die Domain nicht über einen einzigen eingehenden Link verfügt.
Das Ergebnis ist in diesem Fall folgendes: der Googlebot begann mit einer Frequenz von ca. 2500 Seiten pro Stunde und bremste dann aber nach ein paar wenigen Stunden bereits deutlich auf 25 Seiten pro Stunde ab und behielt diese Crawl-Geschwindigkeit über Monate bei.
Indizierung und Google Ranking
Nach diesem Test wurde die Domain um eine Sitemap ergänzt die 50.000 unindizierte Seiten enthielt. Erstaunlich ist, dass nun schlagartig der Googlebot zuerst diese neuen Seiten indexierte und dies mit ca. 500 Seiten pro Stunde und Tage später sogar mit einer Geschwindigkeit von 1000-2000 Seiten pro Stunde also nochmal eine deutliche Steigerung. Diese Beschleunigung führte dazu dass innerhalb von einem Monat 375-Tausend Seiten erfasst wurden und das bei einer Seite die vorher ohne Google Ranking dastand.
Sicher ist, dass die Sitemap eine enorme Auswirkung auf die Indizierung durch den Googlebot besitzt, die Beschleunigung der Crawl-Rate durch den Einsatz der Sitemap ist nicht zu verachten und ist eine deutliche Empfehlung dieser Maßnahme. Denn eine schnellere Aufnahme in den Google Index bedeutet auch die Möglichkeit schneller das Google Ranking zu verbessern.
Die Studie bietet folgende Erkenntnisse, der Crawler erfasst kürzere URLs schneller als längere und 250 links pro Seite sind nicht das Limit, das Google Ranking wird durch den Sitemap sehr gut unterstützt.