Googlebot crawled kurze Pfade zu erstvom 09.10.2011 Interessante Beobachtung bei einer neuen Webseite: der GoogleBot hat nach der Indexierung der Startseite mit vielen internen Links mit der kürzesten URL (Pfad) begonnen und dann in der aufsteigenden Reihenfolge der Pfadlängen weiter gecrawled. Das gibt im Logfile eine schöne Pyramide. Insgesamt gab es drei Anläufe zu verschiedenen Zeiten.
Beispiel:
domain.de/pfad
domain.de/pfad_wolke
domain.de/pfad_wetter
domain.de/pfad_sonnenschein
domain.de/pfad_regen_mit_wind
domain.de/pfad_gewitter_und_sturm
Ältere Artikel zum Thema: > GoogleBot ohne DNS Auflösung (23.09.2004)
|