Suchmaschinen Optimierung - Lexikon
Deep Crawl
Wenn ein Crawler eine Homepage besucht, also die Inhalte ausliest, werden
verschiedene Verfahren angewandt. Beim oberflächlichen crawlen werden nur neue
Seiten erfasst oder zumindest nur ein kleiner Teil einer Homepage. Der DeepCrawl
hingegen liest alle Informationen bis in die unterste Ebene aus. Dieser Vorgang
kann bei großen Webseiten mehrer Stunden benötigen. Normalerweise arbeiten
Crawler mit Verzögerungen (Wartezeiten) um Webserver nicht zu stark zu
belasten.
|