Webcrawler

Der Suchmaschinenroboter

 

Ein Webcrawler ist ein digitaler Suchroboter, der jeden Tag unzählige Webseiten durchsucht. Er folgt von der Startseite aus allen Unterseiten, um neue oder aktualisierte Seiten zu finden. Dadurch kann die entsprechende Webseite auf Suchmaschinen gelistet werden.

Die Verwendung einer Sitemap erleichtert Crawlern das schnelle Finden von tiefer liegenden Seiten.

Crawler ausschließen

 

Ein Crawler kann auch von der Webseite ausgeschlossen werden, wenn der Webseitenbetreiber nicht will, dass bestimmte Seiten indexiert werden. In der robot.txt Datei kann die URL ausgeschlossen werden.