Webcrawler
Der Suchmaschinenroboter
Ein Webcrawler ist ein digitaler Suchroboter, der jeden Tag unzählige Webseiten durchsucht. Er folgt von der Startseite aus allen Unterseiten, um neue oder aktualisierte Seiten zu finden. Dadurch kann die entsprechende Webseite auf Suchmaschinen gelistet werden.
Die Verwendung einer Sitemap erleichtert Crawlern das schnelle Finden von tiefer liegenden Seiten.
Crawler ausschließen
Ein Crawler kann auch von der Webseite ausgeschlossen werden, wenn der Webseitenbetreiber nicht will, dass bestimmte Seiten indexiert werden. In der robot.txt Datei kann die URL ausgeschlossen werden.