Webcrawler

Ein Webcrawler (auch Spider oder Search Bot) ist ein automatisiertes Programm, das systematisch das Web durchläuft, Inhalte ausliest und in einem Index ablegt. Suchmaschinen wie Google, Bing oder DuckDuckGo basieren komplett auf solchen Crawlern – ohne sie gäbe es nichts zu durchsuchen. Beginnend bei einer Liste bekannter URLs (Seed-URLs) folgen sie jedem Link, finden neue Seiten, aktualisieren ihre Datenbasis und stellen die gefundenen Informationen anderen Diensten zur Verfügung. Wer eine Webseite betreibt und in der Google-Suche auftauchen möchte, muss den Crawlern den Zugang erleichtern und sie gleichzeitig in die richtigen Bahnen lenken.

Wie funktioniert ein Crawler?

Ein Crawler arbeitet in einer Schleife:

1. Seed – er startet bei einer Liste bekannter URLs (z. B. aus früheren Crawls, Sitemap-Einreichungen, eingehenden Links).
2. Fetch – er ruft jede URL ab und lädt das HTML.
3. Parse – er liest Links (<a href>), Bilder (<img src>), Skripte, strukturierte Daten und Metadaten aus.
4. Index – relevanter Inhalt wandert in den Such-Index.
5. Queue – neue Links werden zur Crawl-Warteschlange hinzugefügt, falls sie nicht schon bekannt sind.
6. Re-Crawl – bekannte URLs werden in Intervallen erneut geprüft, um Aktualisierungen zu erfassen.

Moderne Crawler wie der Googlebot rendern Seiten zusätzlich mit einem echten Browser (JavaScript-Ausführung), um auch dynamisch generierte Inhalte zu erfassen – allerdings mit Verzögerung und Ressourcenlimit.

Bekannte Webcrawler

Jeder Crawler identifiziert sich über seinen User-Agent-String, anhand dessen man ihn in Logs erkennt und in der robots.txt adressieren kann.

Crawl-Budget

Suchmaschinen vergeben pro Webseite ein begrenztes Crawl-Budget – also wie viele URLs sie in einem Zeitraum besuchen. Bei kleinen Seiten reicht das problemlos für die ganze Domain. Bei großen Webseiten (Online-Shops, Magazine, Foren mit Filter-URLs) wird das Budget schnell knapp:

• Schwache URLs (Filter-Permutationen, leere Listen, Duplicate Content) verschlingen Budget, ohne neuen Wert zu bringen
• Wichtige URLs werden seltener gecrawlt, weil das Budget woanders verbraucht wird

Optimierung: unwichtige Pfade per robots.txt oder noindex aussperren, kanonische URLs sauber setzen, langsame Server beschleunigen (siehe LCP).

Crawler steuern

robots.txt

Die robots.txt im Webroot ist das wichtigste Steuerungsinstrument – ein einfacher Textfile, der Crawlern sagt, wohin sie dürfen und wohin nicht:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /

User-agent: GPTBot
Disallow: /

Sitemap: https://www.aceart.de/sitemap.xml

Wichtig: robots.txt ist eine Bitte, kein technischer Schutz. Seriöse Crawler halten sich daran, Spam-Bots ignorieren sie. Vertrauliche Daten gehören niemals nur per robots.txt „versteckt“.

Meta-Robots im HTML

Pro Seite lässt sich die Indexierung über das Meta-Tag meta robots steuern:

<meta name="robots" content="noindex, follow">

Häufige Werte: index / noindex, follow / nofollow, noarchive, max-snippet:0. Für einzelne Crawler auch zielgerichtet (<meta name="googlebot" content="noindex">).

HTTP-Header X-Robots-Tag

Für nicht-HTML-Ressourcen (PDFs, Bilder, JSON-APIs) gibt es den HTTP-Header X-Robots-Tag: noindex als Pendant zum Meta-Tag.

canonical-Link

Bei mehreren URLs mit ähnlichem Inhalt gibt der <link rel="canonical"> an, welche Version Google ranken soll – das spart Crawl-Budget und verhindert Duplicate-Content-Probleme.

Sitemap als Wegweiser

Eine Sitemap listet alle wichtigen URLs einer Seite – ein freundlicher Hinweis für den Crawler, was wo zu finden ist. Hilfreich besonders bei großen Seiten und neu veröffentlichten Inhalten.

Crawler ausschließen – wann sinnvoll?

• Staging- und Test-Umgebungen – auf jeden Fall mit Disallow: / blockieren (zusätzlich Basic-Auth!)
• Admin-/Login-Bereiche – kein Indexierungswert, Risiko bei versehentlich öffentlich gewordenen URLs
• Filter-/Sortier-URLs – ?sort=…&color=… produziert kombinatorische Explosion an URLs ohne Mehrwert
• PDF-Duplikate von HTML-Inhalten – per X-Robots-Tag: noindex aussperren
• AI-Trainings-Crawler (GPTBot, ClaudeBot, CCBot) – bewusste Entscheidung, ob der eigene Content für LLM-Training freigegeben wird

Crawler in eigenen Server-Logs erkennen

Eingehende Crawler hinterlassen Spuren in den Access-Logs. Typische Muster:

66.249.79.42 - - [22/May/2026:10:15:22 +0200] "GET /sitemap.xml HTTP/2" 200 - "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Der User-Agent verrät den Bot, die IP-Adresse lässt sich gegen offizielle Crawler-IP-Listen abgleichen (Google bietet einen Reverse-DNS-Check unter googlebot.com). Spam-Bots fälschen ihren User-Agent häufig – hier hilft nur ein IP-Reputations-Check oder eine WAF.

Häufige Fragen zum Webcrawler

Wie oft besucht Googlebot meine Seite? Hängt von der Update-Frequenz und Autorität ab. News-Seiten werden mehrmals täglich gecrawlt, statische Marketing-Seiten alle paar Wochen. Genaue Frequenz lässt sich in der Search Console nachverfolgen.

Was ist der Unterschied zwischen Crawling und Indexierung? Crawling = der Bot besucht die Seite. Indexierung = der Inhalt landet im Such-Index. Eine Seite kann gecrawlt werden, aber dennoch nicht indexiert sein (z. B. wegen noindex oder Qualitätsproblemen).

Sehe ich, wenn Googlebot meine Seite besucht? Ja – in den Server-Access-Logs sowie zusammengefasst in der Google Search Console unter „Crawling → Statistiken“.

Verbraucht ein Crawler Bandbreite? Ja, aber meist marginal – Googlebot crawlt pro Tag wenige MB selbst bei mittelgroßen Webseiten. Auffällige Last kommt eher von aggressiven SEO-Tools oder schlecht konfigurierten Drittsystemen.

Fazit

Webcrawler sind die unsichtbaren Helfer hinter jeder Suchmaschine. Wer ihre Arbeitsweise versteht – Seed-URLs, Crawl-Budget, robots.txt, Meta-Robots – kann seine Webseite gezielt für sie öffnen und unwichtige Bereiche bewusst aussperren. Falsch konfigurierte Crawler-Direktiven sind eine der häufigsten Ursachen für plötzliche Sichtbarkeitsverluste in Google. Wir prüfen und optimieren die Crawl-Strategie im Rahmen jedes SEO-Audits – sprich uns für ein unverbindliches Beratungsgespräch gerne an.