SEO & Akquisition

Crawl-Budget: Definition und Optimierung für Google

Guillaume Sallé

Leiter Analytics-Content & Glossar

Aktualisiert am February 22, 2026

Kurzdefinition

Das Crawl-Budget ist die Anzahl Seiten, die der Crawler von Google (Googlebot) bereit ist, in einem festgelegten Zeitfenster auf einer Website zu erkunden und zu indexieren. Das Crawl-Budget wird durch zwei Faktoren bestimmt: das Crawl-Limit (um den Server nicht zu überlasten) und die Crawl-Demand (basierend auf Popularität und Aktualität des Contents). Das Crawl-Budget bezeichnet damit eine begrenzte Ressource, die Site-Betreiber strategisch verwalten müssen, um sicherzustellen, dass ihre prioritären Seiten gut gecrawlt werden.

Wie es funktioniert

Das Crawl-Budget ist ein Konzept, das Google offiziell in seiner Dokumentation für grosse Sites eingeführt hat. Es repräsentiert die Crawling-Kapazität, die Googlebot einer bestimmten Site zuweist. Diese Kapazität wird von zwei Dimensionen beeinflusst: dem Crawl-Limit (Crawl Rate Limit), das die Geschwindigkeit definiert, mit der Googlebot ohne Server-Überlastung crawlen kann (an die Server-Antwortzeiten geknüpft), und der Crawl-Demand, die Googles Interesse an den URLs der Site basierend auf Popularität (Backlinks, Traffic) und Content-Aktualität widerspiegelt. Konkretes Beispiel: Eine E-Commerce-Site mit 500.000 URLs, davon 40 % gefilterte Seiten (Grösse, Farbe, Preis), verschwendet ihr Crawl-Budget für wertlose Seiten. Ergebnis: Wichtige neue Produktseiten benötigen mehrere Wochen für die Indexierung. Indem Filter-URLs per robots.txt oder Noindex-Tag blockiert und eine saubere XML-Sitemap eingereicht werden, lenkt die Site Googlebot auf prioritäre Seiten und beschleunigt deren Indexierung.

Warum es wichtig ist

Für kleine Sites (unter 1.000 Seiten) ist das Crawl-Budget meist kein Thema. Für grosse Sites (E-Commerce, Portale, Newsseiten) wird es jedoch kritisch. Ein schlecht verwaltetes Crawl-Budget bedeutet, dass wichtige Seiten wochenlang nicht indexiert werden, was ihr organisches Traffic-Potenzial reduziert. Besonders problematisch bei Sites mit hohem Content-Erneuerungstempo (News, neue Produkte).

Wie verbessern oder nutzen

Um Ihr Crawl-Budget zu optimieren: Bereinigen Sie Ihre URL-Architektur, indem Sie duplizierte, parametrisierte und geringwertige Seiten (Filterseiten, interne Suche, Pagination ohne einzigartigen Inhalt) entfernen oder konsolidieren. Blockieren Sie unnötige URLs per robots.txt. Reichen Sie eine aktuelle XML-Sitemap in Google Search Console ein. Verbessern Sie die Server-Performance, um Ihr Crawl-Limit zu erhöhen. Setzen Sie 301-Weiterleitungen statt 404-Fehlern ein. Nutzen Sie den Canonical-Tag, um Signale auf Referenzseiten zu konsolidieren.

Mit Sublim

Sublim zeigt Ihnen, welche Seiten Ihrer Site echten organischen Traffic erhalten, und hilft so, jene zu identifizieren, die priorisiert gecrawlt werden sollten. Indem Sie indexierte Seiten ohne Traffic visualisieren, erkennen Sie leicht geringwertigen Content, der unnötig Crawl-Budget verbraucht. Cookielose Datenerhebung, in Europa gehostet.

Häufig gestellte Fragen

Wie sehe ich, wie Googlebot meine Site crawlt?

Google Search Console bietet einen 'Crawl-Statistik'-Bericht, der die Anzahl täglich gecrawlter Seiten, die durchschnittliche Download-Zeit und die Arten gecrawlter Ressourcen zeigt. Sie können auch Ihre Server-Logs mit Tools wie Screaming Frog Log File Analyser analysieren, um genau zu sehen, welche URLs Googlebot besucht und wie häufig.

Ist das Crawl-Budget für eine kleine Site relevant?

Für eine gut strukturierte Site unter 1.000 Seiten ist das Crawl-Budget meist kein Problem. Googlebot crawlt kleine Sites in wenigen Tagen vollständig. Crawl-Budget-Probleme betreffen hauptsächlich grosse Sites (E-Commerce, Portale) mit Tausenden bis Millionen potenzieller URLs.

Verbrauchen via robots.txt blockierte Seiten Crawl-Budget?

Ja, Googlebot liest die robots.txt jeder Domain, kann aber dennoch eine blockierte URL aufsuchen, um zu prüfen, ob die Blockade aktiv ist. Den Inhalt indexiert er aber nicht. Um Crawl-Budget für SEO-wertlose Seiten vollständig zu sparen, kombinieren Sie die robots.txt-Blockade mit dem Entfernen interner Links auf diese URLs.