Crawler blockieren oder freigeben – Best Practices
Crawler blockieren oder freigeben – Best Practices
Nicht jede Seite sollte von Google gecrawlt werden. Manchmal ist es besser, bestimmte Inhalte gezielt auszuschliessen – um Crawling-Budget zu sparen, Duplicate Content zu vermeiden oder sensible Bereiche zu schützen.
In diesem Guide zeigen wir dir, wie du
Inhaltsverzeichnis
- Was sind Crawler & wie funktionieren sie?
- robots.txt gezielt einsetzen
- Meta Robots – Seiten für Google sichtbar oder unsichtbar machen
- Was solltest du blockieren (und was nicht)?
- FAQ – Crawler Steuerung SEO
Was sind Crawler & wie funktionieren sie?
Crawler (z. B. Googlebot) sind automatisierte Programme, die Websites durchsuchen, analysieren & indexieren.
Wenn du willst, dass Google deine Inhalte richtig versteht und bewertet, musst du
robots.txt gezielt einsetzen
Die robots.txt liegt im Root deiner Website (z. B. /robots.txt) und steuert, welche Bereiche für Suchmaschinen zugänglich sind:
User-agent: *
Disallow: /admin/
Disallow: /wp-login.php
Allow: /💡
Meta Robots – Seiten gezielt ausblenden
Im <head>-Bereich deiner HTML-Seite kannst du Crawler ebenfalls steuern:
<meta name="robots" content="noindex,follow" />Bedeutung:
- index, follow: Seite darf gerankt & verlinkt werden
- noindex, follow: Seite wird nicht gerankt, aber ihre Links werden verfolgt
- noindex, nofollow: Seite und ihre Links ignorieren
Was solltest du blockieren (und was nicht)?
✅ Diese Bereiche solltest du ausschliessen:
- /wp-admin/, /login, /checkout (technische Seiten)
- Duplicate-Content-Seiten (Filter, Sortierungen)
- Internes Test- oder Archivmaterial
🚫 Diese Seiten solltest du nicht blockieren:
- Blog-Beiträge, Produktseiten, Landingpages
- Seiten mit Ranking-Potenzial
- Inhalte mit Backlinks oder Social-Traffic
FAQ – Crawler Steuerung SEO
Wie finde ich heraus, was Google blockiert?
Über die Google Search Console → Crawling-Statistiken & Abdeckung.
Was ist besser: noindex oder Disallow?
noindex entfernt Seiten aus dem Index, aber sie können gecrawlt werden. Disallow blockiert den Zugriff komplett – keine Bewertung möglich.
Wie kann ich testweise blockieren?
Verwende den robots.txt-Test in der Search Console oder setze vorübergehend Meta Robots auf „noindex“.
🚀 Du willst Google gezielt zeigen, was wichtig ist?
➤ Jetzt Crawling & Indexierung mit SEOBoost optimieren