Nicht jede technisch erreichbare URL einer Website gehört in den öffentlichen Suchindex: Interne Suchergebnisseiten, Warenkorb- und Checkout-Stufen, Kunden-Logins, Danke-Seiten oder rechtliche Pflichtseiten bieten für die organische Suche keinen Mehrwert und verwässern im schlimmsten Fall die Gesamtqualität der Domain. Über das Meta-Robots-Tag steuerst du auf Seitenebene verbindlich, wie Suchmaschinen und KI-Systeme mit dem jeweiligen Dokument umgehen müssen.
Technische Implementierung: HTML-Meta-Tag vs. X-Robots-Tag
Anders als das Canonical-Tag, das von Suchmaschinen lediglich als Empfehlung (Hint) gewertet wird, handelt es sich bei Meta-Robots-Angaben um strikte Direktiven, an die sich seriöse Suchmaschinen-Bots halten müssen. Es gibt zwei technische Wege der Auslieferung:
- Im HTML-
<head>(Standard für Webseiten): Über das Attributname="robots"sprichst du alle Crawler an – oder adressierst über spezifische Bot-Namen (z. B.name="googlebot") gezielt einzelne Suchmaschinen. - Im HTTP-Header als
X-Robots-Tag: Da PDF-Dokumente, Bilder, Videos oder XML-Feeds keinen HTML-<head>besitzen, wird die Anweisung direkt vom Webserver im HTTP-Response-Header mitgeschickt (z. B.X-Robots-Tag: noindex, nofollow).
<!-- Standard-Anweisung für alle Bots im HTML-Head -->
<meta name="robots" content="noindex, follow" />
<!-- Spezifische Steuerung der Textvorschau (Snippet-Länge) -->
<meta name="robots" content="index, follow, max-snippet:160, max-image-preview:large" />
Die wichtigsten Meta-Robots-Direktiven im Überblick
| Direktive | Bedeutung & technische Wirkung | Typischer Praxiseinsatz |
|---|---|---|
index, follow | Seite darf indexiert werden; Bot folgt den Links auf der Seite (Standardverhalten, auch wenn das Tag komplett fehlt). | Alle regulären Kategorieseiten, Produkte, Blogartikel & Landingpages. |
noindex, follow | Seite wird nicht in den Suchindex aufgenommen (bzw. entfernt), aber die interne Verlinkung wird weiterverfolgt. | Paginierte Tag-/Archivseiten, bestimmte Filter-Ansichten, interne Suchergebnisse. |
noindex, nofollow | Weder Indexierung der Seite noch Verfolgung der darauf enthaltenen Links. | Checkout-Prozesse, Kundenkonto-Bereiche, private Vorschau-Links. |
max-image-preview:large | Erlaubt Google die Ausspielung großer Vorschaubilder in Discover, den SERPs und AI Overviews. | Pflicht-Einstellung für alle redaktionellen Artikel und Ratgeber (erhöht die CTR massiv). |
nosnippet / max-snippet:[Zahl] | Untersagt Textauszüge komplett oder begrenzt die Zeichenanzahl für Snippets und Grounding-Zitate. | Paywall-Inhalte oder exklusive Datenbanken, die nicht im Volltext extrahiert werden sollen. |
Bedeutung für GEO, AI Overviews & RAG-Extraktion
Im Kontext von Generative Engine Optimization (GEO) und Google AI Overviews gewinnen die erweiterten Snippet-Direktiven stark an Bedeutung: Google nutzt für die Generierung von AI Overviews denselben Index und dieselben Berechtigungen wie für klassische Web-Snippets.
- Vorsicht mit
nosnippetund strengemmax-snippet: Wer aus Angst vor Zero-Click-Suchen pauschalnosnippetoder sehr niedrige Zeichenlimits setzt, schließt seine URLs gleichzeitig davon aus, als Grounding-Quelle und klickbare AI Citation in den KI-Antworten von Google zitiert zu werden. - Gezielte Ausnahmen im HTML mit
data-nosnippet: Wenn du möchtest, dass ein Artikel normal indexiert und in RAG-Systemen abgerufen wird, aber bestimmte Elemente (z. B. rechtliche Disclaimer, Cookie-Texte oder dynamische Preis-Boxen) nicht in Snippets oder KI-Zusammenfassungen landen sollen, kannst du einzelne HTML-Container gezielt mit dem Attribut<div data-nosnippet>...</div>ausklammern.
Der gefährlichste Klassiker im Technical SEO: noindex + robots.txt-Sperre!
Sperre eine URL, die bereits im Google-Index ist und über noindex entfernt werden soll, niemals gleichzeitig per Disallow in der robots.txt. Wenn die robots.txt das Crawling verbietet, darf der Googlebot die Seite nicht mehr aufrufen – er sieht das noindex-Tag im HTML-Quelltext also nie und die URL bleibt oft monatelang als leere Hülle im Suchindex bestehen.
Weiterführende Deep-Dives & Tools auf burakowski.net
- Meta-Robots & X-Robots-Tag sofort prüfen: Mein kostenloses Beetroot SEO & GEO Chrome Plugin liest sowohl das HTML-Meta-Tag als auch den HTTP-Header (
X-Robots-Tag) aus und warnt dich sofort visuell, wenn eine Seite aufnoindexsteht. - Wirkung auf das Crawl Budget verstehen: Simuliere im Crawl Budget Simulator, warum
noindex-Seiten weiterhin Crawl-Kapazität verbrauchen. - Verwandte Glossar-Begriffe: Canonical-Tag (rel=“canonical“), Crawl Budget & CTR (Klickrate)