Meta-Robots & X-Robots-Tag (noindex, nofollow)

Kompakt-Definition

Das Meta-Robots-Tag ist eine verbindliche HTML-Anweisung (Direktive) im Kopfbereich (<head>) einer Webseite, die Suchmaschinen-Crawlern exakt vorgibt, ob ein Dokument in den Suchindex aufgenommen (index / noindex), ausgehenden Links gefolgt (follow / nofollow) und wie Text- oder Bildausschnitte in den Suchergebnissen sowie KI-Antworten ausgespielt werden dürfen. Für Nicht-HTML-Dateien übernimmt das X-Robots-Tag im HTTP-Header dieselbe Funktion.

Nicht jede technisch erreichbare URL einer Website gehört in den öffentlichen Suchindex: Interne Suchergebnisseiten, Warenkorb- und Checkout-Stufen, Kunden-Logins, Danke-Seiten oder rechtliche Pflichtseiten bieten für die organische Suche keinen Mehrwert und verwässern im schlimmsten Fall die Gesamtqualität der Domain. Über das Meta-Robots-Tag steuerst du auf Seitenebene verbindlich, wie Suchmaschinen und KI-Systeme mit dem jeweiligen Dokument umgehen müssen.

Technische Implementierung: HTML-Meta-Tag vs. X-Robots-Tag

Anders als das Canonical-Tag, das von Suchmaschinen lediglich als Empfehlung (Hint) gewertet wird, handelt es sich bei Meta-Robots-Angaben um strikte Direktiven, an die sich seriöse Suchmaschinen-Bots halten müssen. Es gibt zwei technische Wege der Auslieferung:

  1. Im HTML-<head> (Standard für Webseiten): Über das Attribut name="robots" sprichst du alle Crawler an – oder adressierst über spezifische Bot-Namen (z. B. name="googlebot") gezielt einzelne Suchmaschinen.
  2. Im HTTP-Header als X-Robots-Tag: Da PDF-Dokumente, Bilder, Videos oder XML-Feeds keinen HTML-<head> besitzen, wird die Anweisung direkt vom Webserver im HTTP-Response-Header mitgeschickt (z. B. X-Robots-Tag: noindex, nofollow).
<!-- Standard-Anweisung für alle Bots im HTML-Head -->
<meta name="robots" content="noindex, follow" />

<!-- Spezifische Steuerung der Textvorschau (Snippet-Länge) -->
<meta name="robots" content="index, follow, max-snippet:160, max-image-preview:large" />

Die wichtigsten Meta-Robots-Direktiven im Überblick

DirektiveBedeutung & technische WirkungTypischer Praxiseinsatz
index, followSeite darf indexiert werden; Bot folgt den Links auf der Seite (Standardverhalten, auch wenn das Tag komplett fehlt).Alle regulären Kategorieseiten, Produkte, Blogartikel & Landingpages.
noindex, followSeite wird nicht in den Suchindex aufgenommen (bzw. entfernt), aber die interne Verlinkung wird weiterverfolgt.Paginierte Tag-/Archivseiten, bestimmte Filter-Ansichten, interne Suchergebnisse.
noindex, nofollowWeder Indexierung der Seite noch Verfolgung der darauf enthaltenen Links.Checkout-Prozesse, Kundenkonto-Bereiche, private Vorschau-Links.
max-image-preview:largeErlaubt Google die Ausspielung großer Vorschaubilder in Discover, den SERPs und AI Overviews.Pflicht-Einstellung für alle redaktionellen Artikel und Ratgeber (erhöht die CTR massiv).
nosnippet / max-snippet:[Zahl]Untersagt Textauszüge komplett oder begrenzt die Zeichenanzahl für Snippets und Grounding-Zitate.Paywall-Inhalte oder exklusive Datenbanken, die nicht im Volltext extrahiert werden sollen.

Bedeutung für GEO, AI Overviews & RAG-Extraktion

Im Kontext von Generative Engine Optimization (GEO) und Google AI Overviews gewinnen die erweiterten Snippet-Direktiven stark an Bedeutung: Google nutzt für die Generierung von AI Overviews denselben Index und dieselben Berechtigungen wie für klassische Web-Snippets.

  • Vorsicht mit nosnippet und strengem max-snippet: Wer aus Angst vor Zero-Click-Suchen pauschal nosnippet oder sehr niedrige Zeichenlimits setzt, schließt seine URLs gleichzeitig davon aus, als Grounding-Quelle und klickbare AI Citation in den KI-Antworten von Google zitiert zu werden.
  • Gezielte Ausnahmen im HTML mit data-nosnippet: Wenn du möchtest, dass ein Artikel normal indexiert und in RAG-Systemen abgerufen wird, aber bestimmte Elemente (z. B. rechtliche Disclaimer, Cookie-Texte oder dynamische Preis-Boxen) nicht in Snippets oder KI-Zusammenfassungen landen sollen, kannst du einzelne HTML-Container gezielt mit dem Attribut <div data-nosnippet>...</div> ausklammern.

Der gefährlichste Klassiker im Technical SEO: noindex + robots.txt-Sperre!
Sperre eine URL, die bereits im Google-Index ist und über noindex entfernt werden soll, niemals gleichzeitig per Disallow in der robots.txt. Wenn die robots.txt das Crawling verbietet, darf der Googlebot die Seite nicht mehr aufrufen – er sieht das noindex-Tag im HTML-Quelltext also nie und die URL bleibt oft monatelang als leere Hülle im Suchindex bestehen.

Weiterführende Deep-Dives & Tools auf burakowski.net

Weitere Begriffe in «Technical SEO»

BigQuery GSC Bulk Export & SQL-Analyse

Der BigQuery Bulk Export der Google Search Console (GSC) ist eine native Server-zu-Server-Schnittstelle, die tägliche Suchanfragen-, URL-, Klick- und Impressionsdaten tagesaktuell und ohne Sampling oder Zeilenbeschränkungen in ein Google Cloud BigQuery Data Warehouse schreibt. Anders als die Standard-Weboberfläche (die nach 16 Monaten Daten löscht und Tabellen auf 1.000 Zeilen drosselt) ermöglicht BigQuery per SQL-Analyse die unbegrenzte historische Auswertung von Longtail-Suchmustern, Kannibalisierungs-Effekten und SEO-ROI-Treibern.

Regex (Reguläre Ausdrücke) in der Google Search Console

Reguläre Ausdrücke (kurz Regex oder RegExp) sind formale Suchmuster zur präzisen Filterung und Segmentierung von Zeichenketten. In der Google Search Console (GSC) ermöglicht der Regex-Filter auf Basis von Googles RE2-Syntax (bis zu 4.096 Zeichen), tausende Suchanfragen und URLs mit einer einzigen Abfrage nach Suchintention, Fragestrukturen (W-Fragen), Wortanzahl (Longtail-Prompts), Falschschreibungen der eigenen Marke oder technischen URL-Parametern zu clustern.

Programmatic SEO (pSEO) & Skalierte Datenseiten

Programmatic SEO (pSEO) ist eine datengetriebene Methode zur skalierten Erstellung hunderter oder tausender hochspezifischer Landingpages auf Basis einer strukturierten Datenbank und dynamischer Seiten-Templates. Ziel ist es, wiederkehrende Longtail-Suchmuster (Head Term + Modifikatoren wie „[Software A] Integration mit [Software B]“) systematisch abzudecken. Im Gegensatz zu abgestraftem Text-Spinning (Scaled Content Abuse) liefert erfolgreiches pSEO auf jeder einzelnen URL einzigartige Datensätze, Vergleichstabellen und echten Information Gain für Nutzer und KI-Suchsysteme.