Such- und Antwort-Bots
Bauen den Index auf, aus dem KI-Suchen Antworten und Quellen holen.
Beispiele: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot. Gesperrt heißt: in den Antworten dieser Dienste praktisch nicht zitiert.
Wer KI-Crawler pauschal blockiert, verschwindet oft unbemerkt aus ChatGPT, Perplexity oder Claude. Wer alles erlaubt, liefert Trainingsdaten. Die Lösung ist eine bewusste Unterscheidung: Such-Bots erlauben, über Trainings-Bots selbst entscheiden. Mit Generator für Ihre robots.txt.
Schritt 5 von 9 · Prüfen · WegweiserDie wichtigste Unterscheidung: Nicht jeder KI-Bot dient demselben Zweck. Wer das trennt, kann sichtbar bleiben, ohne alles freizugeben.
Bauen den Index auf, aus dem KI-Suchen Antworten und Quellen holen.
Beispiele: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot. Gesperrt heißt: in den Antworten dieser Dienste praktisch nicht zitiert.
Rufen eine Seite ab, weil ein Mensch den Assistenten gerade danach gefragt hat.
Beispiele: ChatGPT-User, Claude-User, Perplexity-User. Die Anbieter erklären, dass robots.txt hier teilweise nicht greift, weil ein Mensch den Abruf auslöst.
Sammeln Inhalte, um künftige Modelle zu trainieren.
Beispiele: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Meta-ExternalAgent. Sperren beeinflusst die Sichtbarkeit in der KI-Suche nach Angaben der Anbieter nicht direkt.
AI Overviews und der AI Mode nutzen den normalen Googlebot.
Google-Extended steuert nur, ob Inhalte für Gemini-Modelle genutzt werden. Wer Googlebot sperrt, verschwindet aus der gesamten Google-Suche. Einen eigenen Opt-out aus AI Overviews gibt es nur auf Domainebene in der Search Console, mit Sichtbarkeitsverlust.
User-Agent-Namen, wie sie in der robots.txt stehen. Anbieter ändern ihre Crawler regelmäßig; vor dem Einsatz die verlinkte Dokumentation prüfen.
| User-Agent | Anbieter | Art | Wofür | Empfehlung |
|---|---|---|---|---|
Googlebot | Suche | Google-Suche inklusive AI Overviews und AI Mode | Erlauben | |
Bingbot | Microsoft | Suche | Bing und Copilot; Bing-Index dient vermutlich auch anderen KI-Suchen | Erlauben |
OAI-SearchBot | OpenAI | Suche | Index für die ChatGPT-Suche und Quellenlinks | Erlauben |
Claude-SearchBot | Anthropic | Suche | Suchindex für Antworten von Claude | Erlauben |
PerplexityBot | Perplexity | Suche | Index für Perplexity-Antworten | Erlauben |
Applebot | Apple | Suche | Siri, Spotlight und Safari-Vorschläge | Erlauben |
ChatGPT-User | OpenAI | Nutzerabruf | Abruf, wenn jemand ChatGPT nach einer Seite fragt; robots.txt greift laut OpenAI ggf. nicht | Erlauben |
Claude-User | Anthropic | Nutzerabruf | Abruf im Auftrag eines Claude-Nutzers | Erlauben |
Perplexity-User | Perplexity | Nutzerabruf | Abruf im Auftrag eines Nutzers; hält sich laut Anbieter meist nicht an robots.txt | Erlauben |
GPTBot | OpenAI | Training | Trainingsdaten für OpenAI-Modelle | Entscheiden |
ClaudeBot | Anthropic | Training | Trainingsdaten für Claude-Modelle | Entscheiden |
Google-Extended | Training | Nutzung für Gemini-Modelle; kein Einfluss auf AI Overviews | Entscheiden | |
Applebot-Extended | Apple | Training | Nutzung für Apple Intelligence | Entscheiden |
CCBot | Common Crawl | Training | Offener Webkorpus, den viele KI-Anbieter zum Training nutzen | Entscheiden |
Meta-ExternalAgent | Meta | Training | Trainingsdaten für Meta-Modelle | Entscheiden |
Bytespider | ByteDance | Training | Trainingsdaten; wird oft dafür kritisiert, robots.txt nicht zu beachten | Entscheiden, ggf. per Firewall |
Dokumentation der Anbieter: OpenAI · Google · Anthropic · Perplexity · Apple.
Profil wählen, bei Bedarf einzelne Bots anpassen, Ergebnis kopieren. Die Datei gehört ins Hauptverzeichnis Ihrer Domain (/robots.txt).
Die robots.txt ist eine Bitte, keine Sperre: Seriöse Anbieter halten sich daran, andere nicht. Wer Bots verlässlich aussperren will, braucht zusätzlich Regeln in Firewall oder CDN.
CDNs und Hoster wie Cloudflare bieten Einstellungen, die KI-Crawler auf Firewall-Ebene blockieren, teils schon als Voreinstellung. Diese Sperren gelten unabhängig von der robots.txt. Prüfen Sie im Dashboard Ihres Anbieters, welche Bots tatsächlich durchgelassen werden.
Wer AI Overviews meiden will und Googlebot sperrt, verliert die gesamte Google-Suche. Google-Extended wiederum hat keinen Einfluss auf AI Overviews.
Erlaubte Bots sehen trotzdem nichts, wenn Inhalte erst im Browser entstehen. Laut Vercel und MERJ führen die großen KI-Crawler außer Googlebot kein JavaScript aus.
Viele robots.txt-Vorlagen aus dem Netz sperren pauschal „alle KI-Bots“ inklusive der Such-Bots oder enthalten veraltete Namen. Jeder Eintrag sollte bewusst gesetzt sein.
Server-Logs zeigen, welche Bots tatsächlich kommen. Tauchen erlaubte Such-Bots nie auf, blockiert etwas anderes. Tauchen gesperrte Bots weiter auf, ignorieren sie die robots.txt.
Rechtlicher Hinweis: Für Rechteinhaber in der EU kann ein maschinenlesbarer Nutzungsvorbehalt gegen Text- und Data-Mining relevant sein. Ob eine robots.txt dafür genügt, ist nicht abschließend geklärt; im Zweifel zusätzlich im Impressum oder in den Nutzungsbedingungen erklären.