[1]Microsites & KIAI Future Thinking ↗
KI-Crawler-Kompass · Stand November 2026

Welche KI-Bots erlauben, welche sperren?

Wer KI-Crawler pauschal blockiert, verschwindet oft unbemerkt aus ChatGPT, Perplexity oder Claude. Wer alles erlaubt, liefert Trainingsdaten. Die Lösung ist eine bewusste Unterscheidung: Such-Bots erlauben, über Trainings-Bots selbst entscheiden. Mit Generator für Ihre robots.txt.

Schritt 5 von 9 · Prüfen · Wegweiser
2,3 %der DACH-Websites sperren GPTBot in der robots.txt (Ahrefs, 24.550 Domains, Aug. 2026).
61 %der großen Verlage sperren GPTBot, weil ihre Inhalte das Produkt sind.
0KI-Crawler außer Googlebot führen JavaScript aus. Inhalt muss im HTML stehen.
Grundlage

Drei Arten von KI-Bots

Die wichtigste Unterscheidung: Nicht jeder KI-Bot dient demselben Zweck. Wer das trennt, kann sichtbar bleiben, ohne alles freizugeben.

Art 1Für Sichtbarkeit erlauben

Such- und Antwort-Bots

Bauen den Index auf, aus dem KI-Suchen Antworten und Quellen holen.

Beispiele: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot. Gesperrt heißt: in den Antworten dieser Dienste praktisch nicht zitiert.

Art 2Meist erlauben

Nutzer-Abrufe

Rufen eine Seite ab, weil ein Mensch den Assistenten gerade danach gefragt hat.

Beispiele: ChatGPT-User, Claude-User, Perplexity-User. Die Anbieter erklären, dass robots.txt hier teilweise nicht greift, weil ein Mensch den Abruf auslöst.

Art 3Bewusst entscheiden

Trainings-Bots

Sammeln Inhalte, um künftige Modelle zu trainieren.

Beispiele: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Meta-ExternalAgent. Sperren beeinflusst die Sichtbarkeit in der KI-Suche nach Angaben der Anbieter nicht direkt.

WichtigHäufiger Irrtum

Google-Extended ≠ AI Overviews

AI Overviews und der AI Mode nutzen den normalen Googlebot.

Google-Extended steuert nur, ob Inhalte für Gemini-Modelle genutzt werden. Wer Googlebot sperrt, verschwindet aus der gesamten Google-Suche. Einen eigenen Opt-out aus AI Overviews gibt es nur auf Domainebene in der Search Console, mit Sichtbarkeitsverlust.

Übersicht

Die wichtigsten Crawler im Überblick

User-Agent-Namen, wie sie in der robots.txt stehen. Anbieter ändern ihre Crawler regelmäßig; vor dem Einsatz die verlinkte Dokumentation prüfen.

User-AgentAnbieterArtWofürEmpfehlung
GooglebotGoogleSucheGoogle-Suche inklusive AI Overviews und AI ModeErlauben
BingbotMicrosoftSucheBing und Copilot; Bing-Index dient vermutlich auch anderen KI-SuchenErlauben
OAI-SearchBotOpenAISucheIndex für die ChatGPT-Suche und QuellenlinksErlauben
Claude-SearchBotAnthropicSucheSuchindex für Antworten von ClaudeErlauben
PerplexityBotPerplexitySucheIndex für Perplexity-AntwortenErlauben
ApplebotAppleSucheSiri, Spotlight und Safari-VorschlägeErlauben
ChatGPT-UserOpenAINutzerabrufAbruf, wenn jemand ChatGPT nach einer Seite fragt; robots.txt greift laut OpenAI ggf. nichtErlauben
Claude-UserAnthropicNutzerabrufAbruf im Auftrag eines Claude-NutzersErlauben
Perplexity-UserPerplexityNutzerabrufAbruf im Auftrag eines Nutzers; hält sich laut Anbieter meist nicht an robots.txtErlauben
GPTBotOpenAITrainingTrainingsdaten für OpenAI-ModelleEntscheiden
ClaudeBotAnthropicTrainingTrainingsdaten für Claude-ModelleEntscheiden
Google-ExtendedGoogleTrainingNutzung für Gemini-Modelle; kein Einfluss auf AI OverviewsEntscheiden
Applebot-ExtendedAppleTrainingNutzung für Apple IntelligenceEntscheiden
CCBotCommon CrawlTrainingOffener Webkorpus, den viele KI-Anbieter zum Training nutzenEntscheiden
Meta-ExternalAgentMetaTrainingTrainingsdaten für Meta-ModelleEntscheiden
BytespiderByteDanceTrainingTrainingsdaten; wird oft dafür kritisiert, robots.txt nicht zu beachtenEntscheiden, ggf. per Firewall

Dokumentation der Anbieter: OpenAI · Google · Anthropic · Perplexity · Apple.

Werkzeug

robots.txt-Generator

Profil wählen, bei Bedarf einzelne Bots anpassen, Ergebnis kopieren. Die Datei gehört ins Hauptverzeichnis Ihrer Domain (/robots.txt).

1. Profil

2. Bots anpassen (Haken = erlaubt)
Ihre robots.txt

Die robots.txt ist eine Bitte, keine Sperre: Seriöse Anbieter halten sich daran, andere nicht. Wer Bots verlässlich aussperren will, braucht zusätzlich Regeln in Firewall oder CDN.

Fallen

Fünf Fallen, die Sichtbarkeit kosten

  1. Ein-Klick-Sperren im CDN

    CDNs und Hoster wie Cloudflare bieten Einstellungen, die KI-Crawler auf Firewall-Ebene blockieren, teils schon als Voreinstellung. Diese Sperren gelten unabhängig von der robots.txt. Prüfen Sie im Dashboard Ihres Anbieters, welche Bots tatsächlich durchgelassen werden.

  2. Googlebot statt Google-Extended gesperrt

    Wer AI Overviews meiden will und Googlebot sperrt, verliert die gesamte Google-Suche. Google-Extended wiederum hat keinen Einfluss auf AI Overviews.

  3. Inhalte nur per JavaScript

    Erlaubte Bots sehen trotzdem nichts, wenn Inhalte erst im Browser entstehen. Laut Vercel und MERJ führen die großen KI-Crawler außer Googlebot kein JavaScript aus.

  4. Alte Kopiervorlagen

    Viele robots.txt-Vorlagen aus dem Netz sperren pauschal „alle KI-Bots“ inklusive der Such-Bots oder enthalten veraltete Namen. Jeder Eintrag sollte bewusst gesetzt sein.

  5. Nicht kontrolliert, ob es wirkt

    Server-Logs zeigen, welche Bots tatsächlich kommen. Tauchen erlaubte Such-Bots nie auf, blockiert etwas anderes. Tauchen gesperrte Bots weiter auf, ignorieren sie die robots.txt.

Rechtlicher Hinweis: Für Rechteinhaber in der EU kann ein maschinenlesbarer Nutzungsvorbehalt gegen Text- und Data-Mining relevant sein. Ob eine robots.txt dafür genügt, ist nicht abschließend geklärt; im Zweifel zusätzlich im Impressum oder in den Nutzungsbedingungen erklären.