ChatGPT, Bytespider, PetalBot … immer mehr Bots besuchen dein WordPress nicht, um dich bei Google zu finden, sondern um deine Inhalte zu kopieren und für das Training von KI-Modellen zu nutzen. Und viele von ihnen halten sich nicht einmal an die Regeln, die du ihnen vorgibst.
Warum das ein neues und wachsendes Problem ist
KI-Trainingsbots, die deine Inhalte ohne Erlaubnis crawlen
Anders als der Googlebot (der crawlt, um dich zu indexieren und dir Traffic zu senden), sammeln diese Bots deine Inhalte, um Sprachmodelle zu trainieren — ohne Quellenangabe, ohne Rücklink, ohne jeglichen Nutzen für deine Website.
Zunehmender KI-Bot-Traffic 2025-2026
Das Volumen dieser Art von Traffic ist in kurzer Zeit stark gewachsen und kann bei inhaltsreichen Websites einen spürbaren Teil des Gesamttraffics ausmachen — es verbraucht Bandbreite und Serverressourcen ganz ohne Gegenleistung.
Warum robots.txt nicht ausreicht
Bytespider und andere Bots, die es einfach ignorieren
Die Datei robots.txt ist nur eine höfliche Bitte: Sie sagt einem Bot “bitte das nicht crawlen”, aber nichts zwingt ihn, sich daran zu halten. Mehrere bekannte KI-Bots, darunter Bytespider (von ByteDance), sind dafür bekannt, sie häufig zu ignorieren.
Wie du diese Bots wirklich blockierst, auf Serverebene
Liste bekannter KI-Bot-User-Agents
Einige der häufigsten: GPTBot und ChatGPT-User (OpenAI), ClaudeBot (Anthropic), Bytespider (ByteDance), PetalBot (Huawei), CCBot (Common Crawl, von vielen Modellen genutzt), Google-Extended (Googles Trainings-Crawler, unterschiedlich vom Googlebot).
Echte Blockierung auf Firewall-Ebene, nicht nur ein Vorschlag, den der Bot ignorieren kann
Die einzige Möglichkeit, einen Bot, der robots.txt nicht respektiert, wirklich zu blockieren, ist auf Serverebene: seinen User-Agent identifizieren (oder sein Verhalten, falls er den User-Agent fälscht) und ihm eine echte Blockierung liefern, bevor er Ressourcen deines WordPress verbraucht. Die UA-Blocklist-Ebene von SeenSecure hält diese Liste bekannter KI-Bot-User-Agents aktuell, sodass du sie nicht jedes Mal von Hand ergänzen musst, wenn ein neuer auftaucht.
Welche KI-Bots du tatsächlich durchlassen möchtest
Unterschied zwischen Trainingsbots und Bots, die deine Inhalte mit Quellenangabe zitieren
Nicht alle KI-bezogenen Bots sind gleich. Manche (wie die, die Antworten mit direktem Link zu deiner Seite speisen) bringen dir echten Traffic. Bevor du pauschal alles blockierst, was “nach KI klingt”, solltest du unterscheiden, welche du behalten willst.
Häufige Fragen
Reicht robots.txt aus, um KI-Bots wie Bytespider zu blockieren?
Nicht immer — robots.txt ist eine freiwillige Bitte, und manche KI-Bots ignorieren sie schlicht. Für eine echte Blockierung braucht es die Firewall-/Serverebene.
Beeinträchtigt das Blockieren von KI-Bots mein Google-Ranking?
Nicht, wenn du die User-Agents richtig unterscheidest: Der Googlebot ist ein Such-Crawler, kein KI-Trainingsbot, und es handelt sich um unabhängige Blockierungen.
Was passiert, wenn ich KI-Trainingsbots nicht blockiere?
Deine Inhalte können ohne deine Zustimmung oder Quellenangabe zum Training von KI-Modellen genutzt werden, zusätzlich verbraucht ihr Crawling Ressourcen deines Servers.