Eine robots.txt für KI-Suchmaschinen.
Starten Sie mit Ihrer aktuellen Datei, entscheiden Sie Bot für Bot und erhalten Sie eine neue robots.txt nur mit den von Ihnen gewünschten Änderungen, Zeile für Zeile angezeigt.
1. Ihre aktuelle robots.txt
2. Lege fest, was die einzelnen KI-Bots dürfen
Such- und Antwortmaschinen
Sie indexieren Seiten, um Fragen zu beantworten. Wenn du sie blockierst, erscheinen deine Inhalte nicht in ihren Antworten.
OAI-SearchBot· OpenAI derzeit erlaubtChatGPT-Suchergebnisse
PerplexityBot· Perplexity derzeit erlaubtPerplexity-Suchindex und Zitate
Claude-SearchBot· Anthropic derzeit erlaubtClaude-Suchergebnisse
Googlebot· Google derzeit erlaubtGoogle-Suche, einschließlich AI Overviews und KI-Modus
Bingbot· Microsoft derzeit erlaubtBing und Copilot; der Index von Bing ist zudem eine der Quellen, die andere Assistenten verwenden
Applebot· Apple derzeit erlaubtSiri, Spotlight und Safari-Vorschläge
DuckAssistBot· DuckDuckGo derzeit erlaubtKI-gestützte Antworten von DuckDuckGo
Nutzergesteuerte Abrufe
Sie rufen eine Seite auf, wenn jemand einen Assistenten dazu befragt.
ChatGPT-User· OpenAI derzeit erlaubtSeiten, die ChatGPT auf Nutzeranfrage aufruft
Perplexity-User· Perplexity derzeit erlaubtSeiten, die Perplexity auf Nutzeranfrage aufruft
Claude-User· Anthropic derzeit erlaubtSeiten, die Claude auf Nutzeranfrage aufruft
Meta-ExternalFetcher· Meta derzeit erlaubtSeiten, die Meta AI aufruft, wenn ein Link geteilt oder dazu eine Frage gestellt wird
MistralAI-User· Mistral derzeit erlaubtSeiten, die Le Chat auf Nutzeranfrage aufruft
Training-Crawler
Sie sammeln Daten zum Trainieren von Modellen. Diese zu blockieren ist eine legitime Entscheidung und hat keinen Einfluss darauf, ob du in Suchergebnissen auftauchst.
GPTBot· OpenAI derzeit erlaubtTraining von OpenAI-Modellen
ClaudeBot· Anthropic derzeit erlaubtTraining von Anthropic-Modellen
Google-Extended· Google derzeit erlaubtTraining und Grounding von Gemini in Gemini-Apps; steuert NICHT die KI-Überblicke (diese folgen Googlebot und nosnippet)
Applebot-Extended· Apple derzeit erlaubtTraining der Foundation-Modelle von Apple
CCBot· Common Crawl derzeit erlaubtCommon Crawl, ein öffentlicher Datensatz, der zum Training vieler Modelle verwendet wird
Meta-ExternalAgent· Meta derzeit erlaubtTraining von Meta AI-Modellen
Bytespider· ByteDance derzeit erlaubtTraining von ByteDance-Modellen
3. Deine neue robots.txt
3 Zeilen ändern
+ hinzugefügt− entfernt
User-agent: *Allow: /
Lade sie als robots.txt im Root-Verzeichnis deiner Domain hoch und ersetze die aktuelle. Überprüfe das Ergebnis anschließend mit dem KI-Crawler-Checker. KI-Crawler-Checker öffnen
Lesbarkeit ist der erste Schritt. Wirst du zitiert?
Der kostenlose Bericht stellt bis zu fünf Fragen deiner Kunden an drei KI-Suchmaschinen und zeigt dir, wer an deiner Stelle zitiert wird.
Kostenlosen Bericht erhaltenBezahlpläne prüfen wöchentlich die robots.txt, Firewalls und über 30 weitere Punkte. Zu den Plänen
So funktioniert dieser Generator
- „Allow“ entfernt nur die Regeln, die den Bot von der gesamten Website ausschließen. Abschnitte, die von der *-Gruppe geerbt wurden (wie z. B. /admin/), bleiben bestehen.
- „Block“ fügt am Ende eine eigene Gruppe mit „Disallow: /“ hinzu und entfernt den Bot aus gemeinsamen Gruppen, ohne andere Agents darin zu beeinflussen. War der Bot bereits vollständig blockiert, ändert sich nichts.
- „Keep“ belässt den Bot exakt in seinem aktuellen Zustand. Kommentare, Sitemaps, die *-Gruppe und Regeln für Agents, die nicht auf der Liste stehen, bleiben unangetastet.
- Anschließend bewerten wir die neue Datei Pfad für Pfad mit demselben RFC 9309-Parser, den auch der KI-Crawler-Checker verwendet.
- Alles läuft direkt in deinem Browser. Um die robots.txt deiner Domain zu lesen, ruft unser Server sie einmalig ab (5 Weiterleitungen, 8 Sekunden, maximal 500 KiB).
Fragen zu robots.txt und KI-Crawlern.
Was Leute fragen, bevor sie anfangen. Wenn etwas fehlt, schreib uns.
Schreib unsEntfernt das Blockieren von GPTBot mich aus ChatGPT?
Laut der Dokumentation von OpenAI: nein. GPTBot sammelt Trainingsdaten; die ChatGPT-Suche nutzt OAI-SearchBot, und ChatGPT-User öffnet Seiten, wenn ein Nutzer danach fragt. Blockiere GPTBot, wenn du nicht in den Trainingsdaten landen willst, aber erlaube die anderen beiden.
Welche Bots sollte ich erlauben, um von KIs zitiert zu werden?
Die Such- und benutzergesteuerten Bots: OAI-SearchBot und ChatGPT-User (ChatGPT), PerplexityBot und Perplexity-User, Claude-SearchBot und Claude-User, Googlebot (Google Suche, KI-Überblicke und KI-Modus), Bingbot (Bing und Copilot) sowie Applebot.
Kontrolliert Google-Extended die AI Overviews?
Nein. Google-Extended kontrolliert das Training von Gemini und dessen Einbindung in Gemini-Apps. AI Overviews und der KI-Modus sind Teil der Google-Suche und folgen Googlebot- sowie Snippet-Steuerungen wie 'nosnippet'.
Stoppt eine robots.txt KI-Crawler wirklich?
Es ist eine Bitte, keine Mauer. OpenAI, Anthropic, Google, Perplexity und Apple geben an, dass ihre Crawler sie respektieren, aber nicht jeder Bot tut das. Firewalls und Bot-Schutz-Systeme (Cloudflare, Vercel) können Crawler, die du hier erlaubt hast, ebenfalls blockieren.
Wo lade ich die neue robots.txt hoch?
Sie muss unter https://deinedomain.de/robots.txt erreichbar sein. Bei Webflow findest du dies unter Seiteneinstellungen im Tab SEO. Die meisten Website-Baukästen haben ähnliche SEO-Einstellungen; bei WordPress ist es ein SEO-Plugin oder eine Datei im Hauptverzeichnis der Seite.
English
Français
Deutsch
Italiano
Português
Nederlands