Von Claude zitiert werden: 3 Anthropic-Bots und welche du erlaubst

Kurzantwort: Niemand kann zusagen, dass du von Claude zitiert wirst. Anthropics Hilfeseite nennt drei Roboter und sagt, was passiert, wenn du sie deaktivierst; wie Claude die Seiten auswählt, die es nennt, beschreibt sie nicht. In der Hand hast du die robots.txt. ClaudeBot sammelt Inhalte, die zum Training beitragen können, Claude-User ruft eine Seite ab, wenn jemand Claude etwas fragt, und Claude-SearchBot verbessert die Qualität von Suchergebnissen. Bei den letzten beiden schreibt Anthropic, dass ein Deaktivieren deine Sichtbarkeit in der Suche verringern kann. Das Training ist eine eigene Entscheidung.

Was du in der Hand hast, wenn du von Claude zitiert werden willst

Zuerst die Grenze. Ob Claude eine Seite in einer Antwort nennt, entscheidet Claude. Anthropics Hilfeartikel „Does Anthropic crawl data from the web, and how can site owners block the crawler?“ handelt vom Crawlen und vom Ausschließen. Er sagt, welche Roboter es gibt, wofür jeder da ist und wie du ihn begrenzt. Wie Claude seine Quellen wählt, ob das Erlauben eines Bots zu einer Nennung führt und wie lange eine Änderung braucht, steht dort nicht. Uns ist keine Quelle bekannt, die eine Wirkung einer robots.txt-Einstellung auf Zitate belegt, deshalb verspricht dieser Artikel keine.

Die Seite gibt dir dafür eine Aufteilung der Aufgaben. Anthropic setzt Roboter ein, um Daten für die Modellentwicklung zu sammeln, das Web zu durchsuchen und Webinhalte im Auftrag von Nutzern abzurufen („to gather data from the public web for model development, to search the web, and to retrieve web content at users’ direction“). Die Seite trägt das Datum 7. April 2026, wir haben sie am 4. November 2026 abgerufen. Alles, was wir hier über Anthropic sagen, stammt von dort. Wo ein Satz unsere eigene Deutung ist, schreiben wir es dazu.

Lesbar ist nicht dasselbe wie zitiert. Eine Seite, die die Bots von Anthropic lesen können, kann in einer Antwort trotzdem fehlen, und eine Seite, die sie nicht lesen können, gibt ihnen nichts zum Verwenden. Die Lesbarkeit hast du in der Hand. SEOgrinder prüft nur sie und misst keine Zitate; unser Artikel zur KI-Sichtbarkeit prüfen erklärt den Unterschied.

Die drei Bots von Anthropic in einer Tabelle

Dieselbe Seite fügt hinzu: Die Bots beachten die branchenüblichen Anweisungen in der robots.txt und respektieren Schutzmaßnahmen gegen Umgehung, Anthropic versucht also zum Beispiel nicht, CAPTCHAs zu umgehen. Eine Empfehlung, einen der Bots zu erlauben, gibt die Seite nicht. Sie beschreibt, was beim Deaktivieren passiert, und die Entscheidung bleibt bei dir.

Bot 1: ClaudeBot, der Trainings-Bot

Laut Tabelle signalisiert eine Beschränkung von ClaudeBot, dass künftiges Material von dir aus den Trainingsdaten von Anthropic ausgeschlossen werden soll. Die Seite spricht von künftigem Material, und mehr lesen wir nicht hinein.

Wichtig ist hier, was die Zeile nicht nennt. Bei ClaudeBot nennt Anthropic den Ausschluss aus dem Training und keine Wirkung auf die Suche; die Folgen für die Sichtbarkeit stehen in den Zeilen der beiden anderen Bots. Das ist unsere Deutung einer Tabelle und keine Aussage von Anthropic, aber sie legt nahe, dass ClaudeBot nicht die Einstellung ist, auf die du schaust, wenn du in Claudes Suche gefunden werden willst. Ob du Training erlaubst, ist eine geschäftliche Entscheidung, die SEOgrinder dir nicht abnimmt.

Bot 2: Claude-User, der Bot für Abrufe auf Zuruf

Claude-User steht hinter einer einzelnen Anfrage: Jemand stellt Claude eine Frage, und Claude kann eine Website öffnen, um sie zu beantworten. Anthropic schreibt „may“ (kann), eine Frage führt also nicht immer zu einem Besuch.

Laut Anthropic können Website-Betreiber mit Claude-User steuern, auf welche Websites diese vom Nutzer ausgelösten Anfragen zugreifen dürfen. Zusammen mit der Aussage, dass alle Bots die robots.txt beachten, heißt das: Eine Regel in deiner Datei gilt auch hier. Andere Betreiber sehen es anders: OpenAI schreibt zu ChatGPT-User, dass robots.txt-Regeln möglicherweise nicht gelten („robots.txt rules may not apply“, OpenAI). Lies deshalb die Seite jedes Betreibers und übertrage keine Regel von einem auf den anderen.

Deaktivierst du Claude-User, kann Anthropics System deine Inhalte laut Seite nicht mehr auf eine Nutzeranfrage hin abrufen, was die Sichtbarkeit in der nutzergesteuerten Websuche verringern kann.

Bot 3: Claude-SearchBot, der Such-Bot

Claude-SearchBot ist der Roboter, dessen Beschreibung von den Suchergebnissen selbst handelt. Laut Anthropic durchsucht er das Web, um die Qualität der Suchergebnisse zu verbessern, und wertet Inhalte aus, damit Suchantworten passender und genauer werden. Ist er deaktiviert, kann Anthropic deine Inhalte nicht für die Suche indexieren.

Unsere Deutung: Wenn du in Claudes Suchergebnissen auftauchen willst, ist Claude-SearchBot die erste Zeile, die du in deiner robots.txt prüfst, denn seine Aufgabe ist das Indexieren für die Suche. Ihn zu erlauben ist die Voraussetzung für das, was die Seite beschreibt. Ein Versprechen, dass etwas angezeigt wird, ist es nicht.

Welchen Bot erlaubst du? Drei Fragen

Anthropic sagt nicht, welchen Bot du erlauben sollst. So würden wir entscheiden, und das ist unsere Meinung, nicht die von Anthropic.

1. Sollen deine Seiten in Claudes Suchergebnissen vorkommen? Dann deaktiviere Claude-SearchBot nicht.
2. Soll Claude deine Seiten öffnen können, wenn jemand danach fragt? Dann deaktiviere Claude-User nicht.
3. Sollen deine Inhalte in Trainingsdaten einfließen? Das ist die Entscheidung über ClaudeBot, und sie kann anders ausfallen als die ersten beiden. Eine Website kann alle drei erlauben oder nur das Training ablehnen.

Keine dieser Antworten ist ein technischer Fehler. Ein Fehler entsteht, wenn du aus Versehen entscheidest, etwa weil ein Disallow: / einer Testumgebung noch in deiner Datei steht.

So erlaubst oder sperrst du jeden Bot in der robots.txt

Eine Datei, die Suche und Abrufe auf Zuruf erlaubt und das Training ablehnt:

# Training: deine eigene Entscheidung (dieses Beispiel lehnt es ab)
User-agent: ClaudeBot
Disallow: /

# Suche und Abrufe auf Wunsch eines Nutzers
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

Um einen Bot von der ganzen Website auszuschließen, zeigt Anthropics Seite eine User-agent-Zeile mit dem Namen des Bots, gefolgt von Disallow: /, in der robots.txt im obersten Verzeichnis. Sie bittet darum, das für jede Subdomain zu tun, die du ausschließen willst: www.example.com und blog.example.com brauchen also jeweils eine eigene Datei. Willst du einen Bot nur bremsen, unterstützt Anthropic laut Seite die nicht standardisierte Zeile Crawl-delay, als Beispiel steht dort Crawl-delay: 1 für ClaudeBot.

Die Seite warnt auch davor, die IP-Adressen der Bots zu sperren. Das kann falsch funktionieren und garantiert keinen Ausschluss, weil Anthropic dann deine robots.txt nicht mehr lesen kann. Schreib die Regel in die robots.txt.

Eine Falle kommt vom Standard und nicht von Anthropic. Nach RFC 9309 folgt ein Crawler der Gruppe, die zu seinem Namen passt, und hat er eine eigene, gilt die Gruppe * für ihn nicht. Legst du eine Gruppe für Claude-SearchBot an, wiederhole alle Regeln, die weiter gelten müssen. Unser Artikel zur robots.txt für KI-Crawler zeigt die Lösung und behandelt auch OpenAI und Perplexity.

Unsere eigene Datei ist ein Beispiel, keine Empfehlung. Am 4. November 2026 haben wir https://seogrinder.com/robots.txt mit curl abgerufen: eine gemeinsame Gruppe mit * und neun KI-Kennungen, darunter ClaudeBot, Claude-SearchBot und Claude-User, alles erlaubt außer /api/. Deine kann anders aussehen.

Echte Besuche von Anthropic erkennen

Die Seite verlinkt eine Liste, claude.com/crawling/bots.json, und sagt, dass ein Crawler mit einer Quelladresse aus dieser Liste von Anthropic kommt. Wir haben sie am 4. November 2026 abgerufen: eine JSON-Datei mit Adressbereichen und einem Feld creationTime, das den 20. Oktober 2026 nannte. Sie ist nicht nach Bots getrennt, zeigt also, dass ein Besuch von Anthropic stammt, nicht welcher der drei Bots es war. Das liest du nur am Namen in der Kennung ab, und diesen Namen kann jeder in einen Header schreiben. Zähle einen Besuch deshalb nur, wenn seine Adresse auf der Liste steht, und rufe die Datei von Zeit zu Zeit neu ab.

• Such im Protokoll nach den Namen, nicht nach einer Version. Die Seite nennt keine vollständigen User-Agent-Zeichenketten. Ein leeres Protokoll beweist keine Sperre, denn die Seite sagt nicht, wie oft die Bots vorbeikommen.
• Ein Bot, der eine Challenge-Seite bekommt, liest nichts. Anthropic sagt, die Bots umgehen keine CAPTCHAs. Ob sie JavaScript ausführen, steht nicht auf der Seite; unser Artikel zu KI-Crawlern und JavaScript fasst zusammen, was bekannt ist.

Wie SEOgrinder hilft

SEOgrinder ist kostenlos, braucht kein Konto, und wir bauen es selbst. Gib eine Adresse ein, starte die Analyse und öffne den Bericht. Zwei Stellen sind hier wichtig:

• Reiter KI-Bereitschaft, „Prüfpunkte für KI-Agenten“: Der Punkt „KI-Bots steuern“ zeigt, wie viele KI-Crawler eine ausdrückliche Regel haben, wie viele erlaubt und wie viele gesperrt sind, und nennt die gesperrten. Er kennt ClaudeBot, Claude-User und Claude-SearchBot beim Namen. ClaudeBot zählt als Trainings-Bot und Claude-SearchBot als Such-Bot, und der Punkt ist erst erfüllt, wenn Training und Suche je eine ausdrückliche Regel haben. Eine Regel nur für Claude-User regelt keines von beiden.
• Reiter Aufgaben, „KI-Crawler erlaubt, aber vom Server abgewiesen — prüfen“: SEOgrinder testet, wie der Server auf vier feste Bot-Namen antwortet, und zwar nur auf die, die die robots.txt erlaubt, und vergleicht es mit einem Browser. Von Anthropics Bots gehört nur ClaudeBot dazu, und der Test nutzt nur den Namen.

Mit Agent-Prompt kopieren bekommst du an einem Punkt eine Anweisung für deinen Coding-Assistenten, mit Neu prüfen kontrollierst du eine Änderung. SEOgrinder liest dein Server-Protokoll nicht und misst nicht, ob Claude deine Seite nennt.

Häufige Fehler

• ClaudeBot sperren, um aus Claudes Suche zu verschwinden. Bei ClaudeBot nennt Anthropic den Ausschluss aus dem Training. Die Folgen für die Suche stehen bei den beiden anderen Bots.
• Alle drei aus Vorsicht sperren. Bei Claude-User und Claude-SearchBot sagt Anthropic, dass die Sichtbarkeit sinken kann.
• Per IP-Adresse sperren statt in der robots.txt. Laut Anthropic kann das scheitern.
• Nur die Hauptdomain anpassen. Anthropic verlangt die Regel für jede Subdomain, die du ausschließen willst.
• Für einen Bot eine Gruppe anlegen und die gemeinsamen Regeln verlieren. Die eigene Gruppe ersetzt die Gruppe *.
• Einen erlaubten Bot für ein Zitat halten. Das Erlauben räumt ein Hindernis weg und verspricht keine Nennung.

Häufige Fragen

Kann ich Claude dazu bringen, meine Seite zu zitieren?

Nein. Niemand kann ein Zitat erzwingen, und Anthropics Seite beschreibt keine Einstellung, die eines bewirkt. Du kannst Hindernisse entfernen, damit die Bots deine Seiten lesen können. Ob Claude sie nennt, entscheidet Claude.

Entfernt mich die Sperre von ClaudeBot aus Claudes Suche?

Anthropics Seite sagt das nicht. Bei ClaudeBot nennt sie den Ausschluss künftigen Materials aus den Trainingsdaten. Die Folgen für die Suche, die sie nennt, gehören zu Claude-User und Claude-SearchBot.

Zeigt SEOgrinder, ob Claude meine Seite zitiert?

Nein. Es prüft die technische Grundlage: ob KI-Systeme die Seite erreichen und lesen können.

Dein nächster Schritt

Öffne deine robots.txt und such nach ClaudeBot, Claude-User und Claude-SearchBot. Entscheide jeden bewusst: Suche und Abrufe auf Zuruf auf der einen Seite, Training auf der anderen. Betreibst du Subdomains, prüfe jede Datei. Mach danach den kostenlosen Scan in SEOgrinder, öffne die Reiter KI-Bereitschaft und Aufgaben und behebe, was offen ist.

Weiterlesen

• Bei Perplexity gefunden werden: 3 Checks für den PerplexityBot
• In ChatGPT gefunden werden: 3 technische Checks, selbst getestet
• GEO vs. SEO: Was wirklich anders ist und was laut Google nicht