Geciteerd worden door Claude: 3 Anthropic-bots en welke je toestaat

Door SEOgrinder · Gepubliceerd 4 november 2026 · 9 min leestijd

Kort antwoord: Geciteerd worden door Claude kan niemand beloven. De helppagina van Anthropic noemt drie robots en zegt wat er gebeurt als je ze uitschakelt; hoe Claude de pagina’s kiest die het noemt, beschrijft ze niet. Wat je zelf in de hand hebt, is robots.txt. ClaudeBot verzamelt inhoud die kan bijdragen aan training, Claude-User haalt een pagina op wanneer iemand Claude iets vraagt, en Claude-SearchBot werkt aan de kwaliteit van zoekresultaten. Bij die laatste twee schrijft Anthropic dat uitschakelen je zichtbaarheid in zoeken kan verminderen. Training is een aparte beslissing.

Geciteerd worden door Claude: wat bepaal je zelf?

Eerst de grens. Of Claude een pagina in een antwoord noemt, beslist Claude zelf. Het helpartikel van Anthropic “Does Anthropic crawl data from the web, and how can site owners block the crawler?” gaat over crawlen en uitsluiten. Het zegt welke robots er zijn, waarvoor elke dient en hoe je hem beperkt. Hoe Claude zijn bronnen kiest, of het toestaan van een bot tot een vermelding leidt en hoe lang een wijziging duurt, staat er niet in. Wij kennen geen bron die een effect van een robots.txt-instelling op citaten aantoont, dus dit artikel belooft er geen.

Wat de pagina je wel geeft, is een verdeling van taken. Anthropic zet robots in om gegevens van het openbare web te verzamelen voor modelontwikkeling, om het web te doorzoeken en om webinhoud op te halen in opdracht van gebruikers (“to gather data from the public web for model development, to search the web, and to retrieve web content at users’ direction”). De pagina draagt de datum 7 april 2026 en wij hebben haar op 4 november 2026 opgehaald. Alles wat we hier over Anthropic zeggen, komt daarvandaan. Waar een zin onze eigen duiding is, zeggen we dat erbij.

Leesbaar is niet hetzelfde als aangehaald. Een pagina die de bots van Anthropic kunnen lezen, kan in een antwoord toch ontbreken, en een pagina die ze niet kunnen lezen, geeft ze niets om te gebruiken. De leesbaarheid heb je zelf in de hand. SEOgrinder controleert alleen die en meet geen citaten; ons artikel over AI-zichtbaarheid controleren legt het verschil uit.

De drie bots van Anthropic in één tabel

Bot	Waarvoor hij volgens Anthropic dient	Wat er volgens Anthropic gebeurt als je hem uitschakelt
ClaudeBot	Verzamelt webinhoud die mogelijk bijdraagt aan het trainen van de generatieve AI-modellen	Geeft aan dat toekomstig materiaal van de site uit de trainingsdata moet worden gehouden
Claude-User	Ondersteunt Claude-gebruikers: stelt iemand Claude een vraag, dan kan Claude met deze naam websites bezoeken	Anthropic kan je inhoud niet meer ophalen als antwoord op een gebruikersvraag, wat je zichtbaarheid in door gebruikers gestuurd zoeken op het web kan verminderen
Claude-SearchBot	Doorzoekt het web om de kwaliteit van zoekresultaten te verbeteren en analyseert inhoud, zodat zoekantwoorden relevanter en nauwkeuriger worden	Anthropic kan je inhoud niet indexeren voor zoeken, wat je zichtbaarheid en de nauwkeurigheid in zoekresultaten voor gebruikers kan verminderen

Dezelfde pagina voegt toe dat de bots de gangbare instructies in robots.txt volgen en technieken tegen omzeiling respecteren: Anthropic probeert dus bijvoorbeeld geen CAPTCHA’s te omzeilen. Een advies om een van de bots toe te staan, geeft de pagina niet. Ze beschrijft wat er gebeurt als je er een uitschakelt, en de keuze blijft bij jou.

Bot 1: ClaudeBot, de trainingsbot

Volgens de tabel geeft een beperking van ClaudeBot aan dat toekomstig materiaal van jou uit de trainingsdata van Anthropic moet worden gehouden. De pagina spreekt van toekomstig materiaal en meer lezen wij er niet in.

Belangrijk is hier wat de rij niet noemt. Bij ClaudeBot noemt Anthropic de uitsluiting van training en geen effect op zoeken; de gevolgen voor de zichtbaarheid staan in de rijen van de andere twee bots. Dat is onze duiding van een tabel en geen uitspraak van Anthropic, maar ze maakt aannemelijk dat ClaudeBot niet de instelling is waar je naar kijkt als je in het zoeken van Claude gevonden wilt worden. Of je training toestaat, is een zakelijke beslissing die SEOgrinder niet voor je neemt.

Bot 2: Claude-User, de bot die ophaalt als iemand erom vraagt

Claude-User staat achter één enkel verzoek: iemand stelt Claude een vraag en Claude kan een website openen om die te beantwoorden. Anthropic schrijft “may” (kan), dus een vraag leidt niet altijd tot een bezoek.

Volgens Anthropic kunnen website-eigenaren met Claude-User bepalen tot welke sites deze door gebruikers gestarte verzoeken toegang hebben. Samen met de uitspraak dat alle bots robots.txt volgen, betekent dat: een regel in je bestand geldt ook hier. Andere aanbieders zien dat anders: OpenAI schrijft over ChatGPT-User dat robots.txt-regels mogelijk niet gelden (“robots.txt rules may not apply”, OpenAI). Lees daarom de pagina van elke aanbieder en neem geen regel van de een over voor de ander.

Schakel je Claude-User uit, dan kan het systeem van Anthropic je inhoud volgens de pagina niet meer ophalen als antwoord op een gebruikersvraag, wat de zichtbaarheid in door gebruikers gestuurd zoeken op het web kan verminderen.

Bot 3: Claude-SearchBot, de zoekbot

Claude-SearchBot is de robot waarvan de beschrijving over de zoekresultaten zelf gaat. Volgens Anthropic doorzoekt hij het web om de kwaliteit van zoekresultaten te verbeteren en analyseert hij inhoud, zodat zoekantwoorden relevanter en nauwkeuriger worden. Is hij uitgeschakeld, dan kan Anthropic je inhoud niet indexeren voor zoeken.

Onze duiding: wil je in de zoekresultaten van Claude verschijnen, dan is Claude-SearchBot de eerste regel die je in je robots.txt controleert, want zijn taak is indexeren voor zoeken. Hem toestaan is de voorwaarde voor wat de pagina beschrijft. Een belofte dat er iets wordt getoond, is het niet.

Welke bot sta je toe? Drie vragen

Anthropic zegt niet welke bot je moet toestaan. Zo zouden wij beslissen, en dat is onze mening, niet die van Anthropic.

Moeten je pagina’s in de zoekresultaten van Claude voorkomen? Schakel Claude-SearchBot dan niet uit.
Moet Claude je pagina’s kunnen openen als iemand ernaar vraagt? Schakel Claude-User dan niet uit.
Moet je inhoud in trainingsdata terechtkomen? Dat is de beslissing over ClaudeBot en die kan anders uitpakken dan de eerste twee. Een site kan alle drie toestaan of alleen training weigeren.

Geen van deze antwoorden is een technische fout. Een fout ontstaat als je per ongeluk beslist, bijvoorbeeld omdat een Disallow: / van een testomgeving nog in je bestand staat.

Zo sta je elke bot toe of blokkeer je hem in robots.txt

Een bestand dat zoeken en ophalen op verzoek toestaat en training weigert:

# Training: je eigen keuze (dit voorbeeld weigert het)
User-agent: ClaudeBot
Disallow: /

# Zoeken en ophalen op verzoek van een gebruiker
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

Om een bot van je hele site uit te sluiten, toont de pagina van Anthropic een User-agent-regel met de naam van de bot, gevolgd door Disallow: /, in de robots.txt in de hoofdmap. Ze vraagt dat te doen voor elk subdomein dat je wilt uitsluiten: www.example.com en blog.example.com hebben dus elk een eigen bestand nodig. Wil je een bot alleen afremmen, dan ondersteunt Anthropic volgens de pagina de niet-gestandaardiseerde regel Crawl-delay; als voorbeeld staat er Crawl-delay: 1 voor ClaudeBot.

De pagina waarschuwt er ook tegen om de IP-adressen van de bots te blokkeren. Dat kan verkeerd uitpakken en garandeert geen uitsluiting, omdat Anthropic dan je robots.txt niet meer kan lezen. Zet de regel in robots.txt.

Eén valkuil komt van de standaard en niet van Anthropic. Volgens RFC 9309 volgt een crawler de groep die bij zijn naam past, en heeft hij een eigen groep, dan geldt de groep * niet voor hem. Maak je een groep voor Claude-SearchBot, herhaal dan alle regels die moeten blijven gelden. Ons artikel over robots.txt voor AI-crawlers laat de oplossing zien en behandelt ook OpenAI en Perplexity.

Ons eigen bestand is een voorbeeld, geen aanbeveling. Op 4 november 2026 hebben we https://seogrinder.com/robots.txt met curl opgehaald: één gedeelde groep met * en negen AI-user-agents, onder wie ClaudeBot, Claude-SearchBot en Claude-User, en alles toegestaan behalve /api/. Het jouwe kan anders zijn.

Echte bezoeken van Anthropic herkennen

De pagina linkt naar een lijst, claude.com/crawling/bots.json, en zegt dat een crawler met een bronadres uit die lijst van Anthropic komt. Wij hebben haar op 4 november 2026 opgehaald: één JSON-bestand met adresbereiken en een veld creationTime dat 20 oktober 2026 noemde. De lijst is niet per bot gesplitst. Ze laat dus zien dat een bezoek van Anthropic komt, niet welke van de drie bots het was. Dat lees je alleen af aan de naam in de user agent, en die naam kan iedereen in een header zetten. Tel een bezoek daarom alleen mee als het adres in de lijst staat, en haal het bestand af en toe opnieuw op.

Zoek in je logboek naar de namen, niet naar een versie. De pagina noemt geen volledige user-agentstrings. Een leeg logboek bewijst geen blokkade, want de pagina zegt niet hoe vaak de bots langskomen.
Een bot die een challengepagina krijgt, leest niets. Anthropic zegt dat de bots geen CAPTCHA’s omzeilen. Of ze JavaScript uitvoeren, staat niet op de pagina; ons artikel over AI-crawlers en JavaScript vat samen wat er bekend is.

Zo helpt SEOgrinder

SEOgrinder is gratis, vraagt geen account en wij bouwen het zelf. Voer een adres in, start de analyse en open het rapport. Twee plekken zijn hier belangrijk:

Tabblad AI-gereedheid, “Controles voor AI-agents”: het punt “AI-bots sturen” laat zien hoeveel AI-crawlers een expliciete regel hebben, hoeveel er zijn toegestaan en hoeveel geblokkeerd, en noemt de geblokkeerde bij naam. Het kent ClaudeBot, Claude-User en Claude-SearchBot bij naam. ClaudeBot telt als trainingsbot en Claude-SearchBot als zoekbot, en het punt is pas voldaan als training en zoeken elk een expliciete regel hebben. Een regel alleen voor Claude-User regelt geen van beide.
Tabblad Taken, “AI-crawlers toegestaan maar door de server geweigerd — controleren”: SEOgrinder test hoe de server antwoordt op vier vaste botnamen, alleen op die welke robots.txt toestaat, en vergelijkt dat met een browser. Van de bots van Anthropic hoort alleen ClaudeBot erbij, en de test gebruikt alleen de naam.

Met Agent-prompt kopiëren krijg je bij een punt een opdracht voor je programmeerassistent, met Opnieuw controleren controleer je een wijziging. SEOgrinder leest je serverlogboek niet en meet niet of Claude je site noemt.

Veelgemaakte fouten

ClaudeBot blokkeren om uit het zoeken van Claude te verdwijnen. Bij ClaudeBot noemt Anthropic de uitsluiting van training. De gevolgen voor zoeken staan bij de andere twee bots.
Alle drie uit voorzorg blokkeren. Bij Claude-User en Claude-SearchBot zegt Anthropic dat de zichtbaarheid kan dalen.
Op IP-adres blokkeren in plaats van in robots.txt. Volgens Anthropic kan dat mislukken.
Alleen het hoofddomein aanpassen. Anthropic vraagt de regel voor elk subdomein dat je wilt uitsluiten.
Voor één bot een groep aanmaken en de gedeelde regels kwijtraken. De eigen groep vervangt de groep *.
Een toegestane bot voor een citaat houden. Toestaan haalt een obstakel weg en belooft geen vermelding.

Veelgestelde vragen

Kan ik Claude dwingen mijn pagina te citeren?

Nee. Niemand kan een citaat afdwingen, en de pagina van Anthropic beschrijft geen instelling die er een veroorzaakt. Je kunt obstakels wegnemen, zodat de bots je pagina’s kunnen lezen. Of Claude ze noemt, beslist Claude zelf.

Haalt het blokkeren van ClaudeBot me uit het zoeken van Claude?

De pagina van Anthropic zegt dat niet. Bij ClaudeBot noemt ze de uitsluiting van toekomstig materiaal uit de trainingsdata. De gevolgen voor zoeken die ze noemt, horen bij Claude-User en Claude-SearchBot.

Laat SEOgrinder zien of Claude mijn site citeert?

Nee. Het controleert de technische basis: of AI-systemen de pagina kunnen bereiken en lezen.

Je volgende stap

Open je robots.txt en zoek naar ClaudeBot, Claude-User en Claude-SearchBot. Beslis bewust over elk van de drie: zoeken en ophalen op verzoek aan de ene kant, training aan de andere. Beheer je subdomeinen, controleer dan elk bestand. Doe daarna de gratis scan in SEOgrinder, open de tabbladen AI-gereedheid en Taken en los op wat openstaat.