Essere citati da Claude: i 3 bot di Anthropic e quali consentire
Risposta breve: Essere citati da Claude non lo può promettere nessuno. La pagina di assistenza di Anthropic nomina tre robot e dice che cosa succede se disattivi ciascuno; non descrive come Claude scelga le pagine che nomina. Ciò che controlli tu è il robots.txt. ClaudeBot raccoglie contenuti che possono contribuire all’addestramento, Claude-User richiama una pagina quando qualcuno fa una domanda a Claude e Claude-SearchBot lavora sulla qualità dei risultati di ricerca. Per questi ultimi due Anthropic scrive che disattivarli può ridurre la tua visibilità nella ricerca. L’addestramento è una decisione a parte.
Che cosa controlli se vuoi essere citati da Claude
Partiamo dal limite. È Claude a decidere se nomina una pagina in una risposta. L’articolo di assistenza di Anthropic «Does Anthropic crawl data from the web, and how can site owners block the crawler?» parla di scansione e di come escluderla. Dice quali robot esistono, a che cosa serve ciascuno e come limitarli. Non dice come Claude scelga le fonti, se consentire un bot porti a una citazione o quanto tempo richieda una modifica. Non conosciamo alcuna fonte che dimostri un effetto di un’impostazione del robots.txt sulle citazioni, quindi questo articolo non ne promette nessuno.
Quella pagina ti dà però una suddivisione dei compiti. Anthropic dice di usare i robot «to gather data from the public web for model development, to search the web, and to retrieve web content at users’ direction», cioè per raccogliere dati dal web pubblico per lo sviluppo dei modelli, per cercare nel web e per recuperare contenuti su indicazione degli utenti. La pagina è datata 7 aprile 2026 e noi l’abbiamo consultata il 4 novembre 2026. Tutto ciò che diciamo su Anthropic viene da lì, e quando una frase è una nostra lettura lo scriviamo.
Leggibile non vuol dire citato. Una pagina che i bot di Anthropic riescono a leggere può comunque mancare in una risposta, e una pagina che non riescono a leggere non dà loro nulla da usare. La leggibilità è la parte che controlli tu. SEOgrinder verifica quella e non misura le citazioni; il nostro articolo su controllare la visibilità AI spiega la differenza.
I tre bot di Anthropic in una tabella
| Bot | A che cosa serve, secondo Anthropic | Che cosa succede, secondo Anthropic, se lo disattivi |
|---|---|---|
| ClaudeBot | Raccoglie contenuti web che potrebbero contribuire all’addestramento dei suoi modelli di AI generativa | Segnala che i materiali futuri del sito vanno esclusi dai dataset di addestramento |
| Claude-User | Supporta gli utenti di Claude: quando qualcuno fa una domanda a Claude, può accedere ai siti con questo agente | Impedisce ad Anthropic di recuperare i tuoi contenuti in risposta a una richiesta dell’utente, e questo può ridurre la tua visibilità nella ricerca web guidata dall’utente |
| Claude-SearchBot | Naviga il web per migliorare la qualità dei risultati di ricerca per gli utenti, analizzando i contenuti per rendere le risposte di ricerca più pertinenti e accurate | Impedisce ad Anthropic di indicizzare i tuoi contenuti per l’ottimizzazione della ricerca, e questo può ridurre la tua visibilità e l’accuratezza nei risultati di ricerca degli utenti |
La stessa pagina aggiunge che i suoi bot rispettano le direttive standard del settore nel robots.txt e le tecnologie contro l’elusione: Anthropic non cerca quindi di aggirare i CAPTCHA. Non raccomanda di consentire nessuno dei bot. Descrive che cosa succede se ne disattivi uno, e la scelta resta tua.
Bot 1: ClaudeBot, il bot dell’addestramento
Secondo la tabella, limitare ClaudeBot segnala che il tuo materiale futuro va escluso dai dataset di addestramento di Anthropic. La pagina parla di materiale futuro, e noi non ci leggiamo di più.
Qui conta ciò che la riga non dice. Per ClaudeBot Anthropic nomina l’esclusione dall’addestramento e nessun effetto sulla ricerca; le conseguenze sulla visibilità compaiono nelle righe degli altri due bot. È una nostra lettura di una tabella, non un’affermazione di Anthropic, ma suggerisce che ClaudeBot non sia l’impostazione da guardare se vuoi essere trovato nella ricerca di Claude. Consentire o no l’addestramento è una decisione aziendale, e SEOgrinder non la prende al posto tuo.
Bot 2: Claude-User, il bot che richiama la pagina quando qualcuno chiede
Claude-User sta dietro a una singola richiesta: una persona fa una domanda a Claude, e Claude può aprire un sito per rispondere. Anthropic scrive «may» (può), quindi una domanda non porta sempre a una visita.
Secondo Anthropic, con Claude-User i gestori dei siti controllano a quali siti possono accedere queste richieste avviate dall’utente. Insieme all’affermazione che tutti i suoi bot rispettano il robots.txt, significa che anche qui vale una regola del tuo file. Altri gestori la pensano diversamente: OpenAI scrive che per ChatGPT-User «robots.txt rules may not apply» (OpenAI), cioè le regole del robots.txt possono non valere. Leggi quindi la pagina di ciascun gestore e non trasferire una regola dall’uno all’altro.
Se disattivi Claude-User, dice Anthropic, il suo sistema non può più recuperare i tuoi contenuti in risposta a una richiesta dell’utente, e questo può ridurre la tua visibilità nella ricerca web guidata dall’utente.
Bot 3: Claude-SearchBot, il bot della ricerca
Claude-SearchBot è il robot la cui descrizione riguarda i risultati di ricerca in sé. Secondo Anthropic naviga il web per migliorare la qualità dei risultati di ricerca e analizza i contenuti per rendere le risposte più pertinenti e accurate. Se lo disattivi, i tuoi contenuti non vengono indicizzati per l’ottimizzazione della ricerca.
La nostra lettura: se vuoi comparire nei risultati di ricerca di Claude, Claude-SearchBot è la prima riga da controllare nel tuo robots.txt, perché il suo compito è l’indicizzazione per la ricerca. Consentirlo è la condizione di partenza per ciò che la pagina descrive. Non è la promessa che qualcosa venga mostrato.
Quale bot consentire? Tre domande
Anthropic non dice quale bot consentire, quindi ecco come decideremmo noi. È la nostra opinione, non quella di Anthropic.
- Vuoi che le tue pagine compaiano nei risultati di ricerca di Claude? Allora non disattivare Claude-SearchBot.
- Vuoi che Claude possa aprire le tue pagine quando una persona ne chiede conto? Allora non disattivare Claude-User.
- Vuoi che i tuoi contenuti entrino nei dataset di addestramento? È la decisione su ClaudeBot, e può essere diversa dalle prime due. Un sito può consentire tutti e tre i bot oppure rifiutare solo l’addestramento.
Nessuna di queste risposte è un errore tecnico. L’errore nasce quando decidi per caso, per esempio perché nel tuo file è rimasto un Disallow: / di un sito di prova.
Come consentire o bloccare ogni bot nel robots.txt
Un file che consente la ricerca e il recupero su richiesta dell’utente e rifiuta l’addestramento:
# Addestramento: decisione tua (questo esempio lo rifiuta)
User-agent: ClaudeBot
Disallow: /
# Ricerca e recuperi su richiesta di un utente
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
Per escludere un bot dall’intero sito, la pagina di Anthropic mostra una riga User-agent con il nome del bot seguita da Disallow: /, nel robots.txt della directory principale. Chiede di farlo per ogni sottodominio da cui vuoi uscire, quindi www.example.com e blog.example.com hanno bisogno ciascuno del proprio file. Per rallentare un bot invece di escluderlo, la pagina dice che Anthropic supporta la riga non standard Crawl-delay e mostra Crawl-delay: 1 per ClaudeBot.
La pagina avverte anche di non bloccare gli indirizzi IP dei suoi bot. Potrebbe non funzionare bene né garantire l’esclusione, perché impedisce ad Anthropic di leggere il tuo robots.txt. Scrivi la regola nel robots.txt.
Una trappola viene dallo standard, non da Anthropic. Secondo l’RFC 9309, un crawler segue il gruppo che corrisponde al suo nome e, se ne ha uno proprio, il gruppo * non vale per lui. Se aggiungi un gruppo per Claude-SearchBot, ripeti tutte le regole che devono continuare a valere. Il nostro articolo su robots.txt per crawler AI mostra la soluzione e tratta anche OpenAI e Perplexity.
Il nostro file è un esempio, non una raccomandazione. Il 4 novembre 2026 abbiamo richiamato https://seogrinder.com/robots.txt con curl: un unico gruppo insieme a * e nove user agent AI, tra cui ClaudeBot, Claude-SearchBot e Claude-User, che consente tutto tranne /api/. Il tuo può essere diverso.
Riconoscere le visite vere di Anthropic da quelle false
La pagina rimanda a un elenco, claude.com/crawling/bots.json, e dice che un crawler con un indirizzo di origine presente lì proviene da Anthropic. L’abbiamo richiamato il 4 novembre 2026: un unico file JSON con prefissi di indirizzi e un campo creationTime che riportava il 20 ottobre 2026. Non è suddiviso per bot, quindi mostra che una visita viene da Anthropic, non quale dei tre bot l’abbia fatta. Questo lo leggi solo dal nome nello user agent, e quel nome può scriverlo chiunque in un header: conta quindi una visita solo se il suo indirizzo è nell’elenco, e richiama il file ogni tanto.
- Cerca nel log i nomi, non una versione. La pagina non riporta le stringhe complete degli user agent. Un log vuoto non prova un blocco, perché la pagina non dice quanto spesso passino i bot.
- Un bot che riceve una pagina di challenge non legge nulla. Anthropic dice che i suoi bot non aggirano i CAPTCHA. Se eseguano JavaScript, nella pagina non c’è scritto; il nostro articolo su crawler AI e JavaScript riassume ciò che si sa.
Come ti aiuta SEOgrinder
SEOgrinder è gratuito, non richiede un account e lo costruiamo noi. Inserisci un indirizzo, avvia l’analisi e apri il report. Due punti contano qui:
- Scheda Preparazione all'IA, «Controlli per agenti IA»: il punto «Governare i bot IA» mostra quanti crawler AI hanno una regola esplicita, quanti sono consentiti e quanti bloccati, e nomina quelli bloccati. Conosce per nome ClaudeBot, Claude-User e Claude-SearchBot. ClaudeBot conta come bot di addestramento e Claude-SearchBot come bot di ricerca, e il punto è soddisfatto solo quando addestramento e ricerca hanno ciascuno una regola esplicita. Una regola solo per Claude-User non risolve né l’uno né l’altra.
- Scheda Attività, «Crawler IA consentiti ma respinti dal server — da verificare»: SEOgrinder verifica come risponde il server a quattro nomi di bot fissi, solo a quelli che il robots.txt consente, e lo confronta con un browser. Dei bot di Anthropic c’è solo ClaudeBot, e il test usa soltanto il nome.
Premi Copia il prompt per l’agente su un punto per ottenere un’istruzione per il tuo assistente di coding, e Ricontrolla dopo una modifica. SEOgrinder non legge il log del tuo server e non misura se Claude nomina il tuo sito.
Errori frequenti
- Bloccare ClaudeBot per uscire dalla ricerca di Claude. Per ClaudeBot Anthropic nomina l’esclusione dall’addestramento. Gli effetti sulla ricerca sono nominati per gli altri due bot.
- Bloccare tutti e tre per prudenza. Per Claude-User e Claude-SearchBot Anthropic dice che la visibilità può calare.
- Bloccare per indirizzo IP invece che nel robots.txt. Secondo Anthropic può non funzionare.
- Sistemare solo il dominio principale. Anthropic chiede la regola per ogni sottodominio da cui vuoi uscire.
- Aggiungere un gruppo per un solo bot e perdere le regole comuni. Il gruppo proprio sostituisce il gruppo
*. - Leggere un bot consentito come una citazione. Consentire un bot toglie un ostacolo e non promette nessuna menzione.
Domande frequenti
Posso far citare la mia pagina da Claude?
No. Nessuno può forzare una citazione, e la pagina di Anthropic non descrive alcuna impostazione che ne provochi una. Puoi togliere gli ostacoli, in modo che i suoi bot riescano a leggere le tue pagine. È Claude a decidere se le nomina.
Bloccare ClaudeBot mi toglie dalla ricerca di Claude?
La pagina di Anthropic non lo dice. Per ClaudeBot nomina l’esclusione del materiale futuro dai dataset di addestramento. Gli effetti sulla ricerca che indica appartengono a Claude-User e Claude-SearchBot.
SEOgrinder mostra se Claude cita il mio sito?
No. Controlla la base tecnica: se i sistemi AI riescono a raggiungere e leggere la pagina.
Il prossimo passo
Apri il tuo robots.txt e cerca ClaudeBot, Claude-User e Claude-SearchBot. Decidi ciascuno di proposito: ricerca e recuperi su richiesta da una parte, addestramento dall’altra. Se gestisci dei sottodomini, controlla ogni file. Poi avvia l’analisi gratuita in SEOgrinder, apri le schede Preparazione all'IA e Attività e correggi ciò che è ancora aperto.