Gevonden worden in Gemini: de 2 robots.txt-namen die je zelf regelt

Kort antwoord: Gevonden worden in Gemini kan niemand beloven, en Googles pagina’s beschrijven geen manier om daar genoemd te worden. Wat je zelf regelt, zijn twee namen in robots.txt. Googlebot bepaalt of je pagina’s voor Google Zoeken mogen worden gecrawld, ook voor AI-overzichten en AI Mode. Google-Extended bepaalt of Google je inhoud mag gebruiken om toekomstige Gemini-modellen te trainen en voor grounding in Gemini Apps. Houd je beide open, dan haal je de twee blokkades weg die Google documenteert; een vermelding beloven ze niet. Google telt geen schakelaars; de 2 is onze eigen groepering.

Wat Google documenteert over gevonden worden in Gemini

Eerst de grens. De twee Google-pagina’s waarop we ons baseren, beschrijven besturing, geen selectie. De lijst van Googles gangbare crawlers zegt wat het token Google-Extended dekt. De pagina AI features and your website legt uit hoe AI-overzichten en AI Mode in Zoeken met je pagina’s omgaan. Geen van beide zegt hoe Gemini kiest welke pagina’s het in een antwoord gebruikt, en wij kennen geen Google-bron die dat doet. Dit artikel belooft dus geen vermelding. Het zegt ook niets over waar Gemini verder op kan steunen: dat is daar niet gedocumenteerd, en wij gokken niet.

We hebben beide pagina’s op 4 november 2026 opgehaald. De crawlerlijst toont “Last updated 2026-10-30”, de pagina over de AI-functies “Last updated 2025-12-10”. Alles wat we over Google zeggen, komt van deze twee pagina’s, en onze eigen lezingen markeren we.

Eén term vraagt om een eenvoudige uitleg. Grounding wordt op de crawlerpagina gedefinieerd als “providing content from the Google Search index to the model at prompt time to improve factuality and relevancy”. Kort gezegd: wanneer iemand een vraag stelt, kan het model inhoud uit de zoekindex van Google meekrijgen. Of een bepaald Gemini-antwoord dat doet, staat niet op de pagina.

Wat je kunt regelen zijn twee namen in robots.txt, en daar komt de 2 in de titel vandaan. Google telt geen schakelaars; het getal is onze groepering van de namen die zijn pagina’s je geven. De besturingsmiddelen voor de weergave, nosnippet, data-nosnippet, max-snippet en noindex, zijn een ander soort gereedschap, en we plaatsen ze bij schakelaar 1.

Schakelaar 1: Googlebot, de deur naar Google Zoeken en zijn AI-functies

Volgens de pagina over de AI-functies is AI in Zoeken ingebouwd; daarom is “robots.txt directives for Googlebot is the control” voor hoe je site voor Zoeken wordt gecrawld. De crawlerlijst voegt toe dat crawlvoorkeuren voor het token Googlebot “affect Google Search (including Discover and all Google Search features)”, naast andere producten zoals Google Afbeeldingen en Google Nieuws.

AI-overzichten en AI Mode hebben geen eigen poort. Om als ondersteunende link in aanmerking te komen, moet een pagina volgens Google “indexed and eligible to be shown in Google Search with a snippet” zijn, en er zijn geen aanvullende technische eisen. Ons artikel over AI-overzichten en AI Mode loopt die pagina door.

Waarom telt deze schakelaar voor Gemini? Onze lezing, geen uitspraak van Google: grounding put uit de zoekindex, dus een pagina die Googlebot niet kan crawlen, heeft die index niets te bieden. Dat is de reden om eerst Googlebot te controleren, vóór alles met de naam Gemini erop.

De regelaar op deze schakelaar: besturing van de weergave. Om te beperken wat Zoeken van je pagina’s toont, noemt Google nosnippet, data-nosnippet, max-snippet en noindex. Ze beperken wat Zoeken van een pagina toont; ze bepalen niet of Googlebot haar mag crawlen. Om ze te testen verwijst de pagina naar de tool URL-inspectie in Search Console, die de HTML toont die Googlebot bij het crawlen van de pagina heeft ontvangen.

Schakelaar 2: Google-Extended, de schakelaar voor Gemini-training en grounding

Google beschrijft Google-Extended als een zelfstandig producttoken waarmee uitgevers beheren of inhoud die Google van hun sites crawlt, voor twee dingen mag worden gebruikt: het trainen van toekomstige generaties van de Gemini-modellen die Gemini Apps en de Vertex AI API voor Gemini aandrijven, en grounding in Gemini Apps en in Grounding with Google Search op Vertex AI.

Drie details van de pagina:

• Het is een token, geen bot. Google-Extended heeft geen eigen HTTP-user-agentstring. Het crawlen gebeurt met Googles bestaande user-agentstrings, en het robots.txt-token dient alleen als besturing. Onze lezing: geen enkel verzoek in je serverlog draagt de naam Google-Extended, dus kijk in robots.txt, niet in de log.
• Het raakt Zoeken niet. “Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.”
• Het geldt voor “andere systemen”. De pagina over de AI-functies stuurt je alleen naar Google-Extended om “AI training and grounding in some of Google's other systems” te beperken. Voor de AI-functies binnen Zoeken noemt ze Googlebot-regels en de besturing van de weergave.

Of je toestaat of blokkeert, is jouw beslissing, en geen van beide pagina’s beveelt het een of het ander aan. Toestaan betekent dat Google je inhoud voor die twee doelen mag gebruiken; het betekent niet dat Gemini een pagina zal gebruiken of noemen. Blokkeren zegt Google dat het de inhoud daarvoor niet moet gebruiken; een ander effect beschrijft de pagina niet.

De crawlerlijst bevat ook een opmerking: Google wil het gedeelde, machineleesbare trainingsvoorkeurssignaal AIPREF begin 2027 ondersteunen. Vandaag is Google-Extended de besturing die die pagina documenteert.

Welke schakelaar regelt wat

Zo stel je beide schakelaars in robots.txt in

# Schakelaar 1: Googlebot heeft geen eigen groep, dus de groep "*" geldt voor hem
User-agent: *
Disallow: /api/

# Schakelaar 2: Google-Extended krijgt een eigen groep en weigert alles
User-agent: Google-Extended
Disallow: /

Dit voorbeeld is een keuze, geen aanbeveling: het houdt Google Zoeken open en weigert Gemini-training en grounding. Wil je dat Google je inhoud mag gebruiken, laat dan de Google-Extended-groep weg; zonder eigen groep volgt het token volgens RFC 9309 de groep * (Googles crawlerpagina zegt dit niet uitdrukkelijk voor Google-Extended).

RFC 9309 legt de regel erachter vast: een crawler volgt de groep die bij zijn naam past, en alleen zonder overeenkomst de groep *. Daaruit volgen twee dingen:

• Voeg je een groep voor Googlebot toe, herhaal daarin dan elke regel die je nog nodig hebt. De groep * geldt dan niet meer voor Googlebot.
• Een Disallow: / onder * sluit beide schakelaars. Het is vaak een overblijfsel van een testomgeving. Het geldt voor Googlebot en Google-Extended, tenzij een van beide een eigen groep heeft.

Dezelfde standaard zegt dat robots.txt “not a substitute for valid content security measures” is. Het is een verzoek, geen slot.

Ons eigen bestand is een voorbeeld, geen aanbeveling. Op 4 november 2026 hebben we https://seogrinder.com/robots.txt met curl opgehaald: één gedeelde groep met * en negen AI-user-agents, waaronder Google-Extended, waarin alles is toegestaan behalve /api/. Googlebot heeft geen eigen groep en volgt *, dus beide schakelaars staan daar open. Dat is de beslissing van de site-eigenaar; die van jou kan anders zijn.

Om je eigen bestand te controleren, voer je curl -sS https://example.com/robots.txt uit en zoek je naar Googlebot, Google-Extended en een groep User-agent: *. Gun het daarna tijd. Google zegt dat crawlen “anywhere from several days to several months” kan duren; die zin gaat over de besturing van de weergave. De crawlerlijst noemt geen tijd voor een wijziging bij Google-Extended, dus wij noemen er ook geen.

Zo helpt SEOgrinder

SEOgrinder is gratis en heeft geen account nodig, en wij bouwen het. Voer een adres in, start de analyse en open het rapport. Twee plekken zijn hier belangrijk:

• Tabblad “AI-gereedheid”, “Controles voor AI-agents”: het punt “AI-bots sturen” telt de AI-crawlers met een expliciete regel in robots.txt, hoeveel ervan zijn toegestaan en hoeveel geblokkeerd, en noemt de geblokkeerde. Het kent Google-Extended bij naam en telt het als trainingscrawler. Het punt is voldaan als training en zoeken elk een expliciete regel hebben. Googlebot hoort niet bij dit punt.
• Tabblad “Taken”: de bevinding “robots.txt blokkeert deze URL” verschijnt als een Disallow-regel Googlebot van de gescande pagina weghoudt, en “Pagina is uitgesloten van Google” als een noindex-instructie is ingesteld.

Klik bij een punt op Agent-prompt kopiëren voor een instructie voor je coding-assistent, en op Opnieuw controleren na een wijziging. SEOgrinder leest je serverlog niet en meet niet of Gemini je site noemt. Het controleert de technische basis.

Veelgemaakte fouten

• Google-Extended blokkeren om uit AI-overzichten te verdwijnen. Voor de AI-functies in Zoeken noemt Googles pagina Googlebot-regels en de besturing van de weergave. Ze zegt dat Google-Extended geen invloed heeft op opname in Google Zoeken.
• Google-Extended in de serverlog zoeken. Het heeft geen eigen user-agentstring.
• Een Googlebot-groep die je andere regels laat vallen. Een naam met een eigen groep negeert de groep *.
• Een Disallow: / van een testomgeving dat nog in het bestand staat. Het sluit beide schakelaars tegelijk.
• “Toegestaan” lezen als “genoemd”. Toestaan haalt een blokkade weg. Het belooft geen vermelding.
• Een direct effect verwachten. Google noemt geen tijd voor Google-Extended, en dagen tot maanden voor de besturing van de weergave.
• robots.txt als bescherming zien. De standaard noemt het geen vervanging voor beveiliging van inhoud.

Veelgestelde vragen

Kan ik Gemini mijn site laten noemen?

Nee. Niemand kan dat afdwingen, en geen van beide Google-pagina’s beschrijft een instelling die het veroorzaakt. Je kunt blokkades wegnemen zodat Google je inhoud mag crawlen en gebruiken. Of een Gemini-antwoord haar noemt, is niet gedocumenteerd.

Schaadt het blokkeren van Google-Extended mijn ranking of haalt het me uit AI-overzichten?

Google zegt dat Google-Extended geen invloed heeft op opname in Google Zoeken en daar geen rankingsignaal is. Voor AI-overzichten en AI Mode verwijst de pagina over de AI-functies naar Googlebot-regels en de besturing van de weergave.

Heb ik een llms.txt of speciale markup nodig voor Gemini?

Voor AI-overzichten en AI Mode zegt Google dat je geen nieuwe machineleesbare bestanden, AI-tekstbestanden of markup nodig hebt, en geen speciale schema.org-gestructureerde gegevens. Over Gemini Apps zegt die pagina niets. Wij kennen geen bron die een voordeel van llms.txt bewijst.

Laat SEOgrinder zien of Gemini mijn site noemt?

Nee. Het controleert of robots.txt Googlebot buiten de gescande pagina houdt en of er een regel voor Google-Extended is. Tools die vermeldingen volgen, doen een andere taak.

Je volgende stap

Open je robots.txt en zoek naar Googlebot, Google-Extended en een groep User-agent: *. Zorg dat geen overgebleven regel Googlebot blokkeert en beslis bewust over Google-Extended. Voer daarna de gratis scan in SEOgrinder uit, open de tabbladen “AI-gereedheid” en “Taken” en werk af wat openstaat. Ons artikel over robots.txt voor AI-crawlers behandelt de bots van OpenAI, Anthropic en Perplexity.

Lees ook

• Geciteerd worden door Claude: 3 Anthropic-bots en welke je toestaat
• Gevonden worden in Perplexity: 3 controles voor PerplexityBot
• GEO en SEO: wat echt anders is (en wat volgens Google niet)