Gevonden worden in ChatGPT: 3 technische controles die we hebben getest
Kort antwoord: Gevonden worden in ChatGPT kan niemand afdwingen, want niemand kan ChatGPT dwingen je site te noemen, en geen enkele controle belooft een aanbeveling. Wat je zelf bepaalt, is de technische basis, en drie controles dekken die: robots.txt laat de zoekbot van OpenAI binnen, de hoofdtekst staat zonder JavaScript in de HTML, en de pagina is voor de bot bereikbaar met status 200 en zonder blokkade bij firewall of CDN. Als je ze doorstaat, ruim je de technische obstakels op die wij kennen. Pas het logboek van een echt ChatGPT-User-bezoek laat zien dat de pagina is opgehaald, en niets laat zien dat je wordt aanbevolen.
Teststand (5 november 2026): De hieronder beschreven test is uitgevoerd en geslaagd. De meetwaarden publiceren we niet, dus dit artikel noemt daarbuiten geen resultaat.
Wat niemand kan beloven: gevonden worden in ChatGPT
Eerst de grens, want die bepaalt de rest. Of ChatGPT een site in een antwoord noemt, beslist ChatGPT. OpenAI documenteert zijn crawlers en wat elke instelling in robots.txt doet. Hoe ChatGPT kiest welke sites het noemt, beschrijft die pagina niet, en we hebben geen bron gevonden die een effect van een technische instelling op aanbevelingen aantoont. De eerlijke stand is dus: niet bewezen, en hier niet beloofd.
Twee andere grenzen horen erbij:
- Er is geen openbaar getal over vermeldingen. Ons is geen openbaar cijfer bekend over hoe vaak ChatGPT een bepaalde site noemt. Vermeldingstrackers sturen AI-assistenten een vaste lijst vragen en leggen vast of een merk opduikt, en ook SEOgrinder meet geen vermeldingen. Het controleert de technische basis: kunnen AI-systemen de pagina bereiken en lezen? Een getal voor hoe vaak ChatGPT sites aanbeveelt, hebben we niet, en we verzinnen er geen.
- Leesbaar is niet hetzelfde als aanbevolen. Een pagina die ChatGPT kan lezen, kan toch worden overgeslagen, en een pagina die het niet kan lezen, geeft de bot niets om te citeren. Leesbaarheid is het deel dat je zelf in de hand hebt, en alleen daarom zijn deze controles de moeite waard.
Daarom zegt de kop “technische controles” en niet “zo word je aanbevolen”. Wil je in een tweede stap vermeldingen volgen, dan legt ons artikel over AI-zichtbaarheid controleren het verschil uit tussen vermeldingen volgen en een gereedheidscontrole, en toont het een vragenlijst voor handwerk.
De drie user agents van OpenAI in één tabel
OpenAI gebruikt meerdere user agents, en elke instelling in robots.txt staat los van de andere. De documentatie geeft als voorbeeld dat een site OAI-SearchBot kan toestaan om in zoekresultaten te verschijnen en GPTBot kan weigeren om aan te geven dat gecrawlde inhoud niet voor training mag worden gebruikt. “ChatGPT blokkeren” is dus niet één besluit maar drie. De bron is de pagina van OpenAI over zijn bots.
| User agent | Waarvoor hij volgens OpenAI dient | Als je robots.txt hem blokkeert |
|---|---|---|
| OAI-SearchBot | Toont websites in de zoekfuncties van ChatGPT | De site verschijnt niet in de zoekantwoorden van ChatGPT, maar kan wel als navigatielink opduiken. OpenAI raadt aan hem toe te staan |
| GPTBot | Verzamelt inhoud die kan worden gebruikt om generatieve AI-basismodellen te trainen | Geeft aan dat de inhoud niet voor training mag worden gebruikt |
| ChatGPT-User | Kan een pagina bezoeken als een gebruiker ChatGPT of een Custom GPT een vraag stelt. Wordt niet gebruikt om het web automatisch te crawlen | OpenAI schrijft dat robots.txt-regels mogelijk niet gelden, omdat een mens de aanvraag start. Hij wordt niet gebruikt om te bepalen of inhoud in Zoeken verschijnt |
OpenAI noemt ook OAI-AdsBot. Die bezoekt alleen pagina’s die in ChatGPT als advertentie zijn ingediend en speelt voor de controles hieronder geen rol.
Controle 1: robots.txt laat OAI-SearchBot binnen
OpenAI zegt dat sites die OAI-SearchBot uitsluiten, niet in de zoekantwoorden van ChatGPT verschijnen, en raadt aan hem in robots.txt toe te staan. Toestaan is de voorwaarde voor die antwoorden. Een garantie voor wat dan ook is het niet.
- Geen eigen groep is prima, als
*het toestaat. Noemt geen enkele groep OAI-SearchBot, dan geldt voor hem de groep*. Schrijf toch een regel voor hem, zodat het besluit zichtbaar is voor de volgende die het bestand bewerkt. - GPTBot en ChatGPT-User zijn aparte besluiten. Zoeken toestaan dwingt je niet om training toe te staan. Bij ChatGPT-User gelden robots.txt-regels volgens OpenAI mogelijk helemaal niet.
- Wijzigingen kosten tijd. Voor zoekresultaten kan het volgens OpenAI ongeveer 24 uur duren voordat de systemen zich na een wijziging in robots.txt aanpassen. Wie een uur na de wijziging test, test de oude stand.
Een klein bestand dat de drie besluiten uit elkaar houdt:
# Zoeken in ChatGPT: toestaan
User-agent: OAI-SearchBot
Allow: /
# Training: je eigen besluit (dit voorbeeld weigert het)
User-agent: GPTBot
Disallow: /
# Opvragen op verzoek van een gebruiker: robots.txt-regels gelden mogelijk niet
User-agent: ChatGPT-User
Allow: /
Een veelvoorkomende manier om deze controle te laten mislukken is de eigen groep van een bot. Volgens RFC 9309 gebruikt een crawler de groep die bij zijn naam past, en heeft hij een eigen groep, dan geldt de groep * niet voor hem:
User-agent: *
Disallow: /prive/
User-agent: OAI-SearchBot
Allow: /
Hier staat /prive/ open voor OAI-SearchBot, omdat zijn eigen groep de groep * heeft vervangen. Herhaal Disallow: /prive/ in die groep, of zet meerdere User-agent-regels boven één gedeelde set regels. Ons artikel over robots.txt voor AI-crawlers toont beide patronen volledig.
Dezelfde specificatie regelt ook een bestand dat niet laadt. Antwoordt robots.txt met een clientfout in de 400-reeks, dan mag een crawler alle bronnen benaderen. Is het bestand onbereikbaar door een server- of netwerkfout, bijvoorbeeld met status 500, dan moet de crawler uitgaan van een volledig verbod. Een robots.txt die soms uitvalt, is dus niet neutraal.
Ons eigen bestand is een voorbeeld, geen aanbeveling. De robots.txt van seogrinder.com heeft één gedeelde groep met * en negen AI-user-agents, waaronder OAI-SearchBot, GPTBot en ChatGPT-User. Ze staat alles toe behalve /api/. Training toestaan is voor deze site het besluit van de eigenaar. Jij kunt anders besluiten.
Controle 2: de hoofdtekst staat in de HTML, zonder JavaScript
Een bot kan zijn toegestaan en toch niets te lezen vinden, als je tekst pas verschijnt nadat een script is gedraaid. Een meting komt van Vercel en MERJ en verscheen in december 2024 onder de titel The rise of the AI crawler. De uitkomst: geen van de drie OpenAI-crawlers in het onderzoek (OAI-SearchBot, ChatGPT-User en GPTBot) voerde JavaScript uit. De crawler van Google, die Gemini gebruikt, en AppleBot deden dat wel.
Lees die uitkomst voorzichtig. Het is een momentopname uit 2024, en ons is geen recentere meting bekend die we zouden kunnen noemen. Crawlers veranderen, zie het dus als een waarschuwing en niet als wet. Bovendien zegt het wat een bot leest, niet of een pagina in een antwoord wordt genoemd.
De controle zelf duurt een minuut en vraagt geen tool. Vraag je server om de pagina zonder een script uit te voeren, en zoek naar je kop:
curl -sL https://www.example.com/jouw-pagina | grep -i -A2 "<h1"
Toont de uitvoer je echte kop, dan staat die in de geleverde HTML. Toont ze een lege schil met een div en een scripttag, of helemaal geen kop, dan ziet een bot die scripts overslaat hetzelfde. Herhaal het met een zin uit je eerste alinea. Tekst die alleen in een script-element staat, telt niet. Ons artikel over AI-crawlers en JavaScript heeft nog twee tests van een minuut en de oplossing: de pagina op de server renderen of vooraf genereren.
Controle 3: de bot kan bij de pagina komen
Deze controle slaan veel mensen over, omdat robots.txt het hele verhaal lijkt. Dat is het niet. Een bestand kan “toegestaan” zeggen terwijl een firewall, de botbescherming van een CDN of de hostingaanbieder de bot met een foutmelding wegstuurt. Dan is de toestemming er, maar komt de pagina niet aan.
- De status is 200. Een bot die een foutpagina of een doorverwijslus krijgt, kan je tekst niet lezen. De pagina van OpenAI zegt niet hoe zijn bots met afzonderlijke statuscodes omgaan; dat een bot een normaal antwoord nodig heeft om tekst te lezen, is gewone HTTP-logica en geen uitspraak van OpenAI.
- Niets voor de server wijst de bot af. Voor OAI-SearchBot raadt OpenAI aan verzoeken uit zijn gepubliceerde IP-bereiken toe te laten. Elke bot heeft op de documentatiepagina een eigen lijst, voor OAI-SearchBot bijvoorbeeld
searchbot.json. - Je serverlogboek toont de user agent. Voor ChatGPT-User noemt OpenAI de volledige tekenreeks
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot. Bij OAI-SearchBot en GPTBot wijst OpenAI erop dat versienummers kunnen veranderen, zoek dus op de naam, niet op de versie. Voor die twee zegt OpenAI bovendien dat het bij het ophalen van robots.txt een toevoegingrobots.txtaan de user agent kan hangen, zodat je die verzoeken kunt onderscheiden.
De naam van de bot kun je zelf met curl gebruiken en zo de statuscode aflezen:
curl -sS -o /dev/null -w "%{http_code}\n" -A "OAI-SearchBot" https://www.example.com/jouw-pagina
Dat laat zien hoe je server op de naam reageert, niet op de echte adressen van OpenAI. Veel beschermingsregels wijzen valse botnamen af en laten echte bots op IP-adres door, en dat is de bedoeling. Een 403 op deze plek is dus een reden om naar je regels te kijken, geen bewijs dat de echte bot is geblokkeerd, en een 200 bewijst niet dat hij erdoor komt. Het echte bewijs is het logboek. Iedereen kan “GPTBot” in een header zetten, vergelijk verdachte bezoeken daarom met de gepubliceerde IP-bereiken.
Onze test: wat we op 5 november 2026 hebben gedaan
De kop zegt “getest”. Dit onderdeel documenteert de methode. We bouwen SEOgrinder, dus het testobject is onze eigen site, en we hebben de stappen en de mogelijke uitkomsten vóór de test opgeschreven.
Testobject: seogrinder.com en de Engelse versie van dit artikel, https://seogrinder.com/en/blog/get-recommended-by-chatgpt. We testen dit ene adres; de Nederlandse pagina controleren we niet apart. De test liep op 5 november 2026 in vier stappen:
- Lees
https://seogrinder.com/robots.txten sla het bestand op. Noteer hoe OAI-SearchBot, GPTBot en ChatGPT-User worden behandeld. - Zoek in de ruwe HTML van deze testpagina zonder JavaScript naar haar H1, met de curl-opdracht uit controle 2.
- Vraag ChatGPT het adres van de testpagina te openen en haar H1 letterlijk te citeren. Noteer het getoonde model en het tijdstip. De vraag ligt vooraf vast, en wel in het Engels: “Open https://seogrinder.com/en/blog/get-recommended-by-chatgpt and quote its H1 exactly.”
- Zoek in ons serverlogboek rond het tijdstip van stap 3 naar
ChatGPT-Useren vergelijk het bron-IP met de door OpenAI gepubliceerde lijstchatgpt-user.json. Een bezoek vanaf een adres dat niet op die lijst staat, telt niet.
Wat we vastleggen: het tijdstip van de aanvraag, het getoonde model, een schermafbeelding van het antwoord, de opgeslagen robots.txt en de logregel met tijd, pad, status, user agent en bron-IP-adres. Waarden die we niet hebben opgenomen, vullen we niet in.
Hoe we de uitkomsten lezen, vooraf vastgelegd:
- ChatGPT citeert de H1 juist en het logboek toont op dat moment ChatGPT-User met status 200: dat laat zien dat ChatGPT de pagina kon lezen.
- ChatGPT antwoordt, maar het logboek toont op dat moment geen verzoek van ChatGPT-User: waar het antwoord vandaan komt, kunnen we niet zeggen. OpenAI zegt dat ChatGPT-User een pagina kan bezoeken als een gebruiker een vraag stelt; dat elk antwoord een bezoek inhoudt, zegt het niet. Daarom hoort het logboek bij de test.
- ChatGPT kan de pagina niet openen: we noemen de melding en wat we hebben veranderd. Ook dat zou een resultaat zijn.
Wat een geslaagde test wel en niet zou laten zien. Ze zou laten zien dat ChatGPT deze pagina op één dag, met één vraag en vanaf één account kan lezen. Ze zou niet laten zien dat ChatGPT de pagina aanbeveelt, en ook niet hoe vaak het pagina’s leest. Eén test is één meetpunt.
Resultaat: de test is geslaagd. De meetwaarden publiceren we niet.
Zo helpt SEOgrinder bij de drie controles
SEOgrinder is gratis en vraagt geen account. Voer een adres in, start de analyse en open het rapport. Drie plekken zijn hier belangrijk:
- Tabblad AI-gereedheid, “Controles voor AI-agents”: het punt “AI-bots sturen” toont hoeveel AI-crawlers een uitdrukkelijke regel hebben, hoeveel er zijn toegestaan en hoeveel zijn geblokkeerd, en noemt de geblokkeerde. “Regels voor botgedrag” gaat over robots.txt zelf. Dit is controle 1.
- Tabblad Taken, “De pagina wordt pas in de browser opgebouwd”: de bevinding verschijnt bij pagina’s die JavaScript nodig hebben om hun inhoud te tonen, omdat veel AI-crawlers dat niet uitvoeren. Dit is controle 2.
- Tabblad Taken, “AI-crawlers toegestaan maar door de server geweigerd — controleren”: SEOgrinder test hoe de server antwoordt op vier vaste botnamen (GPTBot, ClaudeBot, OAI-SearchBot en PerplexityBot), alleen op die welke robots.txt toestaat, en vergelijkt dat met een browser. ChatGPT-User hoort daar niet bij. Het gebruikt alleen de naam, en dat is de grens die bij controle 3 staat.
Klik bij een punt op Agent-prompt kopiëren voor een opdracht aan je codeerassistent, en klik na een wijziging op Opnieuw controleren. Rapporten blijven tot 24 uur in de cache, en de knop forceert een verse meting, een paar keer per uur. SEOgrinder leest je serverlogboek niet. Het rapport haalt je pagina op onder de naam SEOgrinder; alleen de leveringstest probeert vier botnamen (waaronder OAI-SearchBot), gemarkeerd als test en niet als echte crawler. Het meet niet of ChatGPT je merk noemt.
Veelgemaakte fouten
- GPTBot blokkeren om uit de ChatGPT-zoekfunctie te verdwijnen. GPTBot gaat over training. Zoeken gebruikt OAI-SearchBot, en elke instelling staat los van de andere.
- Een groep voor één bot toevoegen en de gedeelde regels kwijtraken. Zijn eigen groep vervangt de groep
*. - In robots.txt toestaan en bij de firewall wegsturen. Controleer het logboek, niet alleen het bestand.
- Te vroeg testen. Na een wijziging in robots.txt noemt OpenAI ongeveer 24 uur.
- De tekst alleen in de browser opbouwen. De momentopname uit 2024 zegt dat de bots van OpenAI geen scripts uitvoerden.
- Een geslaagde controle als aanbeveling lezen. Ze ruimt de technische obstakels op die wij kennen en zegt niets over de vraag of ChatGPT je noemt.
Veelgestelde vragen
Kan ik ChatGPT mijn site laten aanbevelen?
Nee. Niemand kan een vermelding afdwingen, en van geen enkele technische instelling is bewezen dat ze er een veroorzaakt. Je kunt obstakels wegnemen zodat ChatGPT je pagina’s kan lezen. Of het ze noemt, beslist het zelf.
Verdwijn ik uit ChatGPT als ik GPTBot blokkeer?
Nee. GPTBot geeft aan dat inhoud niet voor training mag worden gebruikt. Zoeken gebruikt OAI-SearchBot, een aparte instelling.
Houden robots.txt-regels ChatGPT-User tegen?
OpenAI schrijft dat robots.txt-regels voor ChatGPT-User mogelijk niet gelden, omdat een gebruiker de aanvraag start. Hij wordt niet gebruikt om het web automatisch te crawlen, en niet om te bepalen of inhoud in Zoeken verschijnt.
Laat SEOgrinder zien of ChatGPT mijn site noemt?
Nee. Het controleert de technische basis: of AI-systemen de pagina kunnen bereiken en lezen.
Je volgende stap
Open je robots.txt en zoek naar OAI-SearchBot. Voer de curl-opdracht uit controle 2 uit op je belangrijkste pagina en kijk of de kop in de HTML staat. Doe daarna de gratis scan in SEOgrinder, open de tabbladen AI-gereedheid en Taken en herstel wat openstaat.