Gevonden worden in Perplexity: 3 controles voor PerplexityBot

Door SEOgrinder · Gepubliceerd · 9 min leestijd

Kort antwoord: Gevonden worden in Perplexity kan niemand beloven: de pagina van Perplexity over zijn crawlers zegt hoe de bots bedoeld zijn en behandeld moeten worden, niet volgens welke regels pagina’s worden gekozen of gerangschikt. Drie controles dekken wat je zelf in de hand hebt. Je robots.txt laat PerplexityBot toe, niets vóór je server wijst hem af en de hoofdtekst staat zonder JavaScript in de HTML. Slaag je voor alle drie, dan zijn de technische obstakels weg die wij kennen, en een plek of een bronvermelding beloof je daarmee niet.

Gevonden worden in Perplexity: wat documenteert Perplexity?

Achter de vraag zit vaak het beeld van een ranglijst waarop je plaatsen kunt winnen. De eigen pagina van Perplexity over zijn crawlers beschrijft iets smallers. Daar staat welke bots je website bezoeken, waarvoor elke bot dient en welke instellingen je zelf beheert. Hoe Perplexity pagina’s voor een antwoord kiest en in welke volgorde het ze toont, staat er niet, en wij kennen geen bron die aantoont dat een technische instelling daar iets aan verandert. Dit artikel belooft daarom geen plek en geen bronvermelding.

Leesbaar is niet hetzelfde als aangehaald. Een pagina die PerplexityBot kan lezen, kan in een antwoord toch ontbreken, en een pagina die hij niet kan lezen, geeft hem niets om te tonen. De leesbaarheid heb je zelf in de hand en alleen die controleert SEOgrinder. Of Perplexity je site noemt, meet het niet. Diensten die vermeldingen bijhouden, doen ander werk; ons artikel over AI-zichtbaarheid controleren legt het verschil uit.

PerplexityBot en Perplexity-User: twee bots, twee taken

De pagina van Perplexity over zijn crawlers, die wij op 4 november 2026 hebben opgehaald, noemt twee user agents. Daar staat ook dat elke instelling los van de andere werkt en dat het tot 24 uur kan duren voordat de systemen van Perplexity een wijziging overnemen.

User agentWaarvoor hij volgens Perplexity dientWat Perplexity over robots.txt zegt
PerplexityBotBedoeld om websites te tonen en te linken in de zoekresultaten van Perplexity. Wordt niet gebruikt om inhoud te crawlen voor AI-basismodellenPerplexity raadt aan hem in robots.txt toe te staan en verzoeken uit de gepubliceerde IP-bereiken toe te laten
Perplexity-UserOndersteunt acties van gebruikers: stelt iemand een vraag, dan kan hij een pagina bezoeken om nauwkeurig te antwoorden en in het antwoord naar die pagina te linken. Wordt niet gebruikt om het web te crawlen of om inhoud te verzamelen voor het trainen van AI-basismodellenOmdat een gebruiker het ophalen heeft uitgelokt, negeert deze fetcher robots.txt-regels volgens Perplexity doorgaans (“generally ignores robots.txt rules”)

Beide bots publiceren hun IP-bereiken als JSON-bestand: perplexitybot.json en perplexity-user.json. PerplexityBot is de bot voor de zoekresultaten, dus de controles hieronder gaan eerst over hem.

Controle 1: robots.txt laat PerplexityBot toe

Perplexity schrijft dat het aanraadt “allowing PerplexityBot in your site’s robots.txt file and permitting requests from our published IP ranges”, dus de bot in robots.txt toestaan en verzoeken uit de gepubliceerde IP-bereiken toelaten (Perplexity). De eerste helft is deze controle, de tweede helft is controle 2.

  • Zoek uit welke groep voor PerplexityBot geldt. Volgens RFC 9309 volgt een crawler de groep die bij zijn naam past, en alleen als er geen past, de groep *. Heeft PerplexityBot geen eigen groep, dan blokkeert een Disallow: / onder * ook hem. Heeft hij er wel een, dan gelden de regels van * niet meer voor hem.
  • Test niet te vroeg. Wijzigingen kunnen tot 24 uur duren. Wie een uur na het aanpassen test, kijkt dus nog naar de oude toestand.
  • Houd het bestand bereikbaar. Volgens RFC 9309 moet een crawler uitgaan van een volledig verbod als robots.txt door een server- of netwerkfout onbereikbaar is, bijvoorbeeld met status 500. Hoe PerplexityBot daarmee omgaat, zegt Perplexity niet. Dit is dus de standaard en geen uitspraak van Perplexity.

Deze controle mislukt vaak door de valkuil uit het eerste punt. In het voorbeeld hieronder sluit /intern/ voor iedereen en staat dezelfde regel nog eens in de eigen groep van de bot:

User-agent: *
Disallow: /intern/

# Eigen groep voor PerplexityBot: herhaal wat gesloten moet blijven
User-agent: PerplexityBot
Disallow: /intern/
Allow: /

Ontbreekt de herhaalde Disallow-regel, dan is /intern/ open voor PerplexityBot. Ons artikel over robots.txt voor AI-crawlers laat het andere patroon zien: meerdere User-agent-regels boven één gedeelde set regels.

Ons eigen bestand is een voorbeeld, geen aanbeveling. Op 4 november 2026 hebben we https://seogrinder.com/robots.txt met curl opgehaald. Het noemt PerplexityBot in één gedeelde groep met * en acht andere bots en staat alles toe behalve /api/. Dat is onze keuze voor deze site, de jouwe kan anders zijn.

Controle 2: niets vóór je server wijst PerplexityBot af

Een robots.txt kan “toegestaan” zeggen terwijl een firewall, de botbescherming van een CDN of je hoster de bot met een foutmelding wegstuurt. Dan is de toestemming er wel, maar komt de pagina niet aan. Perplexity wijdt hier een eigen onderdeel aan: met een webapplicatiefirewall moet je de bots misschien uitdrukkelijk toelaten (“you may need to explicitly allow Perplexity’s bots”, Perplexity). De pagina bevat stappen voor Cloudflare WAF en AWS WAF. Deze punten gelden in elke omgeving:

  • Controleer naam en adres samen. De voorbeelden van Perplexity combineren de user agent (bevat PerplexityBot) met een bronadres uit de gepubliceerde bereiken, en Perplexity adviseert beide te gebruiken, ook voor de veiligheid.
  • Elke bot heeft eigen bereiken. Vergelijk PerplexityBot met zijn eigen lijst en Perplexity-User met die van hem.
  • Ververs de bereiken. Perplexity zegt dat de adressen regelmatig worden bijgewerkt en raadt aan de JSON-bestanden automatisch op te halen. Een kopie die niemand vernieuwt, raakt verouderd.
  • Let bij Cloudflare op de volgorde. Volgens Perplexity slaat een Skip-regel alleen regels over die na hem komen. Hij hoort dus boven de regels die blokkeren of een challenge eisen. Bot Fight Mode kan volgens Perplexity niet met WAF-regels worden overgeslagen en kan de bots van Perplexity nog steeds een challenge geven.
  • Je serverlogboek is het bewijs. Zoek erin naar PerplexityBot, niet naar een versienummer, dat volgens Perplexity kan veranderen. Iedereen kan die naam in een header zetten, dus een bezoek telt alleen als het bronadres in de gepubliceerde lijst staat. Hoe vaak de bot langskomt, zegt Perplexity niet. Een leeg logboek is daarom een reden om controle 1 en controle 2 na te lopen en geen bewijs van een blokkade.

Controle 3: de hoofdtekst staat in de HTML, zonder JavaScript

Een bot kan zijn toegestaan, je server bereiken en toch niets te lezen vinden, als je tekst pas verschijnt nadat een script is uitgevoerd. Of PerplexityBot JavaScript uitvoert, zegt de pagina van Perplexity niet. Eén meting komt van Vercel en MERJ en verscheen op 17 december 2024 onder de titel The rise of the AI crawler. Het resultaat: geen van de gemeten grote AI-crawlers voerde JavaScript uit, PerplexityBot hoorde daarbij. De crawler van Google, die Gemini gebruikt, en AppleBot renderden JavaScript wel.

Lees dat met voorzichtigheid: het is een momentopname uit 2024, wij kennen geen nieuwere meting die we kunnen noemen, en ze zegt wat een bot leest, niet of een pagina wordt aangehaald. Zie het als een waarschuwing.

De leestest kost een minuut en heeft alleen curl nodig. Hij stuurt de voorbeeld-user-agent uit de pagina van Perplexity, toont de statuscode en laat je kop zien zoals die in de HTML aankomt, zonder een script uit te voeren:

curl -sL -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  -w "\nstatus: %{http_code}\n" https://www.example.com/jouw-pagina | grep -i -E -A2 "<h1|^status:"

Is de status 200 en toont de uitvoer je echte kop, dan staat de tekst in de geleverde HTML. Zie je een lege schil met een div en een script-tag, of helemaal geen kop, dan ziet een bot zonder JavaScript hetzelfde. Herhaal de test met een zin uit je eerste alinea, want tekst die alleen in een script-element staat, telt niet. De oplossing is de pagina op de server te renderen of vooraf te genereren. Ons artikel over AI-crawlers en JavaScript heeft nog twee tests van een minuut en de details.

De test laat zien hoe je server op de naam reageert, niet op de echte adressen van Perplexity. Veel beschermingsregels weigeren valse botnamen en laten echte bots op IP-adres door, en dat is bedoeld. Een 403 is dus een reden om je regels te bekijken en geen bewijs dat de echte bot is geblokkeerd, en een 200 bewijst niet dat hij erdoor komt. Het echte bewijs is het logboek uit controle 2.

Zo helpt SEOgrinder bij de drie controles

SEOgrinder is gratis en vraagt geen account. Voer een adres in, start de analyse en open het rapport. Drie plekken zijn hier belangrijk:

  • Tabblad AI-gereedheid, “Controles voor AI-agents”: het punt “AI-bots sturen” laat zien hoeveel AI-crawlers een expliciete regel hebben, hoeveel er zijn toegestaan en hoeveel geblokkeerd, en noemt de geblokkeerde bij naam. “Regels voor botgedrag” gaat over robots.txt zelf. Dit is controle 1.
  • Tabblad Taken, “AI-crawlers toegestaan maar door de server geweigerd — controleren”: SEOgrinder test hoe de server antwoordt op vier vaste botnamen (GPTBot, ClaudeBot, OAI-SearchBot en PerplexityBot), alleen op die welke robots.txt toestaat, en vergelijkt dat met een browser. Perplexity-User hoort er niet bij en de test gebruikt alleen de naam. Dit is controle 2.
  • Tabblad Taken, “De pagina wordt pas in de browser opgebouwd”: deze bevinding verschijnt bij pagina’s die JavaScript nodig hebben om hun inhoud te tonen, omdat veel AI-crawlers dat niet uitvoeren. Dit is controle 3.

Met Agent-prompt kopiëren krijg je bij een punt een opdracht voor je programmeerassistent, en met Opnieuw controleren controleer je een wijziging. Rapporten blijven maximaal 24 uur in de cache. SEOgrinder leest je serverlogboek niet en meet niet of Perplexity je site noemt.

Veelgemaakte fouten

  • PerplexityBot blokkeren om inhoud buiten AI-training te houden. Volgens Perplexity wordt PerplexityBot niet gebruikt om inhoud voor AI-basismodellen te crawlen. Hij is de zoekbot.
  • Voor één bot een groep aanmaken en de gedeelde regels kwijtraken. De eigen groep van de bot vervangt de groep *.
  • In robots.txt toestaan en bij de firewall weigeren. Kijk in het logboek, niet alleen in het bestand.
  • IP-bereiken één keer plakken en nooit vernieuwen. De gepubliceerde lijsten veranderen.
  • Te vroeg testen. Perplexity zegt dat een wijziging tot 24 uur kan duren.
  • robots.txt als beveiliging zien. Volgens RFC 9309 vervangt het protocol geen echte maatregelen om inhoud te beveiligen.
  • Een geslaagde controle voor een plek houden. Ze zegt niets over de vraag of Perplexity je pagina toont of aanhaalt.

Veelgestelde vragen

Kan ik Perplexity dwingen mijn pagina aan te halen?

Nee. Niemand kan een bronvermelding afdwingen, en de crawlerpagina van Perplexity beschrijft geen instelling die er een veroorzaakt. Je kunt obstakels wegnemen, zodat PerplexityBot je pagina’s kan lezen. Of Perplexity ze toont, beslist het zelf.

Moet ik Perplexity-User ook toestaan?

Perplexity raadt aan PerplexityBot toe te staan; voor Perplexity-User geeft de pagina geen advies. Ze zegt dat Perplexity-User robots.txt-regels doorgaans negeert, en de WAF-voorbeelden gelden voor beide bots.

Houd ik mijn inhoud buiten AI-training door PerplexityBot te blokkeren?

Volgens Perplexity wordt PerplexityBot niet gebruikt om inhoud voor AI-basismodellen te crawlen, deze instelling gaat dus over zoekresultaten. Een instelling voor training beschrijft de pagina niet, en daar zeggen wij niets over.

Laat SEOgrinder zien of Perplexity mijn site aanhaalt?

Nee. Het controleert de technische basis: of AI-systemen de pagina kunnen bereiken en lezen.

Je volgende stap

Open je robots.txt en kijk welke groep voor PerplexityBot geldt. Doe de leestest uit controle 3 op je belangrijkste pagina en kijk of je status 200 en je kop terugkrijgt. Doe daarna de gratis scan in SEOgrinder, open de tabbladen AI-gereedheid en Taken en los op wat openstaat.

Lees ook

Meer uit de blog