Gecrawld – momenteel niet geïndexeerd: wat het is en 5 controles
Kort antwoord: “Gecrawld – momenteel niet geïndexeerd” betekent dat Google de pagina heeft opgehaald maar niet aan zijn index heeft toegevoegd. Google noemt dit “a common message for many sites” die “doesn't necessarily indicate an issue that needs attention”, dus de eerste vraag is of de pagina ertoe doet. Zo ja, sluit dan blokkades uit, vergelijk de pagina met je geïndexeerde pagina’s, wacht en kijk daarna opnieuw. Er is geen knop die indexering afdwingt, en Google noemt geen reden voor deze status.
Wat betekent “Gecrawld – momenteel niet geïndexeerd”?
Het rapport Pagina-indexering in Search Console sorteert elk adres dat Google kent onder “Geïndexeerd” of “Niet geïndexeerd”. In de tabel “Waarom pagina’s niet worden geïndexeerd” staat bij deze status Googles eigen beschrijving: “The page was crawled by Google but not indexed.” De pagina is dus wel door Google gecrawld, maar niet geïndexeerd. De volledige tekst vind je in de help bij het rapport Pagina-indexering. Ze heeft twee helften:
- Gecrawld: Google heeft de pagina opgevraagd en ontvangen.
- Momenteel niet geïndexeerd: Google heeft haar niet in zijn index opgenomen, dus ze kan niet in de zoekresultaten verschijnen.
Voor één adres toont de URL-inspectietool “URL is niet geïndexeerd door Google” en noemt hij de reden in het gedeelte “Pagina-indexering”.
Googles beschrijving is kort. Ze noemt de melding gebruikelijk, vermeldt geen straf en geeft geen oorzaak. Googles gids over crawlbudget noemt de algemene regel: “not every page that is crawled will necessarily be indexed”. Niet elke gecrawlde pagina wordt dus per se geïndexeerd. Na het crawlen moet elke pagina worden beoordeeld, samengevoegd en getoetst op geschiktheid voor de index (“evaluated, consolidated, and assessed”). Bij welke van die stappen jouw pagina is blijven hangen, zegt Google niet.
Is de pagina belangrijk? Besluit dat voordat je iets repareert
De help bij het rapport is duidelijk: “Don't expect every URL on your site to be indexed. Some URLs might be duplicates or might not contain meaningful information.” Niet elk adres hoeft dus in de index te staan; de belangrijke pagina’s moeten tellen. Sorteer je adressen daarom eerst:
| Je pagina | Wat je doet |
|---|---|
| Een variant die je nooit in de zoekresultaten wilde, zoals een gefilterde of gesorteerde lijst of een duplicaat | Meestal niets. Google rekent duplicaten en filtervarianten tot de pagina’s die het niet indexeert. |
| Een belangrijke pagina: een dienst, een product, een artikel dat gevonden moet worden | Doorloop de vijf controles hieronder. |
| Veel pagina’s tegelijk met deze status | Zoek wat de adressen gemeen hebben, zoals een map of een sjabloon. Los dat op, niet elke pagina apart. |
Heeft je website minder dan 500 pagina’s, dan heb je het rapport volgens Google waarschijnlijk helemaal niet nodig. Een zoekopdracht op site: plus het exacte adres, bijvoorbeeld site:https://jouw-site.example/jouw-pagina, laat zien of een belangrijke pagina is geïndexeerd.
Gecrawld – momenteel niet geïndexeerd: vijf controles voor een belangrijke pagina
Google noemt voor deze status geen oorzaak. De controles steunen daarom op wat Google documenteert en op onze eigen inschatting. De tweede soort markeren we.
- Lees het opgeslagen resultaat en doe daarna de livetest. Lees in de URL-inspectietool het gedeelte “Pagina-indexering”. Het is een momentopname: volgens de help bij de URL-inspectietool is dit “not a live test” en kan de pagina “may have changed or become unavailable since Google last saw it”, dus sindsdien zijn veranderd. Kies daarna “Live URL testen” en open “Geteste pagina bekijken” om te zien hoe Google de pagina weergeeft. Toont de livetest een fout of een lege pagina, los dat dan eerst op. Een schone livetest is echter geen vrijspraak: volgens Google test hij niet op alle mogelijke indexeringsproblemen (“does not test for all possible indexing issues”), waaronder of de pagina een duplicaat is.
- Sluit blokkades toch uit. Googles technische vereisten noemen er drie: Googlebot is niet geblokkeerd, de pagina antwoordt met HTTP 200 en ze heeft indexeerbare inhoud. Voldoe je eraan, dan betekent dat niet dat de pagina wordt geïndexeerd: “indexing isn't guaranteed”. Search Console meldt een noindex-tag, een robots.txt-blokkade, een soft 404 en een omleiding onder eigen statussen; onze lezing is dat ze meestal niet achter deze status zitten. Controleer ze toch, want de opgeslagen status kan ouder zijn dan je laatste wijziging. Onder de lijst staan twee commando’s voor een snelle blik.
- Vergelijk de pagina met je geïndexeerde pagina’s. Google indexeert volgens eigen zeggen geen duplicaten van een pagina, en sommige URL’s “might not contain meaningful information”, bevatten dus mogelijk geen zinvolle informatie. Onze inschatting, niet die van Google: leg de pagina naast de geïndexeerde pagina over hetzelfde onderwerp en vraag wat ze toevoegt. Beantwoorden twee pagina’s dezelfde vraag, voeg ze dan samen en leid het zwakkere adres met een 301-omleiding om naar het sterkere. Bestaat een pagina vrijwel alleen uit een kop en een sjabloon, geef haar dan echte inhoud of accepteer dat ze buiten de index blijft.
- Link naar de pagina vanaf verwante, geïndexeerde pagina’s. Onze inschatting: een pagina die alleen aan de sitemap hangt of meerdere klikken diep staat, laat weinig zien van het feit dat je haar belangrijk vindt. Link haar vanaf geïndexeerde pagina’s over aanverwante onderwerpen, op een manier die bij de tekst past.
- Wacht en bekijk dan hetzelfde adres opnieuw. Voor deze status noemt Google geen tijd. De algemene uitspraken gaan over crawlen: “It can take a week or so” voor een nieuwe pagina of site, en indexering “is never instant”. Onze lezing: kijk na enkele dagen opnieuw, niet elk uur. Googles help raadt aan alleen na een belangrijke wijziging een nieuwe crawl aan te vragen die Google al “a week or more”, dus een week of langer, niet heeft opgemerkt. Daarvoor moet je eigenaar of volledige gebruiker van de property zijn, en er geldt een quotum.
Bij controle 2: het eerste commando toont de statuscode en het eindadres na omleidingen, het tweede een eventuele X-Robots-Tag-header. Goed is een 200 en geen headerregel:
curl -s -L -o /dev/null -w "%{http_code} %{url_effective}\n" https://jouw-site.example/jouw-pagina
curl -s -D - -o /dev/null https://jouw-site.example/jouw-pagina | grep -i x-robots-tag
Gevonden – momenteel niet geïndexeerd: de naburige status
De twee statussen staan in het rapport naast elkaar:
| Status in Search Console | Googles beschrijving | Wat het betekent |
|---|---|---|
| Gecrawld – momenteel niet geïndexeerd | “The page was crawled by Google but not indexed.” | Google heeft de pagina gelezen en buiten de index gelaten. |
| Gevonden – momenteel niet geïndexeerd | “The page was found by Google, but not crawled yet.” | Google kent het adres maar heeft het nog niet opgehaald. De datum van de laatste crawl is leeg. |
Bij “Gevonden” noemt Google een typische reden: het wilde de URL crawlen, maar dat zou de site overbelasten (“wanted to crawl the URL but this was expected to overload the site”), en daarom heeft het de crawl verplaatst. De gids over crawlbudget rekent sites waarvan “a large portion” van de URL’s deze status draagt tot de sites voor wie hij is geschreven. Dat zijn grote websites: vanaf 1 miljoen unieke pagina’s met matig frequente (ongeveer wekelijkse) wijzigingen, of vanaf 10.000 pagina’s met zeer snel wisselende, dagelijks bijgewerkte inhoud. Google noemt de getallen een grove schatting (“a rough estimate”) en geen exacte drempels. Voor een website zonder veel snel wisselende pagina’s geldt volgens de gids: de sitemap actueel houden en het rapport Pagina-indexering regelmatig bekijken “is adequate”, dus volstaat.
Wat je op zo’n site kunt doen, is beperkt. Houd de server snel en stabiel: Google verlaagt zijn crawllimiet als een site trager wordt of antwoordt met serverfouten (5xx) of afremming (429). Houd de sitemap actueel en wacht dan af. Google heeft deze pagina’s nog niet opgehaald, dus de status zegt niets over hun inhoud.
Wat SEOgrinder laat zien, en wat niet
SEOgrinder is ons eigen hulpmiddel, wij bouwen het. Bij deze status:
- De gratis scan op seogrinder.com kan je rapport Pagina-indexering niet lezen. Hij maakt geen verbinding met je Search Console-account. In het tabblad “Google Zoeken” kun je de export van het prestatierapport uploaden (zoekopdrachten, pagina’s, klikken, vertoningen). Indexeringsstatussen staan niet in die gegevens.
- Een lokale installatie die met Search Console is verbonden, kan de URL-inspectie voor de gescande pagina opvragen en Googles antwoord in zijn eigen woorden tonen, als bevinding “Google heeft deze pagina niet in de index”. Het is een taak als de pagina gevonden moet worden (ze staat in je sitemap, is de homepage, of Search Console toonde vertoningen voor haar). Anders staat ze onder “Ter kennisgeving”.
- Controles in de buurt van de oorzaken waarop Google zinspeelt. De kaart “Indexering” in het tabblad “Pagina bij Google” toont of de pagina kan worden geïndexeerd en of de URL mag worden gecrawld. De websitedoorloop toont paginaparen die vrijwel identiek zijn, pagina’s met weinig tekst en pagina’s waar geen enkele interne link naartoe wijst. Dat zijn eigenschappen van je pagina’s. Of Google een pagina daarom heeft weggelaten, kan SEOgrinder niet zeggen, en Google zegt het niet.
Veelgemaakte fouten
- Het rapport naar nul jagen. Google schrijft dat niet-geïndexeerde URL’s prima kunnen zijn (“non-indexed URLs can be fine”). Alleen de belangrijke pagina’s moeten in de index staan.
- Steeds opnieuw indexering aanvragen. Googles pagina over crawlverzoeken zegt dat wie dezelfde URL herhaaldelijk aanmeldt, niet bereikt dat ze sneller wordt gecrawld (“won't get it crawled any faster”), en dat een verzoek niet garandeert dat opname “instantly or even at all” gebeurt. De pagina is al gecrawld; ze heeft een aanleiding nodig om anders te worden beoordeeld, geen herhaling van het verzoek.
- “Oplossing valideren” starten voor een status zonder oplossing. Volgens Google eindigt de validatie met “Mislukt” zodra het één resterende instantie vindt, en is het niet altijd zinvol om een specifiek probleem op te lossen en te valideren (“might not always make sense”). Onze lezing: voor deze status noemt Google niets om op te lossen, dus bij URL’s die haar nog dragen is een mislukte validatie het verwachte resultaat.
- De datum wijzigen om de pagina vers te laten lijken. Googles pagina over nuttige inhoud rekent het wijzigen van de datum van pagina’s om ze vers te laten lijken, terwijl de inhoud niet wezenlijk is veranderd, tot de waarschuwingssignalen.
- Eén pagina naar het formulier voor indexeringsproblemen sturen. Google verwijst er alleen naar bij een volledig, sitebreed probleem met indexering, nadat je mogelijke problemen volledig hebt gediagnosticeerd.
- De sitemap opnieuw indienen en een verandering verwachten. Een sitemap helpt Google adressen te ontdekken, maar deze pagina is al ontdekt en gecrawld.
Veelgestelde vragen
Is “Gecrawld – momenteel niet geïndexeerd” een straf?
Googles beschrijving noemt geen straf en geen handmatige actie. Ze noemt de melding gebruikelijk en zegt dat ze niet per se op een probleem wijst.
Waarom blijft een pagina wekenlang in deze status?
Google noemt voor deze status geen reden en geen tijdschema. Het zegt dat indexering “is never instant”, dus nooit direct gebeurt, en dat het niet garandeert dat alle pagina’s overal in zijn index komen. Onze lezing, niet Googles uitspraak: een pagina die niets toevoegt aan wat Google al heeft, kan buiten de index blijven.
Kan ik Google dwingen de pagina te indexeren?
Nee. “Indexering aanvragen” vraagt Google een adres te crawlen. Het is geen opdracht om het op te nemen.
Waarom is de validatie van deze status mislukt?
Omdat de validatie met “Mislukt” eindigt zodra Google één URL vindt die het probleem nog draagt, en Google voor deze status geen oplossing noemt. Beoordeel elke belangrijke pagina in plaats daarvan met de vijf controles hierboven.
Je volgende stap
Open het rapport Pagina-indexering, klik op de status en kies de twee of drie adressen die voor jou belangrijk zijn. Laat de gratis scan van SEOgrinder erover lopen en lees de kaart “Indexering” in het tabblad “Pagina bij Google”. Herstel wat rood is, klik op “Opnieuw controleren”, verbeter daarna wat de pagina zegt in vergelijking met haar geïndexeerde buren en link haar vanaf verwante pagina’s. Bekijk dezelfde adressen na een paar dagen opnieuw. Voor de rest van de technische basis gebruik je onze SEO-audit checklist.