Gecrawlt – zurzeit nicht indexiert: Was es heißt, was du tust

Von SEOgrinder · Veröffentlicht · 9 Min. Lesezeit

Kurzantwort: „Gecrawlt – zurzeit nicht indexiert“ heißt: Google hat die Seite abgerufen, aber nicht in seinen Index aufgenommen. Google nennt das „a common message for many sites“, also eine häufige Meldung, die nicht unbedingt auf ein Problem hinweist; zuerst fragst du dich daher, ob die Seite wichtig ist. Wenn ja, schließe Blockaden aus, vergleiche sie mit deinen indexierten Seiten, warte und sieh dann noch einmal nach: Einen Knopf, der Indexierung erzwingt, gibt es nicht, und einen Grund für diesen Status nennt Google nicht.

Was heißt „Gecrawlt – zurzeit nicht indexiert“?

Der Bericht zur Seitenindexierung in der Search Console ordnet jede Adresse, die Google kennt, in „Indexiert“ oder „Nicht indexiert“ ein. In der Tabelle „Warum Seiten nicht indexiert werden“ steht bei diesem Status Googles eigene Beschreibung: „The page was crawled by Google but not indexed.“ Die Seite wurde also von Google gecrawlt, aber nicht indexiert. Den vollständigen Text findest du in der Hilfe zum Bericht zur Seitenindexierung. Er hat zwei Hälften:

  • Gecrawlt: Google hat die Seite angefordert und erhalten.
  • Nicht indexiert: Google hat sie nicht in seinen Index übernommen, sie kann also in den Suchergebnissen nicht erscheinen.

Für eine einzelne Adresse zeigt die URL-Prüfung „URL ist nicht auf Google“ und nennt den Grund im Abschnitt „Seitenindexierung“.

Googles Beschreibung ist kurz. Sie nennt die Meldung häufig, erwähnt keine Strafe und nennt keine Ursache. Googles Leitfaden zum Crawl-Budget hält die allgemeine Regel fest: „not every page that is crawled will necessarily be indexed“, nicht jede gecrawlte Seite wird also zwingend indexiert. Nach dem Crawlen werde jede Seite bewertet, konsolidiert und auf ihre Eignung für den Index beurteilt („evaluated, consolidated, and assessed“). An welcher dieser Stellen deine Seite hängen geblieben ist, sagt Google nicht.

Ist die Seite wichtig? Entscheide, bevor du etwas behebst

Die Hilfe zum Bericht ist deutlich: „Don't expect every URL on your site to be indexed. Some URLs might be duplicates or might not contain meaningful information.“ Nicht jede Adresse muss also im Index stehen; zählen müssen die wichtigen Seiten. Sortiere deine Adressen deshalb zuerst:

Deine SeiteWas du tust
Eine Variante, die du nie in der Suche haben wolltest, etwa eine gefilterte oder sortierte Liste oder ein DuplikatMeist nichts. Google zählt Duplikate und Filtervarianten zu den Seiten, die es nicht indexiert.
Eine wichtige Seite: eine Leistung, ein Produkt, ein Artikel, der gefunden werden sollGeh die fünf Prüfungen unten durch.
Viele Seiten gleichzeitig mit diesem StatusSuch, was die Adressen gemeinsam haben, etwa einen Ordner oder eine Vorlage. Behebe das, nicht jede Seite einzeln.

Hat deine Website weniger als 500 Seiten, brauchst du den Bericht laut Google wahrscheinlich gar nicht. Eine Suche nach site: und der genauen Adresse, zum Beispiel site:https://deine-seite.example/deine-seite, zeigt dir, ob eine wichtige Seite indexiert ist.

Gecrawlt – zurzeit nicht indexiert: fünf Prüfungen für eine wichtige Seite

Google nennt für diesen Status keine Ursache. Die Prüfungen stützen sich deshalb auf das, was Google dokumentiert, und auf unsere eigene Einschätzung. Die zweite Sorte kennzeichnen wir.

  1. Gespeichertes Ergebnis lesen, dann den Live-Test machen. Lies in der URL-Prüfung den Abschnitt „Seitenindexierung“. Er ist eine Momentaufnahme: Laut Hilfe zur URL-Prüfung ist das „not a live test“, und die Seite „may have changed or become unavailable since Google last saw it“, kann sich seither also geändert haben. Wähle dann „Live-URL testen“ und öffne „Getestete Seite anzeigen“, um zu sehen, wie Google die Seite darstellt. Zeigt der Live-Test einen Fehler oder eine leere Seite, behebe das zuerst. Ein sauberer Live-Test ist aber kein Freispruch: Er prüft laut Google nicht alle möglichen Indexierungsprobleme („does not test for all possible indexing issues“), darunter ob die Seite ein Duplikat ist.
  2. Blockaden trotzdem ausschließen. Googles technische Anforderungen nennen drei: Der Googlebot ist nicht gesperrt, die Seite antwortet mit HTTP 200, und sie hat indexierbare Inhalte. Sind sie erfüllt, heißt das nicht, dass die Seite indexiert wird: „indexing isn't guaranteed“. Die Search Console meldet ein noindex-Tag, eine robots.txt-Sperre, einen Soft-404 und eine Weiterleitung unter eigenen Status; unsere Lesart: Sie stecken meist nicht hinter diesem. Prüfe sie trotzdem, denn der gespeicherte Status kann älter sein als deine letzte Änderung. Unser Artikel zu einer Website, die nicht bei Google angezeigt wird, geht diese Blockaden durch; unter der Liste stehen zwei Befehle für den schnellen Blick.
  3. Mit den indexierten Seiten vergleichen. Google indexiert nach eigener Aussage keine Duplikate einer Seite, und manche URLs „might not contain meaningful information“, enthalten also womöglich keine relevanten Informationen. Unsere Einschätzung, nicht Googles: Leg die Seite neben die indexierte Seite zum selben Thema und frag, was sie ergänzt. Beantworten zwei Seiten dieselbe Frage, führe sie zusammen und leite die schwächere Adresse per 301 auf die stärkere um. Besteht eine Seite kaum aus mehr als einer Überschrift und einer Vorlage, gib ihr echten Inhalt oder nimm hin, dass sie draußen bleibt.
  4. Von verwandten, indexierten Seiten verlinken. Unsere Einschätzung: Eine Seite, die nur an der Sitemap hängt oder mehrere Klicks tief liegt, zeigt wenig davon, dass du sie für wichtig hältst. Verlinke sie von indexierten Seiten zu benachbarten Themen, so, dass es zum Text passt.
  5. Warten, dann dieselbe Adresse noch einmal ansehen. Für diesen Status nennt Google keine Zeit. Seine allgemeinen Angaben betreffen das Crawlen: „It can take a week or so“ bei einer neuen Seite oder Website, und Indexierung „is never instant“. Unsere Lesart: Sieh nach einigen Tagen noch einmal nach, nicht stündlich. Googles Hilfe rät, einen neuen Crawl nur nach einer wichtigen Änderung zu beantragen, die Google seit „a week or more“, also seit einer Woche oder länger, nicht bemerkt hat. Dafür musst du Inhaber oder vollständiger Nutzer der Property sein, und es gibt ein Kontingent.

Zu Prüfung 2: Dieser Befehl zeigt Statuscode und Endadresse nach Weiterleitungen, der zweite einen eventuellen Header X-Robots-Tag. Gut ist ein 200 und keine Header-Zeile:

curl -s -L -o /dev/null -w "%{http_code} %{url_effective}\n" https://deine-seite.example/deine-seite
curl -s -D - -o /dev/null https://deine-seite.example/deine-seite | grep -i x-robots-tag

Gefunden – zurzeit nicht indexiert: der Nachbarstatus

Die beiden Status stehen im Bericht nebeneinander:

Status in der Search ConsoleGoogles BeschreibungWas es heißt
Gecrawlt – zurzeit nicht indexiert„The page was crawled by Google but not indexed.“Google hat die Seite gelesen und draußen gelassen.
Gefunden – zurzeit nicht indexiert„The page was found by Google, but not crawled yet.“Google kennt die Adresse, hat sie aber noch nicht abgerufen. Das Datum des letzten Crawls ist leer.

Bei „Gefunden“ nennt Google einen typischen Grund: Es habe die URL crawlen wollen, aber das hätte die Website überlastet („expected to overload the site“), und deshalb den Abruf verschoben. Der Leitfaden zum Crawl-Budget zählt Websites, bei denen „a large portion“ der URLs diesen Status trägt, zu den Seiten, für die er geschrieben ist. Das sind große Websites: ab 1 Million eindeutiger Seiten mit mäßig häufigen (etwa wöchentlichen) Änderungen oder ab 10.000 Seiten mit sehr schnell wechselndem, täglich geändertem Inhalt. Google nennt die Zahlen eine grobe Schätzung („a rough estimate“) und keine genauen Schwellen. Für eine Website ohne viele schnell wechselnde Seiten gilt laut Leitfaden: Die Sitemap aktuell halten und den Bericht zur Seitenindexierung regelmäßig ansehen „is adequate“, also genügt.

Halte auf einer solchen Website den Server schnell und stabil: Google senkt sein Crawl-Limit, wenn eine Website langsamer wird oder mit Serverfehlern (5xx) oder Drosselung (429) antwortet. Halte die Sitemap aktuell und warte dann. Google hat diese Seiten noch nicht abgerufen, der Status sagt also nichts über ihren Inhalt.

Was SEOgrinder zeigt und was nicht

SEOgrinder ist unser Werkzeug, wir bauen es. Zu diesem Status:

  • Der kostenlose Scan auf seogrinder.com kann deinen Bericht zur Seitenindexierung nicht lesen. Er verbindet sich nicht mit deinem Search-Console-Konto. Im Reiter „Google-Suche“ kannst du den Export des Leistungsberichts hochladen (Suchanfragen, Seiten, Klicks, Impressionen). Indexierungsstatus stehen in diesen Daten nicht.
  • Eine lokale Installation mit verbundener Search Console kann die URL-Prüfung zur gescannten Seite abfragen und Googles Antwort im Originaltext zeigen, als Befund „Google führt diese Seite nicht im Index“. Es ist eine Aufgabe, wenn die Seite gefunden werden soll (sie steht in deiner Sitemap, ist die Startseite, oder die Search Console zeigte Impressionen für sie). Sonst erscheint der Befund unter „Zur Kenntnis“.
  • Prüfungen in der Nähe der Ursachen, auf die Google hindeutet. Die Karte „Indexierung“ im Reiter „Seite bei Google“ zeigt, ob die Seite indexiert werden kann und ob die URL gecrawlt werden darf. Der Website-Durchlauf listet Seitenpaare, die nahezu identisch sind, Seiten mit wenig Text und Seiten, auf die kein interner Link zeigt. Das sind Eigenschaften deiner Seiten. Ob Google eine Seite deswegen ausgelassen hat, kann SEOgrinder nicht sagen, und Google sagt es nicht.

Häufige Fehler

  • Den Bericht auf null jagen. Google schreibt, nicht indexierte URLs könnten in Ordnung sein („non-indexed URLs can be fine“). Nur die wichtigen Seiten müssen im Index stehen.
  • Immer wieder die Indexierung beantragen. Googles Seite zu Crawl-Anfragen sagt, wer dieselbe URL mehrfach anmeldet, erreiche nicht, dass sie schneller gecrawlt wird („won't get it crawled any faster“), und eine Anfrage garantiere nicht, dass die Aufnahme „instantly or even at all“ geschieht. Die Seite wurde schon gecrawlt; sie braucht einen Anlass, anders beurteilt zu werden, keine Wiederholung des Antrags.
  • „Fehlerbehebung überprüfen“ für einen Status ohne Fehlerbehebung starten. Laut Google endet die Überprüfung mit „Fehlgeschlagen“, sobald es eine einzige verbleibende Instanz findet, und es sei nicht immer sinnvoll, ein bestimmtes Problem zu beheben und prüfen zu lassen („might not always make sense“). Unsere Lesart: Für diesen Status nennt Google nichts zu beheben, URLs, die ihn noch tragen, lassen die Überprüfung also erwartbar scheitern.
  • Das Datum ändern, damit die Seite frisch wirkt. Googles Seite zu hilfreichen Inhalten zählt es zu den Warnzeichen, das Datum von Seiten zu ändern, damit sie frisch wirken, obwohl sich der Inhalt nicht wesentlich geändert hat.
  • Eine einzelne Seite an das Formular für Indexierungsprobleme schicken. Google verweist darauf nur bei einem vollständigen, websiteweiten Problem mit der Indexierung, nachdem du mögliche Probleme vollständig diagnostiziert hast.
  • Die Sitemap erneut einreichen und eine Änderung erwarten. Eine Sitemap hilft Google, Adressen zu entdecken; diese hier wurde aber schon entdeckt und gecrawlt.

FAQ

Ist „Gecrawlt – zurzeit nicht indexiert“ eine Strafe?

Googles Beschreibung erwähnt weder eine Strafe noch eine manuelle Maßnahme. Sie nennt die Meldung häufig und sagt, dass sie nicht unbedingt auf ein Problem hinweist.

Warum bleibt eine Seite wochenlang in diesem Status?

Google nennt für diesen Status weder einen Grund noch einen Zeitplan. Es sagt, Indexierung „is never instant“, und es garantiere nicht, dass alle Seiten überall in seinen Index kommen. Unsere Lesart, nicht Googles Aussage: Eine Seite, die dem nichts hinzufügt, was Google schon hat, kann draußen bleiben.

Kann ich Google zwingen, die Seite zu indexieren?

Nein. „Indexierung beantragen“ bittet Google, eine Adresse zu crawlen. Es ist keine Anweisung, sie aufzunehmen.

Warum ist die Überprüfung dieses Status fehlgeschlagen?

Weil die Überprüfung mit „Fehlgeschlagen“ endet, sobald Google eine URL findet, die das Problem noch trägt, und Google für diesen Status keine Fehlerbehebung nennt. Beurteile jede wichtige Seite stattdessen mit den fünf Prüfungen oben.

Dein nächster Schritt

Öffne den Bericht zur Seitenindexierung, klicke den Status an und such dir die zwei, drei Adressen heraus, die dir wichtig sind. Lass den kostenlosen Scan von SEOgrinder über sie laufen und lies die Karte „Indexierung“ im Reiter „Seite bei Google“. Behebe, was rot ist, drücke „Neu prüfen“, verbessere dann, was die Seite im Vergleich mit ihren indexierten Nachbarn sagt, und verlinke sie von verwandten Seiten. Sieh dir dieselben Adressen nach einigen Tagen noch einmal an. Ist die Seite ganz neu, hilft unser Artikel dazu, wie du eine Seite bei Google indexieren lässt.

Weitere Artikel