Webmaster und Seitenbetreiber stoßen beim Blick in den Abdeckungsbericht der Google Search Console häufig auf den Hinweis „Gecrawlt, derzeit nicht indexiert“. Nicht-indexierte Seiten tauchen bei einer Suchanfrage durch Nutzer jedoch nicht in der Google-Ergebnisliste auf. Denn: ohne Indexierung kein Ranking. Sie sollten deshalb versuchen, die Anzahl Ihrer nicht-indexierten Webseiten so niedrig wie möglich zu halten. Was verbirgt sich hinter dem Hinweis und was können Sie selbst unternehmen, um Ihre Webseite indexieren zu lassen?
Früher firmierte die Google Search Console unter der Bezeichnung Google Webmaster Tools. Damals wie heute handelt es sich um ein Analyse- und Servicetool für Professionals, die sich mit Webseiten beschäftigen – vor allem Webmaster. Die Google Search Console ist kostenlos und soll Seitenbetreibern bei der Sichtbarmachung und Optimierung von Webseiten helfen. Google hat selbst ein großes Interesse daran, dass Webseiten fehlerlos funktionieren. Daher kann die Search Console letztlich als kostenloses Qualitätssicherungstool verstanden und eingesetzt werden. Neben den zwei – im Kontext dieses Blogartikels wichtigen – Statusmeldungen „Gecrawlt, derzeit nicht indexiert“ und „Gefunden, derzeit nicht indexiert“ liefert Ihnen die Search Console viele weitere Informationen und Tools:
Google indexiert Seiten stets nach dem gleichen Ablaufschema: Discovery, Crawling, Indexierung. Discovery bedeutet: Der Googlebot durchforstet permanent das Internet. Er inspiziert Inhalte, sammelt Informationen, analysiert Daten und lädt diese herunter. Innerhalb von Webseiten crawlt der Bot von Hyperlink zu Hyperlink. Auf diese Weise erhält er die notwendigen Informationen für die anstehende Indexierung. Sobald eine Webseite indexiert ist, wird sie zu einem Teil des Google-Indexes. Sie kann dann – und nur dann – bei Suchanfragen gefunden und ausgespielt werden.
Aus dem oben skizzierten Ablaufschema erklärt sich im Prinzip der Unterschied zwischen den zwei Meldungen „Gefunden, derzeit nicht indexiert“ und „Gecrawlt, derzeit nicht indexiert“. Eine gefundene, aber nicht indexierte Seite wurde von Google zwar gefunden, aber noch nicht gecrawlt und erst recht nicht in den Index aufgenommen. Oft ist bei diesem Hinweis das momentane Crawling Budget der Seite aufgebraucht und Google unternimmt später automatisch einen weiteren Versuch, die Seite zu crawlen und zu indexieren. Beim zweiten Hinweis wurde die Seite sowohl gefunden als auch gecrawlt, aber trotzdem noch nicht in den Index integriert. Die Gründe dafür können vielseitig sein. Im Verlauf gehen wir darauf näher ein.
Die zeitlichen und technischen Ressourcen von Google sind entgegen der Annahme mancher User keineswegs grenzenlos. Google benötigt generell eine gewisse Zeit, um eine Webseite zu indexieren. Deshalb ist es völlig normal, wenn manche Ihrer Webseiten nicht indexiert sind. Gerade bei großen Domains mit vielen Hunderten oder gar Tausenden Unterseiten kann es vorkommen, dass im Abdeckungsbericht zahlreiche nicht-indexierte Seiten auftauchen. Häufig ist dann nur ein wenig Geduld gefragt.
Je nach dem Umfang Ihrer Domain sollte die Indexierungsrate Ihrer Webseite zwischen 90 und 95 % liegen. Nicht jede Seite muss direkt nach ihrer Erstellung indexiert sein. Wichtig ist nur, dass alle relevanten URLs Ihrer Webseite indexiert sind. Durch ein kontinuierliches SEO Monitoring stellen Sie sicher, dass dies der Fall ist. Damit Ihre Seite für den Googlebot gut crawlbar ist, sollten Sie auf eine logische und saubere Seitenarchitektur achten. Kurze und handliche URLs sind dabei ebenso essenziell wie korrekte interne Verlinkungen.
Welche Seiten Google indexiert und welche nicht, hängt maßgeblich von der Qualität und der Relevanz der jeweiligen Seite ab. Googles eigener Webmaster Trend Analyst John Mueller verweist regelmäßig darauf, dass fehlender Mehrwert der Hauptgrund für eine Nicht-Indexierung sei. Technische Ursachen seien laut Mueller hingegen eher selten schuld an der unerfreulichen Statusmeldung „Gecrawlt, zurzeit nicht indexiert“.
Unabhängig von der – nicht ganz unvoreingenommenen – Aussage Muellers nennen wir Ihnen an dieser Stelle die fünf häufigsten und typischsten Gründe dafür, dass eine Webseite in der Search Console als nicht-indexiert gemeldet wird:
Selbst wenn eine Seite nach einer manuellen Einreichung doch indexiert wird, ist die Qualität der betreffenden Seite nicht automatisch gut. Im Gegenteil: Das Grundproblem bleibt meistens bestehen. In diesem Fall sollten Sie unbedingt daran denken, minderwertige Webseiten Schritt für Schritt zu optimieren. Etwa durch Kürzung von URLs, Verbesserung der Webseitengeschwindigkeit, Hinzufügen eines Blogs, holistischen Content, https-Verschlüsselung, intuitive Informationsarchitektur, Keywordoptimierung und Mobilfreundlichkeit. Dadurch steigern Sie langfristig den Anteil jener Seiten, die indexiert sind. Bis Sie schließlich die angestrebten 95 % erreicht haben.
Natürlich ist man als Webmaster angesichts einer hohen Zahl an URLs mit dem Status „Gecrawlt, zurzeit nicht indexiert“ oder „Gefunden, zurzeit nicht indexiert“ zunächst irritiert. Fasst man den Hinweis jedoch als berechtigte Kritik auf, ergeben sich daraus viele Möglichkeiten und Anregungen. Man macht sich Gedanken über die eigene Seite und verbessert Punkte, die bisher nicht gut liefen. Sie sollten deshalb regelmäßig die eigenen Webseiten kritisch aus allen Blickwinkeln betrachten – nicht zuletzt, damit Google Ihre Domain mitsamt allen Unterseiten zuverlässig indexiert.