<- Zurück zum Glossar

Was bezeichnet man unter einer "Crawling Anomalie"?

Eine Crawling-Anomalie ist ein Fehler, der in der Google Search Console angezeigt wird und auf Probleme beim Crawling und Indexieren einer Website hinweist. Wenn Googlebot, der Crawler von Google, eine Website besucht, um deren Inhalte zu indexieren, erwartet er, dass bestimmte Seiten und Ressourcen zugänglich sind. Eine Crawling-Anomalie tritt auf, wenn der Crawler Probleme beim Zugriff auf diese Seiten und Ressourcen hat.

Es gibt verschiedene Arten von Crawling-Anomalien, die in der Search Console angezeigt werden können. Eine häufige Art ist die "Soft 404"-Anomalie. Dies tritt auf, wenn eine Seite den Statuscode "200 OK" zurückgibt, obwohl sie eigentlich nicht vorhanden ist. Der Crawler erwartet möglicherweise eine "404 Not Found"-Seite, um zu erkennen, dass die Seite nicht existiert. Wenn jedoch der Statuscode "200 OK" zurückgegeben wird, wird die Seite fälschlicherweise indexiert.

Eine andere Art von Crawling-Anomalie ist die "Access Denied"-Anomalie. Hierbei kann der Crawler nicht auf bestimmte Seiten oder Ressourcen zugreifen, da der Zugriff verweigert wird. Dies kann durch Fehler in der robots.txt-Datei oder durch Einschränkungen in der Serverkonfiguration verursacht werden. Wenn der Crawler nicht auf den Inhalt einer Seite zugreifen kann, wird diese Seite nicht in den Suchergebnissen angezeigt.

Weitere mögliche Ursachen für Crawling-Anomalien sind "Redirect-Errors", bei denen Weiterleitungen nicht ordnungsgemäß konfiguriert sind und zu Fehlern beim Crawling führen, sowie "URL-Errors", bei denen URLs ungültig sind oder auf nicht vorhandene Seiten verweisen. Solche Fehler können dazu führen, dass bestimmte Seiten nicht indexiert werden oder dass der Crawler die Website insgesamt nicht richtig durchsuchen kann.

Welche Auswirkungen können Crawling Anomalien auf die eigene Webseite haben?

Crawling-Anomalien können negative Auswirkungen auf die Sichtbarkeit einer Website in den Suchergebnissen haben. Wenn bestimmte Seiten nicht indexiert werden oder der Crawler nicht auf wichtige Inhalte zugreifen kann, werden diese Seiten in den Suchergebnissen nicht angezeigt. Dies kann dazu führen, dass potenzielle Besucher die Website nicht finden und der Traffic und die Sichtbarkeit der Website beeinträchtigt werden.

Um Crawling-Anomalien zu beheben, ist es wichtig, die Ursachen zu identifizieren und zu beheben. Dies kann die Überprüfung und Aktualisierung der robots.txt-Datei, die Korrektur von Weiterleitungen, die Überprüfung von URL-Strukturen und die Behebung von Serverkonfigurationsproblemen umfassen. Es ist auch ratsam, die Google Search Console regelmäßig zu überwachen, um Crawling-Anomalien zu erkennen und zu beheben.

Insgesamt ist eine Crawling-Anomalie ein Fehler, der auftritt, wenn der Googlebot Probleme beim Crawling und Indexieren einer Website hat. Indem man diese Fehler behebt, kann die Sichtbarkeit und Auffindbarkeit der Website in den Suchergebnissen verbessert werden. Es ist wichtig, die Google Search Console als Hilfsmittel zur Identifizierung und Behebung von Crawling-Anomalien zu nutzen, um eine optimale Präsenz in den Suchmaschinen zu gewährleisten.

Hands on - Wie kann ich Abdeckungsfehler in der Google Search Console beheben?

Im Bereich "Index -> Abdeckung" werden die Ergebnisse des kürzlichen Crawls der Sitemap.xml angezeigt. Hier werden Indexierungsprobleme aufgelistet. In unserem Beispiel haben wir 32 Fehler aufgrund desselben Problems.

In der darunter liegenden Tabelle finden Sie Details zum Crawling der Sitemap.xml. Die Validierung dieser URLs ist fehlgeschlagen, da bei 32 Seiten Crawling-Probleme festgestellt wurden.

Was ist ein Crawling-Problem? Ein Crawling-Problem tritt auf, wenn Google eine URL Ihrer Domain nicht indexiert. Es gibt verschiedene Gründe, die zu einer fehlenden Indexierung führen können. In unserem Fall erhalten wir die Meldung "Fehler: Crawling-Anomalie". Wir versuchen Google mit einer Sitemap mitzuteilen, welche Seiten wir im Google-Index haben möchten. Doch die Zeiten, in denen Google alles nach unseren Wünschen erledigt, sind vorbei. Googles KI ist sehr intelligent geworden. Der Algorithmus lernt kontinuierlich. In unserem Beitrag gehen wir genauer auf die häufigsten Crawling-Anomalien ein.

Wie erkenne ich Crawling-Anomalien in der Search Console?

Durch Klick auf die fehlerhafte URL gelangen wir zum Bereich "Abdeckung -> Gesendete URL hat Crawling-Problem". Hier haben wir zwei Möglichkeiten:

1. URL prüfen
2. Blockierung durch Robots.txt prüfen

Blockierung durch Robots.txt prüfen: Bei der Überprüfung der Blockierung durch die Robots.txt-Datei findet man oft einen Befehl, der die Indexierung blockiert. Heutzutage ist das Hinterlegen dieser Datei nicht mehr unbedingt erforderlich, da die meisten SEO-Tools oder Plugins eigene Regeln aufstellen, die nicht in einer Datei gespeichert werden. Alternativ kann das Hinzufügen eines Meta-Tags mit dem Namen "Robots" verwendet werden, um bestimmte Seiten gezielt aus dem Index zu entfernen.

Durch Klick auf "URL prüfen" gelangen Sie zur manuellen Prüfung der einzelnen URL. Dabei werden Echtzeitinformationen aus dem Google-Index abgerufen und Ihnen zur Verfügung gestellt. Im nächsten Schritt erfahren Sie mehr über die Indexierung der URL.

Prüfung der einzelnen URL zur Fehlerbeseitigung: Die Informationen der Search Console dienen dazu, Fehler auf Ihrer Website zu korrigieren, um eine ordnungsgemäße Indexierung zu ermöglichen. Ohne Indexierung gibt es keine gute Platzierung in den Suchmaschinen. Es ist wichtig, schnell zu handeln, damit Besucher nicht ausbleiben, weil Ihre Website in Google nicht auftaucht.

URL ist nicht auf Google indexiert - Indexierungsfehler: Die obere Tabelle zeigt an, dass Google den Fehler erkannt hat.

Abdeckungsfehler - Crawling-Anomalie: Die detaillierten Informationen aus diesem Screenshot zeigen wichtige Details:

• Ist die Sitemap korrekt? Unser System übermittelt die fehlerhafte URL in dem Glauben, dass alles in Ordnung ist.
• Wann wurde zuletzt gecrawlt? Haben Sie in der Zwischenzeit Änderungen an der Webseite vorgenommen, die zu dieser Fehlindexierung führen könnten?
• Welcher Googlebot hat gecrawlt? In diesem Beispiel handelt es sich um den Googlebot für Smartphones.
• Wichtiger Punkt: Der Fehler könnte in einem Detail stecken, das nur die mobile Ansicht betrifft.
• Ist Crawling erlaubt? Dies ist eine weitere Möglichkeit, ein "noindex" auszuschließen. Über Plugins oder Erweiterungen können für bestimmte URLs, die gesamte Seite oder ein bestimmtes Verzeichnis Regeln festgelegt werden, um sie vom Index auszuschließen.

Fehler: Crawling-Anomalie - mögliche Ursachen:

Bei unseren Recherchen und anhand von Beispielen haben wir zahlreiche Möglichkeiten gefunden, die zu einer Crawling-Anomalie führen können. Wir müssen zugeben, dass wir teilweise beeindruckt und gleichzeitig erschrocken sind über die Intelligenz der Google-KI und des Algorithmus. Durch neueste Technologien erkennt Google Fehler, die für uns keine sind. Doch das Motto von Google lautet: Die Benutzererfahrung steht im Vordergrund. Aktuell hat sie höchste Priorität, da die verursachenden Fehler alle dazu führen, dass die Benutzer eine schlechte Erfahrung haben. Folgende mögliche Fehler sollten überprüft werden:

• Fehlende Meta-Tags: Meta-Tags (Title und Description) sind wichtig, um in Suchmaschinen präsent zu sein.


• Fehlende Hintergrundbilder: Achten Sie darauf, dass Bilder, die über Page-Builder oder Composer eingebettet sind, für die mobile Version der Website angepasst sind.


• Fehlerhafte HTML-Code-Elemente: Überprüfen Sie, ob Elemente im HTML-Code Fehler verursachen.


• Fehlerhafte Links im Inhalt: Stellen Sie sicher, dass Verlinkungen nicht auf 404-Fehlerseiten führen und keine fehlerhaften Elemente enthalten, da dies zu einer Ablehnung der Indexierung führen kann.


• Soft-404-Fehler: Achten Sie darauf, dass eine Weiterleitung nicht mehr existierender URLs zu den richtigen URLs (301 Redirect) führt. Google erkennt dies als Soft-404-Fehler und indexiert Ihre Seite dadurch nicht.

Blockierte IP-Adressen von Google Crawler?

Wenn Sie ein Sicherheits-Plugin verwenden, um Hacker abzuwehren, ist es wichtig, die blockierten IP-Adressen zu überprüfen. Auch Google unternimmt manchmal mehrere Crawling-Versuche bei der Neuindexierung. Das Sicherheits-Plugin könnte diese Versuche jedoch als verdächtig einstufen und den Zugriff auf die Website blockieren. Dadurch können auch die IP-Adressen von Google gesperrt werden, was zu einer Crawling-Anomalie in der Search Console führt.

Unser Tipp: Bevor Sie sich stundenlang den Kopf zerbrechen und alle möglichen Szenarien durchspielen, empfehlen wir Ihnen einen einfachen Schritt, der zu 90% zur Lösung dieses Fehlers führen wird. Gehen Sie wie folgt vor:

• Klicken Sie mit der rechten Maustaste im Browserfenster.
• Wählen Sie "Untersuchen" aus.
• Überprüfen Sie die Fehlermeldungen in den Elementen mit dem roten X, die auf Fehler auf der Webseite hinweisen (beheben Sie diese schnellstmöglich).
• Achten Sie auf Hinweise in den Elementen mit dem gelben Ausrufezeichen.

Und wenn Sie sich fragen, warum alles korrekt zu sein scheint, achten Sie darauf, wann Sie die URL zuletzt aktualisiert haben. Wenn Sie beispielsweise seit Monaten keine Änderungen am Inhalt vorgenommen haben, wird Google Ihre URL möglicherweise nicht erneut indexieren. Aktualisieren Sie die URL, erweitern Sie sie am besten mit relevantem Inhalt und nutzen Sie die Chance auf eine erneute Indexierung.

Fazit: Die Behebung von Crawling-Anomalien ist keine Hexerei. Im Grunde genommen kann man die Sichtweise und Vorgehensweise von Google gut nachvollziehen. Angesichts der exponentiell steigenden Anzahl von Domains, die bei Google gerankt werden möchten, muss Google filtern, welche Websites ihre Hausaufgaben gemacht haben und welche nicht. Websites von schlechter Qualität und mit Fehlern werden einfach ausgeschlossen oder ihre Crawling-Rate wird begrenzt. Viel Erfolg bei der Verbesserung Ihrer Webseite! :)