Zunahme von Soft-404 Fehlern und unregelmäßige Crawling-Statistik

Thema wurde von Martin L., 23. Mai 2018 erstellt.

  1. Martin L.

    Martin L. Erfahrener Benutzer

    Registriert seit:
    24. September 2013
    Beiträge:
    118
    Danke erhalten:
    3
    Danke vergeben:
    65
    Hallo zusammen,

    mir fallen derzeit einige Dinge in unserer Search Console auf, die mir Sorgen bereiten. Seit Anfang des Jahres konnten wir eine extrem positive Entwicklung unseres SEOs beobachten. Seit Anfang Mai ist diese Entwicklung jedoch etwas rückläufig. Daher vermute ich, dass das mit den folgenden Punkten zu tun haben könnte:


    1) Zunahme von Soft-404 Fehlern

    Je nachdem ob man die alte oder die neue Search Console zu Rate zieht, tauchen seit Mitte April bzw. Anfang Mai um die 60 bis 70 Soft 404 Fehler auf. Dabei handelt es sich in der Regel um URLs von relativ neuen Artikeln, die aber ganz normal im Shop aufrufbar sind, einen 200er Status melden und auch nicht durch die robots.txt blockiert sind. Beim Prüfen der Fehler habe ich diese dann in der Search Console als korrigiert markiert, jedoch kommen sie trotzdem immer wieder und es werden stetig mehr.

    Beispiele:
    (Link nur für registrierte Nutzer sichtbar.)
    (Link nur für registrierte Nutzer sichtbar.)
    (Link nur für registrierte Nutzer sichtbar.)


    2) Crawling-Statistik: Zunahme / Schwankung pro Tag gecrawlte Seiten

    Die Anzahl der pro Tag gecrawlten Seiten steigt seit März stark an - von anfangs 1.000 bis 2.000 Seiten, auf Spitzenwerte von bis zu 16.000 Seiten. Momentan ist es wieder weniger geworden (5.000 - 7.000). Können diese starken Schwankungen der Indikator für ein technisches Problem sein?

    upload_2018-5-23_15-41-29.png
    Die einzige größere Anpassung auf Artikel-Ebene war bei uns die Umstellung von Artikel-Attributen auf Artikel-Eigenschaften. Aber da das keine Auswirkung auf die URLs hat, kann ich mir hier keinen Zusammenhang erklären.


    Hat jmd. eine Idee, was die Probleme verursacht?

    Viele Grüße
     
  2. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    30.984
    Danke erhalten:
    6.097
    Danke vergeben:
    1.079
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    könnte es sein das euer hoster den google bot ausbremst wenn der zu viel auf einmal anfragt?
    oder das der euren Server überlastet durch zu viele anfragen und daher die 404 kommen?
     
  3. Martin L.

    Martin L. Erfahrener Benutzer

    Registriert seit:
    24. September 2013
    Beiträge:
    118
    Danke erhalten:
    3
    Danke vergeben:
    65
    Vielen Dank für den Tipp. Ich werde das einmal bei unserem Hoster in Erfahrung bringen.
     
  4. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.831
    Danke erhalten:
    1.122
    Danke vergeben:
    947
    Oder gibt es eine neue Bot-Version, die das Crawlen von Seiten mit gemischtem Inhalt ablehnt?

    (Link nur für registrierte Nutzer sichtbar.)

    Fällt mir nur gerade auf, dass alle Seiten die du als Beispiele anführst, zwar SSL-verschlüsselt sind aber auch unsichere Elemente enthalten.
     
  5. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.831
    Danke erhalten:
    1.122
    Danke vergeben:
    947
    Dies hier in der Artikelbeschreibung ist per http statt https eingebunden:
    (Link nur für registrierte Nutzer sichtbar.)
     
  6. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    30.984
    Danke erhalten:
    6.097
    Danke vergeben:
    1.079
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    stimmt, gar nicht gemerkt
    und bilder sollte man generell nen vernünftigen Namen geben damit google weiß was drauf ist (Bilder-SEO)
     
  7. Martin L.

    Martin L. Erfahrener Benutzer

    Registriert seit:
    24. September 2013
    Beiträge:
    118
    Danke erhalten:
    3
    Danke vergeben:
    65
    Ok, ich danke euch für den Hinweis. Das http Problem bei dem Bild betrifft aber auch andere Artikel und bei denen tritt kein Soft-404 Fehler auf. Von daher denke ich eher nicht, dass es daran liegt. Aber ich werde es auf jeden Fall mal testen.

    @Dennis: Mit der Bild-Benennung hast du natürlich recht :)
     
  8. KlausK

    KlausK Erfahrener Benutzer

    Registriert seit:
    7. Oktober 2012
    Beiträge:
    547
    Danke erhalten:
    106
    Danke vergeben:
    21
    Achte mal darauf worüber die vermeintlichen 404er verlinkt sind. Sind es vielleicht fehlerhafte Links in deinen Produktbeschreibungen zu anderen Artikeln? Oder verwendest du vielleicht noch eine alte Sitemap?
    Es lohnt sich immer, sich auch den Reiter "Verlinkt über" anzuschauen. Da stehen manchmal uralte Dinger drin!

    Trotzdem darf man das nicht überbewerten. 60-70 Soft 404er sind nichts besonderes wenn man mehrere tausend Seiten im Index hat. Wenn da morgen plötzlich 1.000 Seiten mit 404 stehen, dann ist das was anderes.
     
  9. #9 Teefax, 25. Mai 2018
    Zuletzt von einem Moderator bearbeitet: 25. Mai 2018
    @Fahrrad-Sale
    Da hat sich ein Bild "verfangen" bzw. ist versteckt zu "sehen". Nämlich dieses:
    Unbenannt1.jpg
    Ist unter http://www.fahrrad-sale.de/images/Unbenannt1.jpg ohne https, dies erklärt uU. dass folgende Seite als unsicher (ohne grünes Schlosssymbol in der URL Adresszeile) erscheint. Gefunden habe ich es hier -> https://www.fahrrad-sale.de/Fahrrad/Cityfahrrad/Damen-26/flyke-1949-7g-mint-2287.html unter "Rahmenhöhenberater" wenn man auf folgendes Bild: rahmenhoehe_zeichnung.png
    ...mit der Maus -> rechtsklick (Firefox) Grafik Info anschaut. Dort hat es auch andere Grafiken, aber das hier ganz oben erwähnte Bild sticht besonders heraus.
    Und da Google alle Webseiten ohne Verschlüsselung komplett ignoriert (relativ neu) kann es sein dass Google die Seiten gleich als 404er Seiten deklariert.
    Ich denke du solltest zuerst bei den Bildern aufräumen. ;)
     
  10. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    30.984
    Danke erhalten:
    6.097
    Danke vergeben:
    1.079
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    SSL sollte man generell ordnung halten und am Besten daher Bilder nicht mit domainpfad sondern als rel. pfad ab domain anlegen.
    also nur das hinter der Domain also /images/blablabild1
    dann hast auch mal bei nem domain wechsel oder eben ssl wechsel nicht so elend viel arbeit zum nacharbeiten :)
     
  11. Martin L.

    Martin L. Erfahrener Benutzer

    Registriert seit:
    24. September 2013
    Beiträge:
    118
    Danke erhalten:
    3
    Danke vergeben:
    65
    Super, vielen Dank für die ganzen Tipps :) Wir werden uns das alles nächste Woche mal vornehmen.