[Gelöst] Fehler in allen Cloud-Shops - Problem mit robots.txt

Thema wurde von Anonymous, 22. März 2024 erstellt.

  1. Anonymous
    Anonymous Erfahrener Benutzer
    Registriert seit:
    11. Juli 2021
    Beiträge:
    455
    Danke erhalten:
    215
    Danke vergeben:
    166
    #1 Anonymous, 22. März 2024
    Zuletzt bearbeitet: 22. März 2024
    Hallo zusammen,

    ich habe soeben zufällig im Google Page Speed festgestellt, dass Google folgende Fehlermeldung ausspuckt:

    robots.txt ist ungültig
    Lighthouse konnte keine robots.txt-Datei herunterladen

    Wenn deine robots.txt-Datei fehlerhaft ist, können Crawler möglicherweise nicht nachvollziehen, wie deine Website gecrawlt oder indexiert werden soll.

    Ich habe keine relevanten Änderungen vorgenommen, welche den Fehler hätten verursachen können. Deswegen habe ich mal andere Cloudshops gecheckt und in jedem Cloudshop wird der gleiche Fehler ausgegeben.

    Ticket wird gleich erstellt.

    Edit:
    Datei neu erstellt, Caches geleert, Problem besteht weiterhin

    Seltsam ist, dass ich die Datei ganz normal abrufen kann.
    (Link nur für registrierte Nutzer sichtbar.) funktioniert.
     
  2. Anonymous
    Anonymous Administrator
    Mitarbeiter
    Registriert seit:
    26. April 2011
    Beiträge:
    1.954
    Danke erhalten:
    1.588
    Danke vergeben:
    339
    @O.C. Ich habe gerade ein paar Cloud Shops mit dem Lighthouse Plugin in Browser geprüft und dort keinerlei Probleme mit der robots.txt gefunden. Bitte prüfe das mit mehreren Tools gegen und schaue bitte auch andere Tools an die die Gültigkeit der robots.txt prüfen können. Bitte führe mehrere Test zu unterschiedlichen Zeiten durch.

    Auch Google ist nicht unfehlbar, es kann sein, dass gecachte Daten ausliefert werden und diese aber im nächsten Moment dann wieder aktualisiert werden und dann beim nächsten Test wieder alles in Ordnung ist.

    Ich habe heute z.B. in deinem Shop auch einen erneuten Test durchgeführt und keine Probleme mit der robots.txt gefunden.
     
  3. Anonymous
    Anonymous Erfahrener Benutzer
    Registriert seit:
    18. August 2021
    Beiträge:
    662
    Danke erhalten:
    92
    Danke vergeben:
    273
    #3 Anonymous, 23. März 2024
    Zuletzt bearbeitet: 24. März 2024
    selfhostet

    Ich hatte gestern auch diesen Fehlerhinweis von Google beim Page Speed Test, obwohl ich nichts an der robots.txt geändert hatte.

    Daraufhin habe ich die robots.txt neu generiert und geladen.

    Dann ging es nach einer Weile wieder und ich dachte, es lag wirklich an dieser Datei.

    Insofern schließe ich jetzt aber daraus, unter Kenntnisnahme obiger Beiträge, dass das ein Google Problem war.

    Zumal es sich hier einmal um einen Cloud Shop und bei mir um einen selfhostet Shop handelt.