Hallo, laut Google sollten einige Zeilen in robots.txt eingefügt werden: https://support.google.com/manufacturers/answer/7349854?hl=de In der "robots.txt" Datei die über den Shop erstellt wurde enthalten diese Zeile nicht. Ist es beabsichtigt? Danke für eine Antwort.
ok, hat also nicht mit den Fehlermeldungen: "Die mobile Seite kann aufgrund der Datei robots.txt nicht gecrawlt werden" "Die Desktop-Seite kann aufgrund der Datei robots.txt nicht gecrawlt werden" zu tun? Diese erhalte ich sei einiger Zeit bei google nd die Produkte werden deaktiviert nach und nach
Das scheint nur ein Fehler bei Google zu sein. Ich habe diese Fehler auch seit ca. 3-4 Wochen bei nur sehr wenigen Produkten. Dann klicke ich einfach auf "Problem behoben" und ohne wirklich etwas zu ändern, ist wieder alles gut.
Das was Google da als Lösung vorschlägt ist keine Lösung, sondern nur was wir sowieso schon in der robots.txt machen, nur anders. Wir haben im Master Update 4.8 eine andere Anpassung in der robots.txt vorgenommen, sodass du nach dem Update auf 4.8 die robots.txt neu generieren musst.
Wäre schön, wenn das auch so in der Installationsanleitung des Updates stünde. Da ist seit Jahren der Hinweis, man solle die robots.txt neu generieren, wenn der Shop in einem Unterverzeichnis liegt. Da dies bei mir nicht der Fall ist, fühle ich mich da nie angesprochen.
Hatte ich gemacht. Aber im Google Merchant Center erscheint (mit aktuellen Crawldatum) die beiden Meldungen "Die mobile Seite kann aufgrund der Datei robots.txt nicht gecrawlt werden" "Die Desktop-Seite kann aufgrund der Datei robots.txt nicht gecrawlt werden" und immer mehr Artikel werden abgelehnt. Habe ich die Lösung für die Problematik hier irgendwie überlesen?
@DOGS in the CITY Dann mach bitte ein Ticket auf, damit wir uns die robots.txt Datei ansehen können und nenne uns ein paar Beispiel URLs die von Google nicht aufgerufen werden können.
Könnte sein, dass ich weiß woran das liegt: Mit dem Google "robots-testing-tool" konnte ich sehen, dass die von Google "gesehene" robots.txt nicht die aktuelle von der Webeseite aus der 4.8.0.0 Installation ist. Dort gibt es auch die Möglichkeit einzelne Urls zu testen. Mit den ans Merchant-Center übergebenen Produkt-Urls mit den ?currency= Parameter und der alten robots.txt Version, die ein "Disallow: /*currency=*" Eintrag, kann die Url dann tatsächlich auch nicht gelesen werden. In dem Tool kann man Google auch eine aktualisiert robots.txt bekanntgeben. Gemacht, dann kann die Produkt-URL mit dem ?currency= Parameter auch gelesen werden. Vielleicht war es das ja, dann sollten die abgelehnten (aktuell 30%) wieder runtergehen. Wir werden sehen.
@DOGS in the CITY Ja, das könnte das Problem gewesen sein, die robots.txt muss übrigens nicht ins Shopverzeichnis, sondern is ROOT der Domain, wenn dein Shop also in einem Unterverzeichnis ist und über meineDomain.de/shop/ aufrufbar ist, muss die robots.txt eine Ebene höher damit Google diese robots.txt benutzt.
@Till (Gambio) Die Zahl der abgelehnten Artikel geht schon zurück. Ich kann mir aber irgendwie nicht vorstellen, dass Google beim crawlen nicht die vohandene, aktuelle robots.txt liest, sondern irgendwas, was die irgendwann mal von der Webseite gelesen haben. Nun ja, wenn es jetzt wieder läuft, auch egal.