Wenn ich bei Google Webmaster Tools "Crawling Fehler" aufrufe, habe ich mehrere Tausend Einträge mit dem Hinweis - URL durch "robots.txt" eingeschränkt - . Ist das okay oder ist meine robot.txt nicht i.o.?
Hallo ! Ich habe das gleiche Problem ! Bei mir ebenfalls meherere tausend Seiten ! Das soll o.k. sein ??? Das finde ich aber doch mehr als irritierend. Kann mir nicht vorstellen, dass das in Ordnung ist. Kann vielleicht mal jemand vom Gambio-Team sich dazu äussern oder wenigstens ein sehr erfahrener User ! Danke ! MfG
Das hätte ich auch geantwortet. Das liegt auch an den ganzen Session Ids, oder (Disallow: /*XTCsid*)? - Ich habe nur vor kurzem etwas von dem canontial Tag (oder so ähnlich) gelesen. Könnte das nicht Abhilfe schaffen? D.h. auf jeder Seite dieses Tag hinzufügen, dann sollte der "Disallow: /*XTCsid*" Part doch aus der Robots.txt entfernt werden können? Oder habe ich da was falsch verstanden? :\ Würde wahrscheinlich aber auch keinen Mehrwert bringen. Naja, egal
Ich habe dazu gerade einen Beitrag aus dem offiziellen Google Forum gelesen: "..eine Blockierung per robots.txt ist im Rahmen von Duplicate Content eher nicht zu empfehlen, weil so ja die inhalte gar nicht gecrawlt werden können und so das Erkennen von Duplikaten erschwert wird (und auch z. B. ein vorhandenes Canonical-Tag nicht gefunden wird). Besser wäre hier, die robots.txt-Sperre aufzuheben und stattdessen z. B. mit der Parameter-Behandlung in den Webmaster-Tools und dem Cacnonica-Tag zu arbeiten."