Google Crawling Fehler - URL durch "robots.txt" eingeschränkt

Thema wurde von Chris :-), 8. Juli 2011 erstellt.

  1. Chris :-)

    Chris :-) Erfahrener Benutzer

    Registriert seit:
    8. Juli 2011
    Beiträge:
    383
    Danke erhalten:
    21
    Danke vergeben:
    38
    Wenn ich bei Google Webmaster Tools "Crawling Fehler" aufrufe, habe ich mehrere Tausend Einträge mit dem Hinweis - URL durch "robots.txt" eingeschränkt - .
    Ist das okay oder ist meine robot.txt nicht i.o.?
     
  2. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    9. Juli 2011
    Beiträge:
    167
    Danke erhalten:
    25
    Danke vergeben:
    77
    das ist OK
     
  3. Petruschka

    Petruschka Erfahrener Benutzer

    Registriert seit:
    22. Juli 2011
    Beiträge:
    65
    Danke erhalten:
    4
    Danke vergeben:
    1
    Hallo !

    Ich habe das gleiche Problem !

    Bei mir ebenfalls meherere tausend Seiten !

    Das soll o.k. sein ???
    Das finde ich aber doch mehr als irritierend.
    Kann mir nicht vorstellen, dass das in Ordnung ist.

    Kann vielleicht mal jemand vom Gambio-Team sich dazu äussern oder wenigstens ein sehr erfahrener User !

    Danke !

    MfG
     
  4. Moritz (Gambio)

    Moritz (Gambio) Administrator

    Registriert seit:
    26. April 2011
    Beiträge:
    5.786
    Danke erhalten:
    2.692
    Danke vergeben:
    903
    Das ist auch die offizielle Gambio-Antwort :).
     
  5. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    14. Juli 2011
    Beiträge:
    988
    Danke erhalten:
    69
    Danke vergeben:
    128
    Das hätte ich auch geantwortet. Das liegt auch an den ganzen Session Ids, oder (Disallow: /*XTCsid*)? - Ich habe nur vor kurzem etwas von dem canontial Tag (oder so ähnlich) gelesen. Könnte das nicht Abhilfe schaffen? D.h. auf jeder Seite dieses Tag hinzufügen, dann sollte der "Disallow: /*XTCsid*" Part doch aus der Robots.txt entfernt werden können? Oder habe ich da was falsch verstanden? :\

    Würde wahrscheinlich aber auch keinen Mehrwert bringen. Naja, egal ;)
     
  6. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    14. Juli 2011
    Beiträge:
    988
    Danke erhalten:
    69
    Danke vergeben:
    128
    Ich habe dazu gerade einen Beitrag aus dem offiziellen Google Forum gelesen:

    "..eine Blockierung per robots.txt ist im Rahmen von Duplicate Content eher nicht zu empfehlen, weil so ja die inhalte gar nicht gecrawlt werden können und so das Erkennen von Duplikaten erschwert wird (und auch z. B. ein vorhandenes Canonical-Tag nicht gefunden wird).

    Besser wäre hier, die robots.txt-Sperre aufzuheben und stattdessen z. B. mit der Parameter-Behandlung in den Webmaster-Tools und dem Cacnonica-Tag zu arbeiten."