Hallo, die Sperrung von Seiten in der robots.txt (z.B. login bzw. account, warenkorb, impressum, agb, etc.) ist ja grundsätzlich sinnvoll, sie liefert allerdings nicht das gewünschte Ergebnnis! Google scrollt die Seiten dennoch und nimmt sie in den Index (mit Titel) auf. Nur die "Description" wird nicht eingeblendet sondern der Hinweis: "Die Datei "robots.txt" auf dieser Website lässt nicht zu, dass eine Beschreibung für das Suchergebnis angezeigt wird". Der Grund ist einfach: Google nimmt den Hinweis in der robots.txt zwar wahr, "schaut" sich die jeweilige Seite aber dennoch an und entdeckt folgenden Meta-Hinweis: <meta name="robots" content="index,follow" /> Da zusätzlich auch noch ein Titel (automatisch Shopname) angezeigt wird, entscheidet sich Google dann dazu, die Seite dennoch im Index zu führen (wie oben geschrieben, mit dem Hinweis auf die robots.txt). Das ist wirklich nicht wirklich im Sinne des Erfinders ;-) Sinnvoll/Erforderlich wäre/ist die Meta-Angaben in den entsprechenden Shopseiten automatisch mit "noindex, nofollow" zu versehen, denn dann nimmt Google die Seiten definitiv nicht mehr (wie ja eigentlich auch gewollt) in den Index auf! Viele Grüße
Das ist ne Frage was man da will. Wir wollen, dass Google die genauen Formulierungen eurer Rechtstexte nicht in den Index aufnimmt, damit Abmahner nicht explizit nach bestimmten Formulierungen suchen können, die vielleicht gerade mal aus irgendwelchen Gründen nicht mehr gehen. Das Ziel dürften wir erreichen. Ob wir verhindern müssen, dass Google weiss dass es ein Impressum gibt ist ne andere Frage, das halte ich für kein Problem.
Es sieht zumindest - finde ich ;-) - innerhalb der Suchergebnisse recht bescheiden aus, wenn Login, Warenkorb, Neue Artikel, Impressum, etc. Seiten mit dem Text: "Die Datei "robots.txt" auf dieser Website lässt nicht zu, dass eine Beschreibung für das Suchergebnis angezeigt wird" angezeigt werden.
Okay, ja, sowas dachte ich mir, das hilft auch bei der Bewertung des Ganzen. Ich würde jetzt folgendes behaupten: So sucht kein normaler Mensch, solche Dinger wie du meinst dürften also wirklich sehr sehr wenige Menschen zu Gesicht bekommen. Bei maschinellem Suchen, also Crawlern ist kein Content für diese Seiten glaube ich auch tendenziell eher ein Luxusproblem. Dennoch ist was du sagst sachlich nicht komplett falsch. Ich würde das damit als Nichtbug qualifizieren, aber als potenzielles Feature und habe hier ein passendes Ticket geschrieben: https://tracker.gambio-server.net/issues/49005
Das Impressum muss auf jedenfall für google erreichbar und auslesbar sein, da er anhand dessen z.B. die BUsiness Einträge usw. kontrolliert, die MAPs einträge und das machen auch einige andere. Da sollte man google also echt nur das ausgeben verbieten nicht das er es auch besucht und sich intern merken darf. Und wenn ein Treffer in der normalen Suche, wie es Kunden machen würden, mit einem blockierten Inhalt vor deinen anderen Seiten landet, dann hast definitiv was falsch gemacht