Herstellerseiten: Indexiert, obwohl durch robots.txt-Datei blockiert

Thema wurde von KlausUndSo, 13. Oktober 2021 erstellt.

  1. KlausUndSo

    KlausUndSo Erfahrener Benutzer

    Registriert seit:
    4. November 2018
    Beiträge:
    63
    Danke erhalten:
    1
    Danke vergeben:
    17
    Moin,

    Google wirft mir für meinen Shop die Warnung "Indexiert, obwohl durch robots.txt-Datei blockiert" für alle Herstellerseiten aus. Das mag hier nicht dramatisch sein, da ich mich aktuell aber damit beschäftige die Seite SEO-mäßig aufzupolieren, würde ich gern auch dieses Problem bereinigen.
    Die Herstellerseiten werden ja automatisch angelegt, sobald ich einen Hersteller anlege. Ich hab nirgens die möglichkeit zu sagen Sidemap ja/nein, robots ja/nein. Bei "Statische Seiten" tauchen sie auch nicht auf. In der robots.txt steht der Eintrag "Disallow: /*manufacturers_id*". Den könnte ich natürlich händisch löschen und die robots dann wieder hochladen. Das müsste dann aber jedes Mal gemacht werden, wenn ich die Datei neu generiere.. gibt es da eine automatisierte Lösung?

    Grüße aus Erfurt
     
  2. barbara

    barbara G-WARD 2014-2020

    Registriert seit:
    14. August 2011
    Beiträge:
    35.352
    Danke erhalten:
    11.198
    Danke vergeben:
    1.601
    Damit bekommst Du unter Umständen andere Probleme. Bei mir hat Google z.B. jeden Artikel mit jeder Hersteller-ID verknüpft und dann gemeckert, weil jedes Produkt x-Fach im Shop war.
    Ich habe die Hersteller-Box daraufhin deaktiviert.

    Es gibt da 2 andere Möglichkeiten:
    1. Anstelle der Hersteller-Box einen Filter erstellen - das ist aber viel Handarbeit, weil das in jeden Artikel eingestellt werden muss
    2. Über Kategorien, dann kannst Du auch eine Beschreibung und Bilder einfügen.
    Da könnte man sicher an Hand der Hersteller-ID die Artikel per SQL-Befehl verlinken
     
  3. KlausUndSo

    KlausUndSo Erfahrener Benutzer

    Registriert seit:
    4. November 2018
    Beiträge:
    63
    Danke erhalten:
    1
    Danke vergeben:
    17
    naja, da die Herstellerseiten ja nicht ganz so wichtig sind und eher zur Orientierung dienen, könnte man ja auch den anderen Weg gehen und sie aus der Sidemap rausschmeißen. Wenn Google diese Auflistung, oder Sortierung nicht indexiert, dann halte ich das nicht für sonderlich dramatisch. Die Frage ist nur, wie bekomme ich das hin, ohne jedesmal die Sidemap händisch zu korrigieren?

    Über die Filterfunktion hab ich auch schon nachgedacht, aber wie du schon sagst: haufenweise Arbeit....
     
  4. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.831
    Danke erhalten:
    1.122
    Danke vergeben:
    947
    Fatal, auf die Herstellerseiten zu verzichten, gerade wenn man Markenware verkauft. Das Problem ist aus meiner Sicht, dass die Seiten von der robots.txt blockiert werden und es keine SEO-Möglichkeiten gibt. Wer verschiedene Marken verkauft, kann aus meiner Sicht ohne ein Herstellercontent-Modul wie ttps://(Link nur für registrierte Nutzer sichtbar.) nicht viel reißen. Also meine Bemühungen sin dahin gegangen, Herstellerseiten editierbar, optimierbar und indexierbar zu machen statt umgekehrt.
     
  5. Wilken (Gambio)

    Wilken (Gambio) Erfahrener Benutzer

    Registriert seit:
    7. November 2012
    Beiträge:
    18.737
    Danke erhalten:
    7.309
    Danke vergeben:
    2.208
    Herstellerseiten sind nicht für eine Indizierung gemacht, ganz und gar nicht, waren sie auch nie. Es gibt auch keine echten Herstellerseiten, es gibt Ergebnisseiten des Herstellerfilters. Bei uns gilt:

    Nicht eine einzige Filterergebnisseite eines beliebigen Filters hat etwas in den SERPs zu suchen, wir wollen das Gegenteil.

    Weil wir das Gegenteil wollen, sperren wir die normal per robots Datei, versehen die Herstellerfilterseiten mit noindex Headern, packen die nie in Sitemaps.

    Viel mehr geht nicht.
     
  6. Dominik Späte

    Dominik Späte Erfahrener Benutzer

    Registriert seit:
    16. Oktober 2018
    Beiträge:
    930
    Danke erhalten:
    802
    Danke vergeben:
    300
    Ums nach langer Zeit mal wieder erwähnt zu haben: Die noindex-Header sind nutzlos, wenn man gleichzeitig das Crawling der Seiten via robots.txt verbietet.
     
  7. mmatecki

    mmatecki Erfahrener Benutzer

    Registriert seit:
    24. Juni 2018
    Beiträge:
    629
    Danke erhalten:
    108
    Danke vergeben:
    69
    Musst den Eintrag in der robots.txt löschen "Disallow: /*manufacturers_id* damit der Googlebot weiterkommt und endlich den noindex-Header lesen kann!

    Steht viel Müll in der robots.txt, besonders sind die kontraproduktiven Einträge in der robots.txt von Seiten mit gleichzeitigem noindex wie Dominik schon erwähnt hatte.

    Hab auch grad mal wieder aktuell das Impressum Indexiert, obwohl durch robots.txt-Datei blockiert:D content=noindex,follow
     
  8. KlausUndSo

    KlausUndSo Erfahrener Benutzer

    Registriert seit:
    4. November 2018
    Beiträge:
    63
    Danke erhalten:
    1
    Danke vergeben:
    17
    Wenn die Herstellerseiten nicht in der Sidemap stehen (hab ich ehrlich gesagt noch nicht kontrolliert), wieso werden sie dann indexiert? Dann sollte doch der Eintrag in der robots.txt reichen, damit google die Seiten "in Ruhe" lässt!?
     
  9. barbara

    barbara G-WARD 2014-2020

    Registriert seit:
    14. August 2011
    Beiträge:
    35.352
    Danke erhalten:
    11.198
    Danke vergeben:
    1.601
    Google geht selber jedem möglichen Link nach - die Sitemap ist da eher eine Hilfestellung, damit Google Seiten schneller findet.
     
  10. KlausUndSo

    KlausUndSo Erfahrener Benutzer

    Registriert seit:
    4. November 2018
    Beiträge:
    63
    Danke erhalten:
    1
    Danke vergeben:
    17
    Ok. nun stelle ich mir das laienhaft so vor, dass Google jedem Link folgt und doch aber spätestens dann auf den noindex-Eintrag im Header der Seite stoßen müsste...
    Kann ja auch sein, dass das ganze SEO-mäßig überhaupt kein großes Problem darstellt und ich das auch einfach so lassen kann...?
     
  11. mmatecki

    mmatecki Erfahrener Benutzer

    Registriert seit:
    24. Juni 2018
    Beiträge:
    629
    Danke erhalten:
    108
    Danke vergeben:
    69

    Der Googlebot findet auch Seiten, die nicht in der Sitemap sind und versucht diese zu indexieren. Liest aber gleichzeitig die robots.txt wo Seiten ausgeschlossen werden. Nun hat er aber die Seiten gefunden und will lesen und indexieren kommt aber nicht weiter, weil er am "Disallow: /*manufacturers_id*" hängenbleibt. Der Googlebot kommt erst gar nicht dazu den Eintrag noindex zu lesen und wird das immer weiter versuchen.


    Das Problem dabei ist das der Bot immer wieder diese Seiten lesen will und dadurch andere Seiten von deinem Shop vernachlässigt.


    Da hilft nur den Disallow: /*manufacturers_id in der robots.txt zu entfernen und dem Bot das Lesen der Seite zu ermöglichen, danach ist Ruhe.


    So ganz grob umschrieben.
     
  12. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.831
    Danke erhalten:
    1.122
    Danke vergeben:
    947
    @KlausUndSo du kannst auch @Dominik Späte fragen, wenn du Herstellerseiten sin
    Ach krass, was ist das denn? Warum ist denn der manufacturers_id Parameter auf Herstellerseiten nicht mehr Teil der canonical URL??