v3.10.x Disallow Einträge in robots.txt ohne funktion?

Thema wurde von mmatecki, 13. Juli 2018 erstellt.

  1. mmatecki

    mmatecki Erfahrener Benutzer

    Registriert seit:
    24. Juni 2018
    Beiträge:
    644
    Danke erhalten:
    110
    Danke vergeben:
    69
    #21 mmatecki, 18. Juli 2018
    Zuletzt bearbeitet: 18. Juli 2018
    @barbara ja so sollte es sein, bei mir läuft das aber nicht so. Wir haben einen ganzen Haufen blockierter Seiten durch die manufactor Seiten, Fehler nur bei Smartphone, die nur beim Crawlen der Website durch den Googlebot auftraten, nicht jedoch beim Desktop da ist alles OK. Beim Desktop wurden Fehler zu product_qty ausgegeben

    Bis Mitte Okt. 2017 war soweit alles Ok aber dann kamen die durch robots.txt blockeirten Seiten dazu, wie die sich entwickelt haben kannst du ja erkennen



    URL Parameter hatte ich am Wochenende angelegt mal schauen obs hilft!
     

    Anhänge:

    • 0001.jpg
      0001.jpg
      Dateigröße:
      129,1 KB
      Aufrufe:
      9
  2. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.831
    Danke erhalten:
    1.122
    Danke vergeben:
    947
    Ist ja nur die halbe Wahrheit: So lange die robots noch für jede URL angezeigt bekommen, dass sie "canonical" sind, wird Google die Seiten möglicherweise immer wieder crawlen, wenn auch vielleicht nicht indexieren. Da geht Crawling-Budget verloren und es kommen ggf. leere Seiten in den Index und es geht link juice verloren, und google meckert (wobei letzteres das geringste Problem ist). Auch wenn ich Wilken recht gebe, dass Michael thematisch etwas springt, würde ich das Problem trotzdem nicht so von der Hand weisen, dass hier zwei gegensätzliche Signale an die Suchmaschinen gegeben werden: "Diese Seite bevorzugt indexieren" und "Diese Seite nicht indexieren". Dass sowas sich nicht aufs Ranking auswirkt, ist für mich nur schwer vorstellbar.
     
  3. mmatecki

    mmatecki Erfahrener Benutzer

    Registriert seit:
    24. Juni 2018
    Beiträge:
    644
    Danke erhalten:
    110
    Danke vergeben:
    69
    #23 mmatecki, 18. Juli 2018
    Zuletzt bearbeitet: 18. Juli 2018
    @L&B kann sei das ich in den Themen hin und her springe aber alles in allem wirkt sich meiner Meinung nach auf das indexierverhalten von google aus obs nun die sitemap, die robots oder oder ist unterem Strich läuft das auf ene toten Shop hinaus wenn da nix passiert

    Kurze Frage zu manufacturers_id also Filter für Hersteller, sind die Seiten normal gesperrt durch Eintrag in der robots.txt? konnte dazu keinen Eintrag finden?
     
  4. mmatecki

    mmatecki Erfahrener Benutzer

    Registriert seit:
    24. Juni 2018
    Beiträge:
    644
    Danke erhalten:
    110
    Danke vergeben:
    69
  5. Christian Mueller

    Christian Mueller Beta-Held

    Registriert seit:
    4. Juli 2011
    Beiträge:
    3.698
    Danke erhalten:
    889
    Danke vergeben:
    288
    #25 Christian Mueller, 6. August 2018
    Zuletzt bearbeitet: 6. August 2018
    Was ist denn daran wilkürlich und was ist daran zusammengewürfelt?

    Du hast mehrere Seiten in der Kategorie, die Google so wie sie sind indexiert hat (&page=).
    Du hast ausserdem einen Herstellerfilter auf der Seite, den Google auch so indexiert hat.

    In der Kombination gibt es die von Dir erwähnten URLs. Das ist auch sinnvoll, denn zusammen mit den Parametern gibt es stärkere Suchergebnisse in der Google-Suche.

    Google schaut sich die Seiten an und übernimmt die darin enthaltenen Informationen nach eigenem Gutdünken. Das ist nur begrenzt steuerbar.
     
  6. Wilken (Gambio)

    Wilken (Gambio) Erfahrener Benutzer

    Registriert seit:
    7. November 2012
    Beiträge:
    18.737
    Danke erhalten:
    7.309
    Danke vergeben:
    2.208
    Die beiden Parameter sind am Ende 2 einzelne Themen.

    In 3.11 ändern wir etwas, was auch da rein wirkt und Bedingungen verändert. Ich werde dazu diese Woche nochmal einen langen Beitrag schreiben.
     
  7. mmatecki

    mmatecki Erfahrener Benutzer

    Registriert seit:
    24. Juni 2018
    Beiträge:
    644
    Danke erhalten:
    110
    Danke vergeben:
    69
    In diesen Kategorien sind in der ORIGINAL WEBSITE keine Artikel auf diesen Seiten! Die URL´s gibt es in meinem Shop nicht da dichtet google sich was zusammen!!
    Soweit ich mich erinnere gibt es da auch einen disallow Eintrag in der robots.txt der heist "Disallow: /*page=SN_*"
     
  8. barbara

    barbara G-WARD 2014-2020

    Registriert seit:
    14. August 2011
    Beiträge:
    35.352
    Danke erhalten:
    11.198
    Danke vergeben:
    1.601
    Das lese ich jetzt zum 4. oder 5. mal....ich platze vor Neugier - das ist pure Folter von Dir :p:p
     
  9. Wilken (Gambio)

    Wilken (Gambio) Erfahrener Benutzer

    Registriert seit:
    7. November 2012
    Beiträge:
    18.737
    Danke erhalten:
    7.309
    Danke vergeben:
    2.208
    Es sind keine Revolutionen zu befürchten. Wenn man ganz gut steht geht man kleine Schritte weiter statt grosse Sprünge zu machen. Das Thema ist eher allgemein mal über SEO zu reden, denn wir machen da mehr als man auf den ersten Blick leicht sehen mag, während manche schätze ich glauben das wäre von uns unbegleitet.