Google Merchants Center - robots.txt

Thema wurde von MatzeThias, 26. Januar 2023 erstellt.

  1. MatzeThias

    MatzeThias Erfahrener Benutzer

    Registriert seit:
    16. Oktober 2020
    Beiträge:
    126
    Danke erhalten:
    1
    Danke vergeben:
    64
    Ahoi,

    ich nutze schon lange das Google Merchants Center, da gab es nie Probleme. Kann es nicht genau sagen, aber ich bilde mir ein, dass es möglicherweise seit dem letzten Gambio Update Probleme auftreten, zumindest bei mir.

    Die Hälfte der Produkte 49,5% weißen seit dem Update Probleme mit der Robots.txt auf:

    "Die mobile Seite kann aufgrund der Datei robots.txt nicht gecrawlt werden"
    "Die Desktop-Seite kann aufgrund der Datei robots.txt nicht gecrawlt werden"

    Verstehe ich überhaupt nicht, da ich die original Datei verwende. Ist dieses Phänomen bekannt?
     
  2. IG666

    IG666 Aktives Mitglied

    Registriert seit:
    18. November 2015
    Beiträge:
    42
    Danke erhalten:
    9
    Danke vergeben:
    5
    würde mich auch interessieren...
     
  3. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    4. September 2018
    Beiträge:
    105
    Danke erhalten:
    12
    Danke vergeben:
    9
    Hallo,

    trat bei uns seit dem Update auf 4.7.x.x auf. Wir haben es folgendermaßen gelöst:

    Lösungsmöglichkeit 1:
    Im Produktdatenfeed für Google Shopping die Produkturl ohne Währungsparameter übermitteln.

    Also
    (Link nur für registrierte Nutzer sichtbar.)
    stattt:
    (Link nur für registrierte Nutzer sichtbar.)

    Datenfeed:
    (Link nur für registrierte Nutzer sichtbar.)


    Lösungsmöglichkeit 2:

    Folgende Zeile aus der Robots.txt entfernen:
    Disallow: /shop/*currency=*

    Wir haben Lösungsmöglichkeit 2 angewandt, jetzt sind (nach einiger Zeit) alle Produkte wieder gelistet.

    Stefan
     
  4. IG666

    IG666 Aktives Mitglied

    Registriert seit:
    18. November 2015
    Beiträge:
    42
    Danke erhalten:
    9
    Danke vergeben:
    5
    das mit dem currency hat leider nicht geklappt. Wo stellt man denn die Produkt URl ein?
     
  5. MatzeThias

    MatzeThias Erfahrener Benutzer

    Registriert seit:
    16. Oktober 2020
    Beiträge:
    126
    Danke erhalten:
    1
    Danke vergeben:
    64
    habe weder die eine noch die andere Artikel-URL so, die enden alle mit .html.

    Hab das mal mit Disallow: /shop/*currency=* gemacht, mal sehen was passiert.

    EDIT:

    Offensichtlich liegt es gar nicht an der robots.txt sondern an diesem hier:
    Wo sind Maßnahmen erforderlich?
    GTIN, UPC, EAN, JAN oder ISBN
    Marke Aktuell angegebener Wert Voglrieder
    Teilenummer des Herstellers (MPN)

    Eine gültige EAN ist bei allen Artiklen definitv hinterlegt, jedoch scheint hier entweder bei Gambio oder bei Google ein Fehler vorzuliegen.
     
  6. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    4. September 2018
    Beiträge:
    105
    Danke erhalten:
    12
    Danke vergeben:
    9
    #6 Anonymous, 26. Januar 2023
    Zuletzt bearbeitet: 26. Januar 2023
    also soweit ich mich erinnere, darfst du nur entweder den einen oder den anderen Lösungsvorschlag umsetzen, nicht beide!

    Was hat denn nicht geklappt? Hast den Eintrag in der robots.txt nicht gefunden? Dann musst du deine robots.txt aktualisieren. Gambio liefert von Zeit zu Zeit bei Updates eine aktualisierte mit, die du noch an deine Bedürfnisse anpassen musst. Ist die robots.txt aktualisiert (oder Lösung 2 umgesetzt) kann es Tage oder Wochen dauern, bis Google deine Sites erneut gecrawlt hat und die Fehlermeldungen verschwinden.

    Lösungsvorschlag 1 bezieht sich auf den Artikel-Export für google shopping
     
  7. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    4. September 2018
    Beiträge:
    105
    Danke erhalten:
    12
    Danke vergeben:
    9
    die URL's sehen im Datenexport bei uns so aus (?refID=x), weil wir den Datenexport mit einer Kampagne verknüpft haben.

    Die beiden Lösungsvorschläge waren bei mir im Google-Merchant-Center direkt angezeigt worden, ich hatte einfach Lösungsvorschlag 2 umgesetzt und nach wenigen Tagen wurde die Zahl der abgelehnten Produkte geringer, nach ein paar Wochen kam eine Mail von google, dass die Fehler beseitigt wurden.
     
  8. stefan_elbert

    stefan_elbert Erfahrener Benutzer

    Registriert seit:
    8. August 2017
    Beiträge:
    128
    Danke erhalten:
    5
    Danke vergeben:
    20
    Welches der beiden ist genau gemeint?

    Disallow: /*currency=*
    und
    Disallow: /currency/

    bei mir gibt es beider dieser Einträge
     
  9. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    30.984
    Danke erhalten:
    6.097
    Danke vergeben:
    1.079
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    welche methode nutzt du zur übergabe der Artikeldaten? Gambio-Google Modul?
    Und welches Problem genau ist bei dir?
     
  10. Anonymous

    Anonymous Administrator
    Mitarbeiter

    Registriert seit:
    26. April 2011
    Beiträge:
    1.668
    Danke erhalten:
    1.263
    Danke vergeben:
    300
    Der Eintrag Disallow: /*currency=* muss raus, wurde auch mit der aktuellen Version 4.8 korrigiert. Hier einmal die robots.txt Datei dann neu generieren.
     
  11. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    14. Juni 2018
    Beiträge:
    1.552
    Danke erhalten:
    228
    Danke vergeben:
    1.001
    Hi,
    Eben bin ich auf diesen Thread gestossen da mir auch plötzlich aufgefallen ist das sich ohne eine Änderung unsererseits seit dem Update sämtliche Links in der Export CSV geändert haben. Hinter jedem Produktlinkt hängt nun ein ?currency=CHF.
    Wie aber bereits erwähnt wurde durch uns nichts an den Einstellungen geändert und in den Export Einstellungen ist immer noch "{p_link}" hinterlegt. Wie kommen wir zurück zur alten URL Ausgabe ohne Währungsparamter hinter jeder URL?

    Danke für eure Hilfe.
     
  12. Anonymous

    Anonymous Administrator
    Mitarbeiter

    Registriert seit:
    26. April 2011
    Beiträge:
    1.668
    Danke erhalten:
    1.263
    Danke vergeben:
    300
    @DrGuu Die URL für den Google Export wurde mit der Währung ergänzt weil Google die Artikel bei vielen Shopbetreibern abgelehnt hat, da die URLs ohne Währung immer im Shop mit der Standardwährung geöffnet wurden und damit dann falsche Preise verglichen hat. Das wurde auch in der robots.txt angepasst, damit die URLs nicht mehr gesperrt werden. Wenn du also noch nicht die robots.txt aus dem Shop erneuert hast, dann solltest du diese neu generieren.

    (Link nur für registrierte Nutzer sichtbar.)
     
  13. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    14. Juni 2018
    Beiträge:
    1.552
    Danke erhalten:
    228
    Danke vergeben:
    1.001
    Mir ist aufgefallen das es neben dem ?currency Zusatz nun auch in Analytics öfter den Zusatz "&gad=1" gibt. Jemand eine Idee was es damit auf sich hat?
     
  14. roberto_neumann

    roberto_neumann Mitglied

    Registriert seit:
    8. April 2021
    Beiträge:
    13
    Danke erhalten:
    0
    Danke vergeben:
    22
    #14 roberto_neumann, 28. November 2023
    Zuletzt bearbeitet: 1. Dezember 2023
    Wir haben Pressify installiert und WP in eine Unterseite eingebaut. Nun weiß aber Google nicht welche Seiten sie blockieren soll und indexiert alles in diesem Unterverzeichnis in Gambio und generiert somit sehr viele Dubletten.

    Wie können wir die Sitemap von WP in die robots.txt in Gambio einfügen?

    Edit:
    Können Sie uns bitte eine Anleitung geben, wie wir einen Sitemap-Eintrag in die robots.txt einfügen oder sie generell bearbeiten können, ohne dass die Änderungen sofort wieder verschwinden?

    Sitemap: https://xx.com/xx/wp-sitemap.xml

    Edit 2: robots.txt kann in Gambio NICHT verändert werden und benötigt individuelle Umprogrammierung. Jemand eine Idee?