v4.3.x Duplikat – Google hat eine andere Seite als der Nutzer als kanonische Seite bestimmt

Thema wurde von PHI, 18. März 2021 erstellt.

  1. PHI

    PHI Erfahrener Benutzer

    Registriert seit:
    23. März 2012
    Beiträge:
    155
    Danke erhalten:
    1
    Danke vergeben:
    42
    Guten Morgen,

    wir hatten die Problematik bereits mehrfach angesprochen und bisher ist kein zufrieden stellendes Ergebnis erreicht worden. Zu der Problematik: Vor circa 2 Jahren stellten wir unseren Shop von dynamischen Links auf kurze lesbare urls um.

    Bei Google werden aktuell immer noch dynamische urls gelesen und diese scheinen wohl auch nicht temporär zu sein.

    Wie bekommen wir das Problem in den Griff ? Weil 603 Duplikate mit falschen Canonical Link, das kann nicht sein, und warum werden diese Links angezeigt und aufrufbar sind sie auch ?

    Über eine Lösung des Problems, freuen wir uns. Auf die Antworten, ja Google liest anders, dies muss ja auch nicht alles stimmen etc. das kann es nicht sein, das Problem liegt woanders. Für mich ist es ein bug, der nicht behoben wurde.

    Mit freundlichen Grüßen aus den Niederlanden

    PHI Essences Team


    Beispiel-Link
    upload_2021-3-18_12-20-22.png


    Die Duplikat Links mit falschen Canonical links: hier nur ein Auzug von den 603 Duplikaten


    https://www.phiessences.com/es/Colg...253Flanguage%25253Dde%25253Flanguage%25253Den

    15.03.2021
    https://www.phiessences.com/nl/padd...language%3Dfr%3Flanguage%3Den%3Flanguage%3Dde
    15.03.2021

    https://www.phiessences.com/de/Pilz...language%3Dfr%3Flanguage%3Den%3Flanguage%3Dde

    15.03.2021
    https://www.phiessences.com/nl/dier...language%3Des%3Flanguage%3Den%3Flanguage%3Dfr

    12.03.2021
    https://www.phiessences.com/es/Esen...language%3Des%3Flanguage%3Den%3Flanguage%3Dfr

    11.03.2021
    https://www.phiessences.com/de/Tier...language%3Des%3Flanguage%3Den%3Flanguage%3Dfr

    11.03.2021
    https://www.phiessences.com/en/Anim...language%3Des%3Flanguage%3Den%3Flanguage%3Dfr
     
  2. Wilken (Gambio)

    Wilken (Gambio) Administrator
    Mitarbeiter

    Registriert seit:
    7. November 2012
    Beiträge:
    17.468
    Danke erhalten:
    6.665
    Danke vergeben:
    2.015
    Ich beschönige mal nichts, ich beschreibe eure Lage so übel wie ich sie gerade einschätze:

    Da war mal oder ist was mit der Sprachumschaltung für den Nutzer im Frontend kaputt, wir sehen solche Fälle immer wieder bei Leuten, die sich da abweichend vom Standard mal alles umgebaut haben, und nur bei denen. Das erfolgte dann zum Beispiel mit einem der diversen, nicht ganz garen "lauter EInzelflaggen statt dem Standard Sprachselektor anzeigen" Mods, die mal gehandelt wurden. Die hatten eigentlich alle üble SEO Probleme, das wollte nur niemand hören...

    Ich weiss aus Erinnerung, dass es sowas in eurem Shop mal gab, das war bei euch drin, das hattet ihr bei euch selbst umgebaut. Ihr seid da ja schon ein paar mal laut angetreten.

    Diese eklig kaputten URLs habt ihr jetzt jedenfalls im Google Index. Da ist der Crawler ganz offensichtlich mal richtig im Kreis gelaufen, hat nicht verstanden was er gemacht hat, und hat den Fehler dann auch gleich wiederholt, in dem er im Kreis immer demselben kaputten link gefolgt ist.

    Im Prinzip habt ihr da ein shop.de/?KaputtersprachkramKaputtersprachkramKaputtersprachkram.

    Das ist richtig eklig, weil das eine Verkettung von total zerdengelten GET Parametern ist, die der Shop nicht automatisch korrigieren kann. Wahrscheinlich ist die Anzahl der Kreisverkehrumrundungen auch noch pro fehlerhafter URL unterschiedlich und nicht fest. Der Shop kann ein paar Sachen in URLs fixen und selbst automatisch umschreiben, aber nicht jeden denkbaren Unfug oder Unfall, und das da ist nicht abgedeckt.

    Und weil in den Urls teilweise auch noch mehrere unterschiedliche Sprachauswahlartefakte sind, kann man das auch nicht ehrlich sinnvoll umleiten. Ich seh da welche in denen gleichzeitig deutsch und französisch steht, die URLs sind also insich schon wiedersprüchlich, selbst wenn man die Sonderzeichen schafft wegumzuformen. Was soll das dann sein?

    Selbst wenn man das mit Zauberkünstler Rewrites teilweise retten will, wird da ein guter Rest unrettbar bleiben.

    Ich denke ihr habt einen ganzen Haufen von URLS bei Google zur Löschung aus dem Index einzureichen. Der Schmu den ihr da mal veranstaltet habt, hat jetzt Folgen. Mir fallen nur sehr harte und sicher teilweise verlusthafte Lösungen ein.
     
  3. PHI

    PHI Erfahrener Benutzer

    Registriert seit:
    23. März 2012
    Beiträge:
    155
    Danke erhalten:
    1
    Danke vergeben:
    42
    #3 PHI, 18. März 2021
    Zuletzt bearbeitet: 18. März 2021
    Guten Tag Herr Wilken

    ja wir drehen uns aber im Kreis, wie schon mehrfach gesagt, wurde von einem Ihrer Mitarbeiter empfohlen, die Sprachen solange als Flagge im Frontend darzustellen, da es diesbezüglich mal ein Problem gab, das man die Sprachen nicht auswählen konnte, nur um dies mal zu erwähnen. Die Flaggen wurden nach erfolgreicher Erledigung des Problems durch den Support, auch von uns wieder entfernt.

    Wir treten auch nicht laut auf, dies könnte man von Ihnen auch behaupten, ihr Umgangston... wir wollen halt nicht ein und das selbe Problem 10 mal ansprechen. Bisher kam immer nur, kann nicht, geht nicht, gibts nicht, wo wer wie was... ne kann nicht sein..... usw.

    Mods, oder ähnlich merkwürdig kursierendes haben wir nie gehabt, wir möchten nur eine Lösung des Problems. Die Empfehlung mit den Flaggen kam wie gesagt von Ihrem Support. Es sind seit Jahren keine Flaggen mehr im Shop aber seit Jahren das gleiche Problem. Und jetzt muss man sich so was anhören, ne also wirklich.

    Freuen Sie sich doch wenn man Kunden hat, die an der Bug-Erledigung mithelfen, vielleicht haben auch andere das Problem.

    Mit freundlichen Grüßen aus den Niederlanden.
     
  4. PHI

    PHI Erfahrener Benutzer

    Registriert seit:
    23. März 2012
    Beiträge:
    155
    Danke erhalten:
    1
    Danke vergeben:
    42
    #4 PHI, 18. März 2021
    Zuletzt bearbeitet: 18. März 2021
    Ich denke das Problem besteht seit der Umstellung im SEO Bereich auf kurze URLS, mit Sprachkennung in der URL. (Vorher waren es wohl dynamische URLS).

    Da ist nichts modifiziert worden von uns oder ähnliches, aber es besteht da irgendwo ein Problem.

    Wie ist jetzt die Vorgehensweise ? URLS löschen, Ticket erneut anfordern, was kann man selber machen ?



    Mit freundlichen Grüßen aus den Niederlanden
     
  5. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.461
    Danke erhalten:
    972
    Danke vergeben:
    835
    ... und weil Gambio alle URLs als canonical auszeichnet, auch diese Murks-URLs bleiben solchen Seiten dauerhaft im Index. Davor warne ich seit Jahren, aber das Problem war von mir immer theoretisch und konstruiert. Also nicht dass ich sage, dass es hier jetzt einen Gambio-Bug gibt, aber ich bin weiterhin der Meinung, dass die Canonical URL Umsetzung von Gambio es begünstigt, dass durch Fehler der Shop-Betreiber negative SEO-Konsequenzen wahrscheinlicher werden. Wie hier.

    Was ich jetzt machen würde:
    • Zusehen, dass vom canonical URL Tag alles nach ".html" abgeschnitten wird, so dass jeder Crawler sofort weiß, wo er hin muss.
    • Nach ein paar Wochen über die robots.txt alle URLs mit "language" sperren
    Vielleicht eine Holzhack-Methode, aber viel kaputtmachen kann man vermutlich nicht mehr...
     
  6. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.461
    Danke erhalten:
    972
    Danke vergeben:
    835
    ... oder etwas präziser: Den Parameter %2525253Flanguage in der Canoncial URL unterdrücken.
     
  7. PHI

    PHI Erfahrener Benutzer

    Registriert seit:
    23. März 2012
    Beiträge:
    155
    Danke erhalten:
    1
    Danke vergeben:
    42
    Hallo und vielen Dank für die Antwort.

    Auf gut Deutsch unser Shop ist jetzt der letzte Mist ? Geht es bitte etwas präziser ?
    Es kann aber auch nicht sein das ich seit Jahren in Tickets dieses Problem anspreche und es passiert nichts und keiner weiß was.

    Die Links sind nicht in der Sitemap, wo kommen diese her ? Wo kann ich die löschen ?

    Wo kann ich exakt das Problem lösen ? Wir möchten keine halben Sachen.

    Wir hatten sogar schon links von Crawlingmaschinen aus der Google Concole gelöscht, wie kommen die da rein ? Der Link sah dann so aus: phiessences.com/seobility.. etc.
    Schade das wir den link gelöscht haben, sonst hätten wir ihn mal gezeigt.

    Mit freundlichen Grüßen aus den Niederlanden.
     
  8. Wilken (Gambio)

    Wilken (Gambio) Administrator
    Mitarbeiter

    Registriert seit:
    7. November 2012
    Beiträge:
    17.468
    Danke erhalten:
    6.665
    Danke vergeben:
    2.015
    Unsere Implementierung gibt bei vielen Dingen her, dass sich die Dinge von selbst reparieren, bei diesen schlägt unser designtes Prozessmuster aber tatsächlich so zu, dass sich das Problem nicht von selbst verbessert, ja. Fälle wie diese sind aber nach wie vor selten.

    Das Problem ist da ein bisschen, dass dann jede Seite auf der Standardsprache des Shops landet. Das sorgt also für mittelfristige Konsistenz, und das wäre besser als das jetzt, aber für die Sprachen abseits der Standardsprache wirds dabei Verluste geben.

    Das ist die bittere Wahrheit.
     
  9. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.461
    Danke erhalten:
    972
    Danke vergeben:
    835
    Meinst du mich? Ok, also:

    Eine Canonical URL ist unter den verschiedenen URLs unter der eine Seite erreichbar sind, diejenige die Google in den Index aufnehmen soll. Bei Gambio ist das grundsätzlich JEDE URL. Gambio schließt aber die Seiten, die nicht kanonisch sein sollen, per robots.txt aus. Im Idealfall ruft der Suchmaschinen-Bot also die Seite, die nicht kanonisch ist, aber die im Quelltext als kanonisch gekennzeichnet ist, gar nicht erst auf. Dann gibt es kein Problem. Dein Parameter ist aber im Shopsystem nicht bekannt und kann daher auch nicht gesperrt worden sein. Du hast jetzt vermutlich sehr viele Seiten mit dem selben Inhalt im Google Index. Das kann dazu führen, dass alle Duplikate schwächer gerankt werden oder dass du ganz mit den Seiten rausfliegst. Was musst du also tun: Zusehen, dass die "falschen" Seiten nun auch als "falsch", also "nicht-kanonisch" gekennzeichnet werden. Dann kann es sich vielleicht wieder einrenken.

    Praxis:
    Die Canonical URL dieser Seite:

    (Link nur für registrierte Nutzer sichtbar.)

    Ist bei dir

    (Link nur für registrierte Nutzer sichtbar.)

    Aber es muss so sein:

    (Link nur für registrierte Nutzer sichtbar.)

    Dazu musst du im Shop an die Dateien, die die Caonical URL bauen.
     
  10. PHI

    PHI Erfahrener Benutzer

    Registriert seit:
    23. März 2012
    Beiträge:
    155
    Danke erhalten:
    1
    Danke vergeben:
    42
    Hallo, bitte korrigiert mich wenn ich falsch liege. Diese Seite hier gibt es 2 mal, einmal verhuntzt wie unten und einmal als:

    https://www.phiessences.com/nl/dier-essences/europa/steenbok.html

    Meine Frage ist, warum produziert der Shop solche Links, wenn in der ersten ein Canonical Link steht der korrekt ist, und in diesem Link hier, steht der Schrott-Link als Canonical, das macht keinen Sinn.

    Es gibt demnach im Shop die Seite 2 mal, und nicht bei google !!!



    https://www.phiessences.com/nl/dier-essences/europa/steenbok.html?%3Flanguage=es%3Flanguage%3Des%3Flanguage%3Des%3Flanguage%3Den%3Flanguage%3Dde%3Flanguage%3Dfr%3Flanguage%3Des%3Flanguage%3Den%3Flanguage%3Dfr


    Mit freundlichen Grüßen aus den Niederlanden
     
  11. Wilken (Gambio)

    Wilken (Gambio) Administrator
    Mitarbeiter

    Registriert seit:
    7. November 2012
    Beiträge:
    17.468
    Danke erhalten:
    6.665
    Danke vergeben:
    2.015
    Was der Shop tut: Wenn jemand eine Seite mit richtigem Link aufruft, dann setzt der Shop alle Metatags richtig.

    Wenn man eine Seite mit kaputtem Link aufruft, setzt der Shop in manchen Fällen die Tags in der Seite richtig, gewissen Formen von Schrott lässt er aber durch und kann die nicht erkennen, der taucht dann auch in den Metatags auf, das Problem repariert sich dann nicht. Das hier ist so ein Fall, wo der Shop das nicht abfangen kann.
     
  12. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.461
    Danke erhalten:
    972
    Danke vergeben:
    835
    Na, weil JEDE Seite die du aufrufst, vom Shopsystem zum Canonical Link gemacht wird. Also nicht das System generiert diese Links (zumindest jetzt gerade nicht, vielleicht früher mal) ,sondern derjenige der die URL aufruft oder der darauf verlinkt. Schau dir mal die canoncial URL dieser Seite an:

    (Link nur für registrierte Nutzer sichtbar.)

    Oder dies

    (Link nur für registrierte Nutzer sichtbar.)
     
  13. PHI

    PHI Erfahrener Benutzer

    Registriert seit:
    23. März 2012
    Beiträge:
    155
    Danke erhalten:
    1
    Danke vergeben:
    42
    Hallo L&B dann funktioniert aber die 404 nicht oder ? Das ergibt doch so keinen Sinn.

    Hab es gerade mit einer Wordpress Seite von mir probiert mit einem Fantasie-Link, aber da bleibt der Canonical korrekt.

    Mit freundlichen Grüßen aus den Niederlanden.
     
  14. Dominik Späte

    Dominik Späte Erfahrener Benutzer

    Registriert seit:
    16. Oktober 2018
    Beiträge:
    276
    Danke erhalten:
    193
    Danke vergeben:
    73
    Falls es irgendwem noch um eine Lösung gehen sollte - das hier wäre mein Ansatz:

    Code:
    RewriteEngine On
    RewriteRule ^admin/ - [L] 
    RewriteCond %{QUERY_STRING} language=
    RewriteRule (.*) $1? [L,R=301]
    
    Man muss halt testen, dass nicht irgendwo ein erwünschter language-Parameter aus der URL entfernt wird und dann ggf. Ausnahmen wie für's admin-Verzeichnis definieren. Bei den Filtern gab es da zuletzt z.B. noch welche.
     
  15. Wilken (Gambio)

    Wilken (Gambio) Administrator
    Mitarbeiter

    Registriert seit:
    7. November 2012
    Beiträge:
    17.468
    Danke erhalten:
    6.665
    Danke vergeben:
    2.015
    Das ist reichlich ungenau. Der grundsätzliche Link zu einer Seite muss hinkommen. Es geht nur um GET Parameter bei dem ganzen, das was nach dem Fragezeichen steht, da machen wir Blacklist Filtering, kein Whitelist Filtering. Das heisst alles was nicht als böse ausgeschlossen wird, ist erlaubt.
     
  16. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.461
    Danke erhalten:
    972
    Danke vergeben:
    835
    Doch, http status code passt! Kannst du hier prüfen: httpstatus.io

    Es ist halt nur so, dass auch eine 404 Seite als canonical ausgewiesen wird....
     
  17. Wilken (Gambio)

    Wilken (Gambio) Administrator
    Mitarbeiter

    Registriert seit:
    7. November 2012
    Beiträge:
    17.468
    Danke erhalten:
    6.665
    Danke vergeben:
    2.015
    Da erwarte ich dasselbe Problem: Danach zeigt der dann konsistente URL auf die Standardsprache des Shops. Wenn der als zb spanisch indiziert wurde, ist er das danach nicht mehr.
     
  18. Wilken (Gambio)

    Wilken (Gambio) Administrator
    Mitarbeiter

    Registriert seit:
    7. November 2012
    Beiträge:
    17.468
    Danke erhalten:
    6.665
    Danke vergeben:
    2.015
    Was bei einer 404 Seite komplett egal ist, solange der HTTP Status 404 ist.
     
  19. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.461
    Danke erhalten:
    972
    Danke vergeben:
    835

    Leider nein, Wilken. Noch ein Beispiel? (Link nur für registrierte Nutzer sichtbar.) Die Seite gibt es nicht, ist durch die robots.txt nicht gesperrt, gibt einen 404 Status, aber ist trotzdem canonical.
     
  20. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.461
    Danke erhalten:
    972
    Danke vergeben:
    835
    Ist der Parameter denn language oder ist er %253Flanguage ?

    Also die Standardsprache dürfte damit doch nicht aufgerufen werden, wenn Ländercodes in URLs aktiviert sind, oder? Oder ist der Ländercode nur optik und bestimmt nicht über die Sprache?