Indexiert, obwohl durch robots.txt-Datei blockiert

Thema wurde von Anonymous, 23. November 2018 erstellt.

  1. andreas_solkner

    andreas_solkner Aktives Mitglied

    Registriert seit:
    23. Dezember 2018
    Beiträge:
    29
    Danke erhalten:
    0
    Danke vergeben:
    4
    danke klaus, ich werde es versuchen
     
  2. andreas_solkner

    andreas_solkner Aktives Mitglied

    Registriert seit:
    23. Dezember 2018
    Beiträge:
    29
    Danke erhalten:
    0
    Danke vergeben:
    4
    sorry, das verstehe ich nicht ganz. was ist ein "noindex-tag"? :(

    die schalter für robots der betreffenden seiten (Eintrag in robots.txt (disallow) sind ja dort standardmäßig auf "an"
    und in der robots.txt steht zB: Disallow: /info/Versand-und-Zahlungsbedingungen.html

    was soll ich damit machen, die zeile rauslöschen und dann?

    danke :rolleyes:
     
  3. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.831
    Danke erhalten:
    1.122
    Danke vergeben:
    947
    Es gibt ja in der

    system/overloads/headerextendercomponent/seotagsheaderextender.php.inc

    offenbar auch Möglichkeiten, um einen noindex-Tag für Seiten mit bestimmten URL-Parametern zu definieren - dann wäre das Problem gelöst (auch wenn Gambio diese Seiten trotzdem noch ohne weitere Änderungen an der Datei als Canonical auszeichnet):

    Code:
            $noIndexKeys = [
                'feature_categories_id',
                'filter_categories_id',
                'filter_fv_id',
                'filter_id',
                'filter_price_max',
                'filter_price_min',
                'keywords',
                'listing_count',
                'listing_sort',
                'page',
                'value_conjunction'
            ];
           
            $noRelPrevNext = [
                'feature_categories_id',
                'filter_categories_id',
                'filter_fv_id',
                'filter_id',
                'filter_price_max',
                'filter_price_min',
                'listing_count',
                'listing_sort',
                'value_conjunction'
            ];
           
            foreach($noIndexKeys as $key)
            {
                if(in_array($key, $getArray))
                {
                    $robots = 'noindex,follow';
                    break;
                }
            }
    Funktioniert aber leider nicht in GX 3.10.1.0
     
  4. andreas_solkner

    andreas_solkner Aktives Mitglied

    Registriert seit:
    23. Dezember 2018
    Beiträge:
    29
    Danke erhalten:
    0
    Danke vergeben:
    4
    bin leider ein newbie. für eine step by step anleitung wäre ich sehr dankbar.
     
  5. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    20. Juni 2018
    Beiträge:
    316
    Danke erhalten:
    14
    Danke vergeben:
    132
    #85 Anonymous, 3. Februar 2019
    Zuletzt bearbeitet: 3. Februar 2019
    Schau bitte in den Quelltext der betreffenden Seite, z.B. bei der 'agb.php'. Dort solltest Du folgenden Eintrag finden:

    <meta name="robots" content="noindex,follow" />

    der sagt dem Google-Bot, dass er diese Seite nicht in den Google-Index aufnehmen, bzw. löschen soll.

    Allerdings gibt es ein Problem, wenn diese Seite durch die robots.txt gesperrt ist. also z.B. durch diese Zeile:

    Disallow: /agb.php

    In diesem Fall bleibt der Google-bot stehen, wie vor einer geschlossenen Tür und wird diese (noindex)-Nachricht nicht auslesen und wird folglich die Seite auch nicht aus dem Index nehmen.

    Also Du brauchst einen noindex-Eintrag auf der Seite (z.B. login.php) und musst die Zeile gleichzeitig für diese Seite in der robot.stxt vorrübergehend von Hand rausnehmen, damit der Bot die Botschaft lesen kann. (Tür aufmachen)

    Wie bekommt man nun den noindex.tag auf die Seite? In der Gambio-Version 3.11.2.0 hast Du die Möglichkeit 'Statische Seiten' (unter SEO) mit in die robots.txt aufzunehmen, Du kannst auch eigene statische Seiten einrichten. Wenn Du dort robots.txt einschaltest, bekommt die Seite automatisch auch einen noindex Eintrag. Kannst du im Quelltext Deines Browsers nachschauen und kontrollieren.

    Wohlgemerkt, das ist ein Provisorium... Funktioniert, es gäbe aber sicherlich eine elegantere Methode...
     
  6. andreas_solkner

    andreas_solkner Aktives Mitglied

    Registriert seit:
    23. Dezember 2018
    Beiträge:
    29
    Danke erhalten:
    0
    Danke vergeben:
    4
    #86 andreas_solkner, 3. Februar 2019
    Zuletzt bearbeitet: 3. Februar 2019
    danke ich glaube ich habs nun verstanden. erkennt google automatisch die änderungen oder muss ich das irgendwie "anstoßen"?
     
  7. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    20. Juni 2018
    Beiträge:
    316
    Danke erhalten:
    14
    Danke vergeben:
    132
    Ja, in der GoogeSearchConsole unter 'Abdeckung', da wo Du die Fehler entdeckt hast. Mit ein bisschen Klicken, bekommst Du oben rechts einen weißen Button. "NEUE PRÜFUNG STARTEN"

    Aber erst alles prüfen, ob überall die noindex drin ist und aus der robots.txt alles raus ist.
     
  8. andreas_solkner

    andreas_solkner Aktives Mitglied

    Registriert seit:
    23. Dezember 2018
    Beiträge:
    29
    Danke erhalten:
    0
    Danke vergeben:
    4
    #88 andreas_solkner, 3. Februar 2019
    Zuletzt bearbeitet: 3. Februar 2019
    hab für "neue prüfung" nichts gefunden, sieht so aus als wäre die überprüfung noch im gange bzw. in der warteschleife. werde wohl etwas abwarten müssen. danke nochmals
     

    Anhänge:

  9. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    20. Juni 2018
    Beiträge:
    316
    Danke erhalten:
    14
    Danke vergeben:
    132
    ja, die neue Prüfung ist im Gange seit 31.01.19.
     
  10. Sven_D

    Sven_D Erfahrener Benutzer

    Registriert seit:
    13. Juli 2018
    Beiträge:
    115
    Danke erhalten:
    1
    Danke vergeben:
    37
    Guten Tag, ich habe heute auch die die Meldung bekommen.
    Zwei meiner Seiten machen die Probleme. Ich bin auch absoluter Laie, was wäre der einfachste weg den Fehler zu beheben?

    .....info/privatsphaere-und-datenschutz.html
    ...../advanced_search.php
     
  11. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    20. Juni 2018
    Beiträge:
    316
    Danke erhalten:
    14
    Danke vergeben:
    132
    Hallo Sven, sei bitte nicht böse, aber schau einfach weiter oben. Da steht die Anleitung... Schon das zweite Mal übrigens.

    Ihr könnt die Seiten auch alternativ aus dem Index nehmen lassen. Dafür geht Ihr auf

    https://www.google.com/webmasters/tools/

    und dort auf Eure Seite (Proberty) Eventuell muss diese erst angemeldet werden. Auf der linken Seite solltet ihr ein Menü finden und den Punkt 'Google-Index" und darunter dann "URLs enfernen". Das Entfernen ist zeitlich begrenzt. Ihr solltet in der Zwischenzeit dafür sorgen, dass Googel die Seite nicht mehr findet, wenn es nach ein paar Wochen wieder losgeht.
     
  12. Sven_D

    Sven_D Erfahrener Benutzer

    Registriert seit:
    13. Juli 2018
    Beiträge:
    115
    Danke erhalten:
    1
    Danke vergeben:
    37
    Hallo Klaus, vielen Dank für deine Antwort.
    Dann muss ich leider einmal anders Fragen. Wie komme ich zu dem jeweiligen Quelltext der Seite ?
     
  13. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    20. Juni 2018
    Beiträge:
    316
    Danke erhalten:
    14
    Danke vergeben:
    132
    Ganz einfach:

    Deine Seite im Browser aufrufen und mit dem Curser draufgehen. Rechte Maustaste klicken. Es öffnet sich ein Menü, u.a. steht da "Seitenquelltext anzeigen". Oder noch schneller mit "Strg U". Jeder Browser hat eine Suchfunktion. Dort z.B. "noindex" eingeben und Du siehst was los ist.

    Wichtig: Du kannst hier nichts ändern, nur anschauen.
     
  14. Sven_D

    Sven_D Erfahrener Benutzer

    Registriert seit:
    13. Juli 2018
    Beiträge:
    115
    Danke erhalten:
    1
    Danke vergeben:
    37
    Hallo Klaus, denn Quell text habe ich geöffnet. Muss ich jetzt alle 2000 Zeilen nach dem Eintrag suchen ? Ich nutze Firefox.
     
  15. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    20. Juni 2018
    Beiträge:
    316
    Danke erhalten:
    14
    Danke vergeben:
    132
    Wie schon gesagt.....

    Einfach "Strg-F" Das kleine, unscheinbare Suchfenster ist dann bei Firefox unten links...
     
  16. Sven_D

    Sven_D Erfahrener Benutzer

    Registriert seit:
    13. Juli 2018
    Beiträge:
    115
    Danke erhalten:
    1
    Danke vergeben:
    37
    ahhh.... jetzt hab ichs ! Strg-F war die Lösung!

    Folgendes steht im Quelltext der Seite:

    <meta name="robots" content="noindex,follow" />
     
  17. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    20. Juni 2018
    Beiträge:
    316
    Danke erhalten:
    14
    Danke vergeben:
    132
    OK, damit wird Google (und anderen Bots) gesagt : Diese Seite nicht in deinen Index aufnehmen.

    Aber wahrscheinlich kann Google diese Anweisung nicht lesen, weil der Zugriff auf diese Seite durch einen Eintrag in der robots.txt verboten wurde.

    Du musst also schauen ob Du deine beiden beanstandeten Seiten in der robots.txt wiederfindest und wenn ja beide Einträge löschen. Damit machtst Du die Tür auf. Google kann rein... Danach eine neue Prüfung beantragen.

    Nach ein paar Tagen bekommmst Du Nachricht. Verläuft das positv eine neue robots.txt generieren. (wieder zumachen)
     
  18. Sven_D

    Sven_D Erfahrener Benutzer

    Registriert seit:
    13. Juli 2018
    Beiträge:
    115
    Danke erhalten:
    1
    Danke vergeben:
    37
    Also wenn ich mir die Einstellung im Content ansehe, ist es ja auch klar , dass die Tür zu ist (siehe Anhang)
    Würde es nicht einfach reichen diese Einstellungen kurzeitig zu verändern ?
     

    Anhänge:

  19. ccxx

    ccxx Erfahrener Benutzer

    Registriert seit:
    18. April 2013
    Beiträge:
    66
    Danke erhalten:
    0
    Danke vergeben:
    19
    Hallo Zusammen,

    ich habe Gambio 3.11.1.2 und möchte alle Unterkategorien und Artikel die unter der zweiten Ebene (verschachtelte Kategorien)

    www.shop.de/eben1/eben2/eben3
    liegen mit
    <meta name="robots" content="noindex,follow">
    hinterlegen lassen.
    Wo kann ich dies einstellen?

    Vielen Dank!
     
  20. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    20. Juni 2018
    Beiträge:
    316
    Danke erhalten:
    14
    Danke vergeben:
    132
    Wenn du den robots.txt-Hebel rausmachst, ist wahrscheinlich auch der noindex-Tag wieder weg. Die beiden Sachen sind gekoppelt. So hab ich Wiken (von Gambio) jedenfalls verstanden.

    Einfach mal testen. Du weißt ja wie es geht.

    Deshalb den Eintrag in der robots.txt von Hand löschen.