Indexiert, obwohl durch robots.txt-Datei blockiert

Thema wurde von Anonymous, 23. November 2018 erstellt.

  1. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    20. Juni 2018
    Beiträge:
    316
    Danke erhalten:
    14
    Danke vergeben:
    132
    #1 Anonymous, 23. November 2018
    Zuletzt bearbeitet: 24. November 2018
    Google, gibt mir folgende Warnung aus: "Indexiert, obwohl durch robots.txt-Datei blockiert"

    Folgende 10 Dateien sind betroffen:

    /info/Widerrufsrecht-und-Muster-Widerrufsformular.html
    /login.php
    /info/privatsphaere-und-datenschutz.html
    /info/allgemeine-geschaeftsbedingungen.html
    /popup/Versand-und-Zahlungsbedingungen.html
    /advanced_search.php
    /info/impressum.html
    /password_double_opt.php
    /shopping_cart.php
    /wish_list.php

    Diese Seiten sind in der robots.txt enthalten und nicht in der Sitemap.

    Anscheinend reicht das nicht. Braucht es einen zusätzlichen "noindex"-Tag? Aber wie?

    Kann mir jemand sagen, wie ich vorgehen muss?

    Danke
     
  2. Wilken (Gambio)

    Wilken (Gambio) Erfahrener Benutzer

    Registriert seit:
    7. November 2012
    Beiträge:
    18.737
    Danke erhalten:
    7.309
    Danke vergeben:
    2.208
    Ein noindex Metatag ist ab GX3.11 in den Seiten vorhanden, wenn der robots Schalter dafür unter SEO -> statische Seiten eingeschaltet ist.
     
  3. Orange Raven

    Orange Raven Erfahrener Benutzer

    Registriert seit:
    3. April 2013
    Beiträge:
    359
    Danke erhalten:
    139
    Danke vergeben:
    50
    Auf der von Wiliken genannten Seite hast du die Möglichkeit einzustellen, ob die Seite in der Sitemap sein soll und ob die Crawler sie besuchen dürfen.

    Bei den Seiten, die nicht dort aufgeführt sind kann man es direkt im Contenteditor einstellen.

    Manche Seiten sind nicht notwendig, dass Google sie indexiert. Das heißt sie können auf Disallow stehen und müssen auch nicht in die Sitemap rein.
     
  4. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    20. Juni 2018
    Beiträge:
    316
    Danke erhalten:
    14
    Danke vergeben:
    132
    #4 Anonymous, 30. November 2018
    Zuletzt bearbeitet: 30. November 2018
    Wo schreibe ich den noindex-Tag denn auf den
    Content-Manger-Seiten rein?

    In die
    Meta Description
    Meta Description
    ?

    Geht das überhaut?

    PS:
    Ich bin erst auf 3.10.x
    Muss wohl mal updateten.
    Danke
     
  5. Orange Raven

    Orange Raven Erfahrener Benutzer

    Registriert seit:
    3. April 2013
    Beiträge:
    359
    Danke erhalten:
    139
    Danke vergeben:
    50
    Bei 3.10. kann ichs gerade nicht sagen ob die da auch vorhanden sind. Hab gerade kein 3.10 Testsystem zur Hand.

    Aber in 3.11. hast du diese Einstellungen in den Contentseiten. Da musst du nichts extra einbauen. Einzelne Meta-Tags auf die Seiten bauen ist Plug & Play möglich.
     

    Anhänge:

  6. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    20. Juni 2018
    Beiträge:
    316
    Danke erhalten:
    14
    Danke vergeben:
    132
    #6 Anonymous, 30. November 2018
    Zuletzt bearbeitet: 30. November 2018
    Danke Orange Raven.

    Aber die beiden Schalter, die Du beschreibst, stehen bereits. (Kein Eintrag in der Sitemap und ein 'disallow' in der robots.txt)

    Was zusätzlich auf den og. Seiten nötig ist, ist ein Eintrag etwa so:

    <meta name="robots" content="noindex" />

    Dabei darf aber die URL nicht gleichzeitig über die robots.txt-Datei vom Crawling ausgeschlossen sein, da sonst der Crawler die Seite und den noindex-Tag gar nicht finden kann.

    Der Befehl "disallow" in der 'robotst.txt' verbietet das Lesen der Seite, hilft aber nicht dabei, die Seite nachträglich wieder aus dem Index zu nehmen.

    Mit "noindex" wird der Suchmaschine gesagt: "Du kannst diese Seite lesen, aber bitte nicht in den Index aufnehmen".

    Ich werde demnächst auf 3.11 updaten und hoffe, dass alle o.g. Seiten auch einstellbar sind.
     
  7. Orange Raven

    Orange Raven Erfahrener Benutzer

    Registriert seit:
    3. April 2013
    Beiträge:
    359
    Danke erhalten:
    139
    Danke vergeben:
    50
    Das ist mir klar. Dachte dein Problem ist allgemein, dass die Crawler auf die Seite kommen und den Fehler bringen.

    Mir ist jetzt aus dem Stehgreif eine solche Funktion in Gambio nicht bekannt, sondern nur die oben genannten. Entferne die URL doch einfach über die Search Console. Hast du sie auf disallow stehen und nicht in der Sitemap, sollte sie danach auch nicht mehr auftauchen.
     
  8. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    20. Juni 2018
    Beiträge:
    316
    Danke erhalten:
    14
    Danke vergeben:
    132
    ... ist nichts Dramatisches.

    Wird nur von Google "bemeckert" (Warnung). Kann einfach, wie oben beschrieben, durch den Eintrag
    <meta name="robots" content="noindex" /> auf jeder dieser Seiten behoben werden.

    Die Lösung in Gambio 3.11. hat Wilken schon beschrieben. Ich hoffe nur, dass man damit alle o.g. 10 Warnungen abschalten kann.

    Nachvollziehen kann das jeder mit seiner eigenen URL auf der "Google SearchConsole unter "Abdeckung".
     
  9. Charly

    Charly Erfahrener Benutzer

    Registriert seit:
    27. Februar 2013
    Beiträge:
    87
    Danke erhalten:
    1
    Danke vergeben:
    1
    ich versteh das nicht, die Fehlermeldung (Indexiert, obwohl durch robots.txt-Datei blockiert) tritt bei mir bei immer mehr Seiten auf. Das war am 12.11.2018 noch 4 Seiten, jetzt sind es 592. Wie kommt das so plötzlich?
    Bildschirmfoto vom 2018-12-17 10-41-56.png
     
  10. Orange Raven

    Orange Raven Erfahrener Benutzer

    Registriert seit:
    3. April 2013
    Beiträge:
    359
    Danke erhalten:
    139
    Danke vergeben:
    50
  11. Wilken (Gambio)

    Wilken (Gambio) Erfahrener Benutzer

    Registriert seit:
    7. November 2012
    Beiträge:
    18.737
    Danke erhalten:
    7.309
    Danke vergeben:
    2.208
    Richtige und wichtige Frage. So allein ist der Graph für eine Analyse wertlos.
     
  12. Orange Raven

    Orange Raven Erfahrener Benutzer

    Registriert seit:
    3. April 2013
    Beiträge:
    359
    Danke erhalten:
    139
    Danke vergeben:
    50
    Mach doch einfach einen Screenshot von der URL Liste oder kopier die komplett rein. Dieses Rätselraten mit anonymen Domains ist immer so beschwerlich. :)
     
  13. Charly

    Charly Erfahrener Benutzer

    Registriert seit:
    27. Februar 2013
    Beiträge:
    87
    Danke erhalten:
    1
    Danke vergeben:
    1
    Ich will hier keine Werbung machen und noch dazu auf unerwünschte Seiten verlinken. Aber abgesehen davon sagen die URL's doch doch das Problem an, egal was vor dem Fragezeichen steht. Oder täusche ich mich da?
     
  14. Orange Raven

    Orange Raven Erfahrener Benutzer

    Registriert seit:
    3. April 2013
    Beiträge:
    359
    Danke erhalten:
    139
    Danke vergeben:
    50
    So ein Quatsch. Das ist keine unerwünschte Werbung, sondern ein Link der zur Analyse und bei der Hilfe eines Problems hilft.

    Ein Screenshot der URLs ist außerdem übersichtlicher (finde ich) und man kann mal die Robts.txt und die Sitemap genauer anschauen, wenn man den Link zu deiner Seite hat. Alles andere ist rumorakelei. Dieses "domain.de" gewurstel ist nervig und unübersichtlich aus meiner Sicht.
     
  15. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    20. Juni 2018
    Beiträge:
    316
    Danke erhalten:
    14
    Danke vergeben:
    132
    Hallo Charly, wie lautet denn der exakte Text der Google-Warnung zu diesen 592 Seiten?

    "Indexiert, obwohl durch robots.txt-Datei blockiert" ? Genau so, oder anders?

    Wenn die Meldung bei Dir exakt so dasteht, dann müssten alle diese 592 Seite auch in deiner robots.txt mit dem Befehl "disallow" zu finden sein. Nur so kann exakt diese Warnung entstehen.

    Schau bitte mal in Deiner robots.txt nach:

    Disallow: /sitzbank-umkleideraum.html?page=10

    oder eventuell auch ein:

    Disallow: ?

    oder so ähnlich
     
  16. Charly

    Charly Erfahrener Benutzer

    Registriert seit:
    27. Februar 2013
    Beiträge:
    87
    Danke erhalten:
    1
    Danke vergeben:
    1
    das hier ist die komplette robots.txt

    User-agent: *
    Disallow: /*products_qty*
    Disallow: /*page=SN_*
    Disallow: /*tpl=*
    Disallow: /*XTCsid*
    Disallow: /*currency=*
    Disallow: /*do=CreateGuest*
    Disallow: /*do=CreateRegistree*
    Disallow: /*switch_country=*
    Disallow: /*filter_fv_id*
    Disallow: /*filter_id*
    Disallow: /*filter_price_max*
    Disallow: /*filter_price_min*
    Disallow: /*listing_count*
    Disallow: /*listing_sort*
    Disallow: /*gm_boosted_category*
    Disallow: /*gm_boosted_product*
    Disallow: /*sort=*
    Disallow: /*view_mode*
    Disallow: /actindo/
    Disallow: /admin/
    Disallow: /cache/
    Disallow: /currency/
    Disallow: /download/
    Disallow: /export/
    Disallow: /logfiles/
    Disallow: /includes/
    Disallow: /media/content/
    Disallow: /pub/
    Disallow: /*/popup/*
    Disallow: /popup/*
    Disallow: /sort/
    Disallow: /templates_c/
    Disallow: /address_book_process.php
    Disallow: /account.php
    Disallow: /address_book.php
    Disallow: /account_edit.php
    Disallow: /account_edit_process.php
    Disallow: /account_history.php
    Disallow: /account_history_info.php
    Disallow: /callback/
    Disallow: /checkout_address.php
    Disallow: /checkout_confirmation.php
    Disallow: /checkout_payment.php
    Disallow: /checkout_payment_address.php
    Disallow: /checkout_process.php
    Disallow: /checkout_shipping.php
    Disallow: /checkout_shipping_address.php
    Disallow: /checkout_success.php
    Disallow: /checkout_vrepay_elv.php
    Disallow: /checkout_vrepay_giropay.php
    Disallow: /checkout_vrepay_kreditkarte.php
    Disallow: /create_account.php
    Disallow: /create_account_process.php
    Disallow: /create_account_success.php
    Disallow: /create_guest_account.php
    Disallow: /display_vvcodes.php
    Disallow: /download.php
    Disallow: /ext/
    Disallow: /fax.html
    Disallow: /*gambio_installer*/
    Disallow: /gambio_updater/
    Disallow: /gm/
    Disallow: /gm_account_delete.php
    Disallow: /gm_css_monitor.php
    Disallow: /gm_opensearch.php
    Disallow: /gm_price_offer.php
    Disallow: /gm_privacy.php
    Disallow: /GProtector/
    Disallow: /gv_redeem.php
    Disallow: /gv_send.php
    Disallow: /heidelpay-curl.class.php
    Disallow: /heidelpay-frontend.css.php
    Disallow: /heidelpay-frontend.js.php
    Disallow: /heidelpay-listener.php
    Disallow: /heidelpay-sender.php
    Disallow: /hp_example_banner.html
    Disallow: /import/
    Disallow: /inc/
    Disallow: /lang/
    Disallow: /lettr/
    Disallow: /login_admin.php
    Disallow: /logoff.php
    Disallow: /notify_vrepay_elv.php
    Disallow: /notify_vrepay_giropay.php
    Disallow: /notify_vrepay_kreditkarte.php
    Disallow: /PdfCreator/
    Disallow: /popup_coupon_help.php
    Disallow: /popup_image.php
    Disallow: /popup_search_help.php
    Disallow: /print_order.php
    Disallow: /print_product_info.php
    Disallow: /product_reviews.php
    Disallow: /product_reviews_info.php
    Disallow: /product_reviews_write.php
    Disallow: /redirect.php
    Disallow: /release_info.php
    Disallow: /request_port.php
    Disallow: /reviews.php
    Disallow: /send_order.php
    Disallow: /shop.php
    Disallow: /shopgate/
    Disallow: /show_product_thumbs.php
    Disallow: /ssl_check.php
    Disallow: /StyleEdit/
    Disallow: /system/
    Disallow: /GXEngine/
    Disallow: /GXMainComponents/
    Disallow: /GXUserComponents/
    Disallow: /version_info/
    Disallow: /vrepay_kreditkarte.php
    Disallow: /withdrawal.php
    Disallow: /wpcallback.php
    Disallow: /xtbcallback.php
    Disallow: /login.php
    Disallow: /password_double_opt.php
    Disallow: /wish_list.php
    Disallow: /shopping_cart.php
    Disallow: /advanced_search_result.php
    Disallow: /advanced_search.php
    Disallow: /newsletter.php
    Disallow: /info/privacy-notice.html
    Disallow: /shop_content.php?coID=2
    Disallow: /popup_content.php?coID=2
    Disallow: /info/conditions-of-use.html
    Disallow: /shop_content.php?coID=3
    Disallow: /popup_content.php?coID=3
    Disallow: /info/imprint.html
    Disallow: /shop_content.php?coID=4
    Disallow: /popup_content.php?coID=4
    Disallow: /info/allgemeine-geschaeftsbedingungen.html
    Disallow: /shop_content.php?coID=3
    Disallow: /popup_content.php?coID=3
    Disallow: /info/meine-ebay-artikel.html
    Disallow: /shop_content.php?coID=9
    Disallow: /popup_content.php?coID=9
    Disallow: /info/ebay.html
    Disallow: /shop_content.php?coID=9
    Disallow: /popup_content.php?coID=9
    Disallow: /info/ebay.html
    Disallow: /shop_content.php?coID=9
    Disallow: /popup_content.php?coID=9
    Disallow: /info/meine-ebay-artikel.html
    Disallow: /shop_content.php?coID=9
    Disallow: /popup_content.php?coID=9
    Disallow: /info/Shipping-and-payment-conditions.html
    Disallow: /shop_content.php?coID=3889891
    Disallow: /popup_content.php?coID=3889891
    Disallow: /info/Versand-und-Zahlungsbedingungen.html
    Disallow: /shop_content.php?coID=3889891
    Disallow: /popup_content.php?coID=3889891
    Disallow: /info/Right-of-Withdrawal--Model-Withdrawal-Form.html
    Disallow: /shop_content.php?coID=3889895
    Disallow: /popup_content.php?coID=3889895
    Disallow: /info/Widerrufsrecht-und-Muster-Widerrufsformular.html
    Disallow: /shop_content.php?coID=3889895
    Disallow: /popup_content.php?coID=3889895
    Sitemap: https://domain.de/public/sitemap_index.xml
     
  17. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    20. Juni 2018
    Beiträge:
    316
    Danke erhalten:
    14
    Danke vergeben:
    132
    Das sieht für mich ganz normal aus.

    Könntest Du bitte eine komplette URL hier einkopieren, die bei Google in der Liste steht? Eine reicht. Und bitte den original Warnungs-Text von Google.
     
  18. Wilken (Gambio)

    Wilken (Gambio) Erfahrener Benutzer

    Registriert seit:
    7. November 2012
    Beiträge:
    18.737
    Danke erhalten:
    7.309
    Danke vergeben:
    2.208
    Wer seine konkreten Probleme nicht zeigt (hier: nicht verlinkt) und dazu verknappt (hier: erstmal nur eine Übersicht gezeigt, keinen konkreten Fall) , kriegt in aller Regel weniger, schlechtere und langsamere Hilfe, weil die Ausgangsbedingungen für alle möglichen Helfer schlechter sind. Mehr ist quasi immer besser.

    Die URLs kann man mit dem gegebenem Infos thematisch tatsächlich auseinandernehmen. Hier interessiert im Prinzip was für ein Seitentyp soll adressiert werden, und ist die URL dementsprechend insgesamt valide.

    Die gezeigten URLs zeigen auf Artikelseiten. Im Pfadanteil der URL sind immer Endungen auf .html, damit sind es keine Kategorien. Da nach dem Hostanteil der URL vorne im Pfad nicht direkt nach eventueller Sprache weder .../info/... noch .../popup/... steht handelt es sich um keine Contentseite, also ist es nach Ausschluss aller anderen Möglichkeiten eine Artikelseite.

    Der URL für die Artikelseiten hängt nun ein page Parameter an, der Unterseiten adressiert. Artikelseiten haben keine Paginierung, keine mehreren Seiten zum blättern, also ist der Unsinn. Ist ein Parameter Unsinn, ist ein ganze URL Unsinn. Da alle gezeigten URLs schematisch gleich sind, sind damit alle gezeigten abgefrühstückt.

    Kategorien wären für Paginierung ein Gegenbeispiel. Die haben oft mehrere Seiten, da brauchts den Page Parameter, was auch bedeutet eine pauschale Sperrung per Robots ist Unsinn.

    Welche Shopversion läuft da?
     
  19. Dominik Späte

    Dominik Späte Erfahrener Benutzer

    Registriert seit:
    16. Oktober 2018
    Beiträge:
    930
    Danke erhalten:
    802
    Danke vergeben:
    300
    Naja, also welche Domain außer fintabo.de sollte es denn sein?

    Sicher? Was ist, wenn bspw. Disallow: /*page=* in der robots.txt steht bzw. stand?

    @Charly Stand es denn mal drin? Das wäre eine Erklärung. Im Moment sehe ich nicht, warum die Seiten blockiert sein sollten.