Google, gibt mir folgende Warnung aus: "Indexiert, obwohl durch robots.txt-Datei blockiert" Folgende 10 Dateien sind betroffen: /info/Widerrufsrecht-und-Muster-Widerrufsformular.html /login.php /info/privatsphaere-und-datenschutz.html /info/allgemeine-geschaeftsbedingungen.html /popup/Versand-und-Zahlungsbedingungen.html /advanced_search.php /info/impressum.html /password_double_opt.php /shopping_cart.php /wish_list.php Diese Seiten sind in der robots.txt enthalten und nicht in der Sitemap. Anscheinend reicht das nicht. Braucht es einen zusätzlichen "noindex"-Tag? Aber wie? Kann mir jemand sagen, wie ich vorgehen muss? Danke
Ein noindex Metatag ist ab GX3.11 in den Seiten vorhanden, wenn der robots Schalter dafür unter SEO -> statische Seiten eingeschaltet ist.
Auf der von Wiliken genannten Seite hast du die Möglichkeit einzustellen, ob die Seite in der Sitemap sein soll und ob die Crawler sie besuchen dürfen. Bei den Seiten, die nicht dort aufgeführt sind kann man es direkt im Contenteditor einstellen. Manche Seiten sind nicht notwendig, dass Google sie indexiert. Das heißt sie können auf Disallow stehen und müssen auch nicht in die Sitemap rein.
Wo schreibe ich den noindex-Tag denn auf den Content-Manger-Seiten rein? In die Meta Description Meta Description ? Geht das überhaut? PS: Ich bin erst auf 3.10.x Muss wohl mal updateten. Danke
Bei 3.10. kann ichs gerade nicht sagen ob die da auch vorhanden sind. Hab gerade kein 3.10 Testsystem zur Hand. Aber in 3.11. hast du diese Einstellungen in den Contentseiten. Da musst du nichts extra einbauen. Einzelne Meta-Tags auf die Seiten bauen ist Plug & Play möglich.
Danke Orange Raven. Aber die beiden Schalter, die Du beschreibst, stehen bereits. (Kein Eintrag in der Sitemap und ein 'disallow' in der robots.txt) Was zusätzlich auf den og. Seiten nötig ist, ist ein Eintrag etwa so: <meta name="robots" content="noindex" /> Dabei darf aber die URL nicht gleichzeitig über die robots.txt-Datei vom Crawling ausgeschlossen sein, da sonst der Crawler die Seite und den noindex-Tag gar nicht finden kann. Der Befehl "disallow" in der 'robotst.txt' verbietet das Lesen der Seite, hilft aber nicht dabei, die Seite nachträglich wieder aus dem Index zu nehmen. Mit "noindex" wird der Suchmaschine gesagt: "Du kannst diese Seite lesen, aber bitte nicht in den Index aufnehmen". Ich werde demnächst auf 3.11 updaten und hoffe, dass alle o.g. Seiten auch einstellbar sind.
Das ist mir klar. Dachte dein Problem ist allgemein, dass die Crawler auf die Seite kommen und den Fehler bringen. Mir ist jetzt aus dem Stehgreif eine solche Funktion in Gambio nicht bekannt, sondern nur die oben genannten. Entferne die URL doch einfach über die Search Console. Hast du sie auf disallow stehen und nicht in der Sitemap, sollte sie danach auch nicht mehr auftauchen.
... ist nichts Dramatisches. Wird nur von Google "bemeckert" (Warnung). Kann einfach, wie oben beschrieben, durch den Eintrag <meta name="robots" content="noindex" /> auf jeder dieser Seiten behoben werden. Die Lösung in Gambio 3.11. hat Wilken schon beschrieben. Ich hoffe nur, dass man damit alle o.g. 10 Warnungen abschalten kann. Nachvollziehen kann das jeder mit seiner eigenen URL auf der "Google SearchConsole unter "Abdeckung".
ich versteh das nicht, die Fehlermeldung (Indexiert, obwohl durch robots.txt-Datei blockiert) tritt bei mir bei immer mehr Seiten auf. Das war am 12.11.2018 noch 4 Seiten, jetzt sind es 592. Wie kommt das so plötzlich?
fast alles was hinter dem Fragezeichen noch kommt, wo eigentlich durch die robots.txt verhindert sein sollte. Beispiele: https://domain.de/rollbehaelter-01.html?page=12 https://domain.de/gefahrstoffregal-8.html?page=2 https://domain.de/buerostuhl-7.html?page=7 https://domain.de/dreiwandwagen.html?page=29 https://domain.de/etagenwagen-006.html?page=15 https://domain.de/sitzbank-umkleideraum.html?page=11 https://domain.de/sitzbank-umkleideraum.html?page=10
Mach doch einfach einen Screenshot von der URL Liste oder kopier die komplett rein. Dieses Rätselraten mit anonymen Domains ist immer so beschwerlich.
Ich will hier keine Werbung machen und noch dazu auf unerwünschte Seiten verlinken. Aber abgesehen davon sagen die URL's doch doch das Problem an, egal was vor dem Fragezeichen steht. Oder täusche ich mich da?
So ein Quatsch. Das ist keine unerwünschte Werbung, sondern ein Link der zur Analyse und bei der Hilfe eines Problems hilft. Ein Screenshot der URLs ist außerdem übersichtlicher (finde ich) und man kann mal die Robts.txt und die Sitemap genauer anschauen, wenn man den Link zu deiner Seite hat. Alles andere ist rumorakelei. Dieses "domain.de" gewurstel ist nervig und unübersichtlich aus meiner Sicht.
Hallo Charly, wie lautet denn der exakte Text der Google-Warnung zu diesen 592 Seiten? "Indexiert, obwohl durch robots.txt-Datei blockiert" ? Genau so, oder anders? Wenn die Meldung bei Dir exakt so dasteht, dann müssten alle diese 592 Seite auch in deiner robots.txt mit dem Befehl "disallow" zu finden sein. Nur so kann exakt diese Warnung entstehen. Schau bitte mal in Deiner robots.txt nach: Disallow: /sitzbank-umkleideraum.html?page=10 oder eventuell auch ein: Disallow: ? oder so ähnlich
das hier ist die komplette robots.txt User-agent: * Disallow: /*products_qty* Disallow: /*page=SN_* Disallow: /*tpl=* Disallow: /*XTCsid* Disallow: /*currency=* Disallow: /*do=CreateGuest* Disallow: /*do=CreateRegistree* Disallow: /*switch_country=* Disallow: /*filter_fv_id* Disallow: /*filter_id* Disallow: /*filter_price_max* Disallow: /*filter_price_min* Disallow: /*listing_count* Disallow: /*listing_sort* Disallow: /*gm_boosted_category* Disallow: /*gm_boosted_product* Disallow: /*sort=* Disallow: /*view_mode* Disallow: /actindo/ Disallow: /admin/ Disallow: /cache/ Disallow: /currency/ Disallow: /download/ Disallow: /export/ Disallow: /logfiles/ Disallow: /includes/ Disallow: /media/content/ Disallow: /pub/ Disallow: /*/popup/* Disallow: /popup/* Disallow: /sort/ Disallow: /templates_c/ Disallow: /address_book_process.php Disallow: /account.php Disallow: /address_book.php Disallow: /account_edit.php Disallow: /account_edit_process.php Disallow: /account_history.php Disallow: /account_history_info.php Disallow: /callback/ Disallow: /checkout_address.php Disallow: /checkout_confirmation.php Disallow: /checkout_payment.php Disallow: /checkout_payment_address.php Disallow: /checkout_process.php Disallow: /checkout_shipping.php Disallow: /checkout_shipping_address.php Disallow: /checkout_success.php Disallow: /checkout_vrepay_elv.php Disallow: /checkout_vrepay_giropay.php Disallow: /checkout_vrepay_kreditkarte.php Disallow: /create_account.php Disallow: /create_account_process.php Disallow: /create_account_success.php Disallow: /create_guest_account.php Disallow: /display_vvcodes.php Disallow: /download.php Disallow: /ext/ Disallow: /fax.html Disallow: /*gambio_installer*/ Disallow: /gambio_updater/ Disallow: /gm/ Disallow: /gm_account_delete.php Disallow: /gm_css_monitor.php Disallow: /gm_opensearch.php Disallow: /gm_price_offer.php Disallow: /gm_privacy.php Disallow: /GProtector/ Disallow: /gv_redeem.php Disallow: /gv_send.php Disallow: /heidelpay-curl.class.php Disallow: /heidelpay-frontend.css.php Disallow: /heidelpay-frontend.js.php Disallow: /heidelpay-listener.php Disallow: /heidelpay-sender.php Disallow: /hp_example_banner.html Disallow: /import/ Disallow: /inc/ Disallow: /lang/ Disallow: /lettr/ Disallow: /login_admin.php Disallow: /logoff.php Disallow: /notify_vrepay_elv.php Disallow: /notify_vrepay_giropay.php Disallow: /notify_vrepay_kreditkarte.php Disallow: /PdfCreator/ Disallow: /popup_coupon_help.php Disallow: /popup_image.php Disallow: /popup_search_help.php Disallow: /print_order.php Disallow: /print_product_info.php Disallow: /product_reviews.php Disallow: /product_reviews_info.php Disallow: /product_reviews_write.php Disallow: /redirect.php Disallow: /release_info.php Disallow: /request_port.php Disallow: /reviews.php Disallow: /send_order.php Disallow: /shop.php Disallow: /shopgate/ Disallow: /show_product_thumbs.php Disallow: /ssl_check.php Disallow: /StyleEdit/ Disallow: /system/ Disallow: /GXEngine/ Disallow: /GXMainComponents/ Disallow: /GXUserComponents/ Disallow: /version_info/ Disallow: /vrepay_kreditkarte.php Disallow: /withdrawal.php Disallow: /wpcallback.php Disallow: /xtbcallback.php Disallow: /login.php Disallow: /password_double_opt.php Disallow: /wish_list.php Disallow: /shopping_cart.php Disallow: /advanced_search_result.php Disallow: /advanced_search.php Disallow: /newsletter.php Disallow: /info/privacy-notice.html Disallow: /shop_content.php?coID=2 Disallow: /popup_content.php?coID=2 Disallow: /info/conditions-of-use.html Disallow: /shop_content.php?coID=3 Disallow: /popup_content.php?coID=3 Disallow: /info/imprint.html Disallow: /shop_content.php?coID=4 Disallow: /popup_content.php?coID=4 Disallow: /info/allgemeine-geschaeftsbedingungen.html Disallow: /shop_content.php?coID=3 Disallow: /popup_content.php?coID=3 Disallow: /info/meine-ebay-artikel.html Disallow: /shop_content.php?coID=9 Disallow: /popup_content.php?coID=9 Disallow: /info/ebay.html Disallow: /shop_content.php?coID=9 Disallow: /popup_content.php?coID=9 Disallow: /info/ebay.html Disallow: /shop_content.php?coID=9 Disallow: /popup_content.php?coID=9 Disallow: /info/meine-ebay-artikel.html Disallow: /shop_content.php?coID=9 Disallow: /popup_content.php?coID=9 Disallow: /info/Shipping-and-payment-conditions.html Disallow: /shop_content.php?coID=3889891 Disallow: /popup_content.php?coID=3889891 Disallow: /info/Versand-und-Zahlungsbedingungen.html Disallow: /shop_content.php?coID=3889891 Disallow: /popup_content.php?coID=3889891 Disallow: /info/Right-of-Withdrawal--Model-Withdrawal-Form.html Disallow: /shop_content.php?coID=3889895 Disallow: /popup_content.php?coID=3889895 Disallow: /info/Widerrufsrecht-und-Muster-Widerrufsformular.html Disallow: /shop_content.php?coID=3889895 Disallow: /popup_content.php?coID=3889895 Sitemap: https://domain.de/public/sitemap_index.xml
Das sieht für mich ganz normal aus. Könntest Du bitte eine komplette URL hier einkopieren, die bei Google in der Liste steht? Eine reicht. Und bitte den original Warnungs-Text von Google.
Wer seine konkreten Probleme nicht zeigt (hier: nicht verlinkt) und dazu verknappt (hier: erstmal nur eine Übersicht gezeigt, keinen konkreten Fall) , kriegt in aller Regel weniger, schlechtere und langsamere Hilfe, weil die Ausgangsbedingungen für alle möglichen Helfer schlechter sind. Mehr ist quasi immer besser. Die URLs kann man mit dem gegebenem Infos thematisch tatsächlich auseinandernehmen. Hier interessiert im Prinzip was für ein Seitentyp soll adressiert werden, und ist die URL dementsprechend insgesamt valide. Die gezeigten URLs zeigen auf Artikelseiten. Im Pfadanteil der URL sind immer Endungen auf .html, damit sind es keine Kategorien. Da nach dem Hostanteil der URL vorne im Pfad nicht direkt nach eventueller Sprache weder .../info/... noch .../popup/... steht handelt es sich um keine Contentseite, also ist es nach Ausschluss aller anderen Möglichkeiten eine Artikelseite. Der URL für die Artikelseiten hängt nun ein page Parameter an, der Unterseiten adressiert. Artikelseiten haben keine Paginierung, keine mehreren Seiten zum blättern, also ist der Unsinn. Ist ein Parameter Unsinn, ist ein ganze URL Unsinn. Da alle gezeigten URLs schematisch gleich sind, sind damit alle gezeigten abgefrühstückt. Kategorien wären für Paginierung ein Gegenbeispiel. Die haben oft mehrere Seiten, da brauchts den Page Parameter, was auch bedeutet eine pauschale Sperrung per Robots ist Unsinn. Welche Shopversion läuft da?
Naja, also welche Domain außer fintabo.de sollte es denn sein? Sicher? Was ist, wenn bspw. Disallow: /*page=* in der robots.txt steht bzw. stand? @Charly Stand es denn mal drin? Das wäre eine Erklärung. Im Moment sehe ich nicht, warum die Seiten blockiert sein sollten.