Sitemap wird blokiert

Thema wurde von marliesschlesiger, 8. April 2013 erstellt.

  1. marliesschlesiger

    marliesschlesiger Erfahrener Benutzer

    Registriert seit:
    8. März 2013
    Beiträge:
    120
    Danke erhalten:
    1
    Danke vergeben:
    11
    Hallo,

    ich wollte meine Seite in sitemap einstellen.

    Problemanzahlt 4

    Diese Meldung kommt.

    Warnungen
    URL wird von der "robots.txt"-Datei blockiert.
    Sitemap enthält URLs, die von der "robots.txt"-Datei blockiert werden.

    Was bedeutet. das? Muss ich dort was ändern?

    Falls noch irgend welche Informationen fehlen versuche ich Euch die mitzuteilen.

    Bitte ganz einfach erklären. Bin kein Profi.

    Ich habe noch ein kleines Problem.

    Your site: is now linked to a Google Analytics web property.31.03.2013
    Was bedeutet das?Meine Seite habe ich dort eingerichtet. Es ist aber nur das Bild vom geschlossenen Shop zu sehen.
     
  2. René (Kids-Inhouse)

    René (Kids-Inhouse) Erfahrener Benutzer

    Registriert seit:
    26. September 2011
    Beiträge:
    344
    Danke erhalten:
    67
    Danke vergeben:
    60
    Hi!

    Eigentlich sagst Du schon alles...Deine Sitemap enthält Verweise zu Dateien, von denen Deine robots.txt sagt, dass diesen Verweisen nicht gefolgt werden soll. Ich hatte das auch schonmal, dass waren damals bei mir Dateien, die noch Session ID's beinhalteten. Du müsstest Dir Deine Sitemap.xml mal anschauen und mit der robots.txt. vergleichen, ob die sitemap.xml eben solche Dateien enthält. Ist eigentlich alles ganz gut verständlich als Klartext zu lesen...
     
  3. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    30.984
    Danke erhalten:
    6.096
    Danke vergeben:
    1.079
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    Schau doch mal in die Info WELCHE UR blockirt wird. Das wird wohl AGB, Impressum, WRB sein, weil Abmahngeier danach suchen lässt man die nicht im index von google erscheinen. Im COntent Manager hast aber sicher das Häckchen an das die in die Sitemap rein sollen. Daher die Fehlermeldung. Is aber nix schlimmes . kannst ignorieren oder korigieren im COntent Manager.
     
  4. marliesschlesiger

    marliesschlesiger Erfahrener Benutzer

    Registriert seit:
    8. März 2013
    Beiträge:
    120
    Danke erhalten:
    1
    Danke vergeben:
    11
    Stimmt genau dort auf diese Seiten ist hingewiesen.
     
  5. marliesschlesiger

    marliesschlesiger Erfahrener Benutzer

    Registriert seit:
    8. März 2013
    Beiträge:
    120
    Danke erhalten:
    1
    Danke vergeben:
    11
    Ich habe nun 16 Warnungen und weiß einfach nicht warum und wo ich suchen muss. Robots Datei sagt mir garnichts.

    Ist eine Liste.
    Ja!
    Doch was das bedeutet kann ich garnicht sagen.
     
  6. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    30.984
    Danke erhalten:
    6.096
    Danke vergeben:
    1.079
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    Poste doch einfach mal die 19 Warnungen hier,
    Weil meine Glaskugel is gerade in der Reinigung.
     
  7. marliesschlesiger

    marliesschlesiger Erfahrener Benutzer

    Registriert seit:
    8. März 2013
    Beiträge:
    120
    Danke erhalten:
    1
    Danke vergeben:
    11
    Ich weiß nicht woran ich das sehe. Denn ich sehe immer nur diese 3 Beispiel und komme auf keine Seite weiter, um zu sehen was da noch sein sollte.

    #
    TypProblemBeschreibungProblemanzahlBeispielZeileErkannt1

    Warnungen
    URL wird von der "robots.txt"-Datei blockiert.
    Sitemap enthält URLs, die von der "robots.txt"-Datei blockiert werden.
    16
    Wert: http://handarbeit-wolle.de/info/allgemeine-geschaeftsbedingungen.html

    -
    8. Apr 2013
    Wert: http://handarbeit-wolle.de/info/impressum.html

    -
    8. Apr 2013
    Wert: http://handarbeit-wolle.de/info/privatsphaere-und-datenschutz.html

    -
    8. Apr 2013

    1 - 1 von 1
     
  8. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    30.984
    Danke erhalten:
    6.096
    Danke vergeben:
    1.079
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    dann geh mal auf Status - blockierte URLs - da sind sicher um die 100-300 URLs :)

    Wenn es aber URLs sind die von der Robots blockiert werden is alles so gewollt ! (Ausser du hast selbst was da eingetragen)
     
  9. marliesschlesiger

    marliesschlesiger Erfahrener Benutzer

    Registriert seit:
    8. März 2013
    Beiträge:
    120
    Danke erhalten:
    1
    Danke vergeben:
    11
    Ich glaube das ist so OK und auch gewollt. Habe nichts gefunden was nicht gefunden werden soll. Oder siehst Du was?

    User-agent: *
    Disallow: /*XTCsid*
    Disallow: /*currency=*
    Disallow: /*filter_fv_id*
    Disallow: /*filter_id*
    Disallow: /*filter_price_max*
    Disallow: /*filter_price_min*
    Disallow: /*listing_count*
    Disallow: /*listing_sort*
    Disallow: /*gm_boosted_category*
    Disallow: /*sort=*
    Disallow: /*view_mode*
    Disallow: /admin/
    Disallow: /cache/
    Disallow: /currency/
    Disallow: /download/
    Disallow: /export/
    Disallow: /logfiles/
    Disallow: /includes/
    Disallow: /media/content/
    Disallow: /pub/
    Disallow: /sort/
    Disallow: /templates_c/
    Disallow: /address_book_process.php
    Disallow: /account.php
    Disallow: /address_book.php
    Disallow: /account_edit.php
    Disallow: /account_edit_process.php
    Disallow: /account_history.php
    Disallow: /account_history_info.php
    Disallow: /advanced_search.php
    Disallow: /advanced_search_result.php
    Disallow: /checkout_address.php
    Disallow: /checkout_confirmation.php
    Disallow: /checkout_iclear.php
    Disallow: /checkout_payment.php
    Disallow: /checkout_payment_address.php
    Disallow: /checkout_process.php
    Disallow: /checkout_shipping.php
    Disallow: /checkout_shipping_address.php
    Disallow: /checkout_success.php
    Disallow: /checkout_vrepay_elv.php
    Disallow: /checkout_vrepay_giropay.php
    Disallow: /checkout_vrepay_kreditkarte.php
    Disallow: /clickandbuy_check.php
    Disallow: /clickandbuy_ems_push_endpoint.php
    Disallow: /cookie_usage.php
    Disallow: /cout_qpay_iframe.php
    Disallow: /create_account.php
    Disallow: /create_account_process.php
    Disallow: /create_account_success.php
    Disallow: /create_guest_account.php
    Disallow: /display_vvcodes.php
    Disallow: /download.php
    Disallow: /fax.html
    Disallow: /gm_account_delete.php
    Disallow: /gm_ajax.php
    Disallow: /gm_corner.gif.php
    Disallow: /gm_counter.php
    Disallow: /gm_counter_set_screen.php
    Disallow: /gm_create_vvcodes.php
    Disallow: /gm_css_monitor.php
    Disallow: /gm_gprint.js.php
    Disallow: /gm_gprint_ajax.php
    Disallow: /gm_gprint_download.php
    Disallow: /gm_gprint_order_ajax.php
    Disallow: /gm_javascript.js.php
    Disallow: /gm_opensearch.php
    Disallow: /gm_price_offer.php
    Disallow: /gm_privacy.php
    Disallow: /gm_product_export_cron.php
    Disallow: /gv_redeem.php
    Disallow: /gv_send.php
    Disallow: /heidelpay-curl.class.php
    Disallow: /heidelpay-frontend.css.php
    Disallow: /heidelpay-frontend.js.php
    Disallow: /heidelpay-listener.php
    Disallow: /heidelpay-sender.php
    Disallow: /hp_example_banner.html
    Disallow: /iclear.php
    Disallow: /login.php
    Disallow: /login_admin.php
    Disallow: /logoff.php
    Disallow: /moneybookers_iframe.php
    Disallow: /newsletter.php
    Disallow: /notify_vrepay_elv.php
    Disallow: /notify_vrepay_giropay.php
    Disallow: /notify_vrepay_kreditkarte.php
    Disallow: /password_double_opt.php
    Disallow: /paypal_checkout.php
    Disallow: /popup_coupon_help.php
    Disallow: /popup_cvv.php
    Disallow: /popup_image.php
    Disallow: /popup_search_help.php
    Disallow: /print_order.php
    Disallow: /print_product_info.php
    Disallow: /product_reviews.php
    Disallow: /product_reviews_info.php
    Disallow: /product_reviews_write.php
    Disallow: /redirect.php
    Disallow: /release_info.php
    Disallow: /request_port.php
    Disallow: /reviews.php
    Disallow: /send_order.php
    Disallow: /shopping_cart.php
    Disallow: /show_product_thumbs.php
    Disallow: /ssl_check.php
    Disallow: /vrepay_kreditkarte.php
    Disallow: /wish_list.php
    Disallow: /wpcallback.php
    Disallow: /wsdl_iclear_order.php
    Disallow: /xtbcallback.php
    Disallow: /shop_content.php?coID=2
    Disallow: /info/privacy-notice.html
    Disallow: /info/privatsphaere-und-datenschutz.html
    Disallow: /shop_content.php?coID=3
    Disallow: /info/conditions-of-use.html
    Disallow: /info/allgemeine-geschaeftsbedingungen.html
    Disallow: /shop_content.php?coID=4
    Disallow: /info/imprint.html
    Disallow: /info/impressum.html
    Disallow: /shop_content.php?coID=9
    Disallow: /info/widerrufsrecht.html
    Disallow: /info/withdrawal.html
     
  10. René (Kids-Inhouse)

    René (Kids-Inhouse) Erfahrener Benutzer

    Registriert seit:
    26. September 2011
    Beiträge:
    344
    Danke erhalten:
    67
    Danke vergeben:
    60
    Hi!

    In Deiner robots.txt steht's ja drin., dass Du zum Beispiel nicht möchtest, dass dem Link zu "allgemeine-geschäftsbedigungen" gefolgt wird. Jetzt öffnest Du mit einem Editor die Datei sitemap.xml, dort siehst Du Einträge, die sehen ungefähr so aus:
    PHP:
    <url>
                <
    loc>http://www.kids-inhouse.de/kinderkleidung/kinder_kleider.htm</loc>
                
    <lastmod>2013-02-15</lastmod>
                <
    changefreq>never</changefreq>
                <
    priority>0.60</priority>
            </
    url>
    Daraus suchst Du Dir dann den Eintrag in dem die Allgemeinen Geschäftsbedigungen erwähnt sind und löschst alles zwischen den Tags <url> und </url>, inklusive dieser Tags. Das machst Du mit allen Einträgen, von denen die robots.txt sagt, dass Crawler ihnen nicht folgen dürfen und die Du aber trotzdem in Deiner sitemap hast. Wenn Du alle Einträge entfernt hast, lädts Du die sitemap wieder auf den Server und reichst sie bei google ein. Dann sollten die Fehler zumindest weniger werden...

    Gruß!
     
  11. marliesschlesiger

    marliesschlesiger Erfahrener Benutzer

    Registriert seit:
    8. März 2013
    Beiträge:
    120
    Danke erhalten:
    1
    Danke vergeben:
    11
    Finde ich nicht Jetzt öffnest Du mit einem Editor die Datei sitemap.xml.

    Wie mache ich das? Wo finde ich den PHP Code?

    Kannst Du mir das Schritt für Schritt erklären?
     
  12. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    30.984
    Danke erhalten:
    6.096
    Danke vergeben:
    1.079
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    ja toll, und wenn er neue artikel anlegt und die Sitemap neu erstellt sind die wieder drinnen.
    Nachhiltiger und auch viel sinnvoller wäre dann das was ich am Anfang schon gesagt habe
    Die Häckchen weg machen und die Sitemap neu erstellen. Aber wie gesagt, das sind Dinge die nicht negativ beeinflussen.
     
  13. marliesschlesiger

    marliesschlesiger Erfahrener Benutzer

    Registriert seit:
    8. März 2013
    Beiträge:
    120
    Danke erhalten:
    1
    Danke vergeben:
    11
    Ich habe nun das Häckchen im Index (Sitemap hinzufügen) weg genommen. Einfach um auszuprobieren was passiert und noch mal Sitemap neu hinzugefügt.
    Nun sind alle Fehlermeldungen im Moment weg.
     
  14. marliesschlesiger

    marliesschlesiger Erfahrener Benutzer

    Registriert seit:
    8. März 2013
    Beiträge:
    120
    Danke erhalten:
    1
    Danke vergeben:
    11
    ne, sind wieder 16 warnungen drin. Doch wenn das nicht schlimm ist, dann lasse ich das mal so. Sonst bin ich nächstes Jahr noch dran. Die AGB usw ist ja auch so Ok. Was anderes finde ich da nicht, was stören könnte.
     
  15. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    30.984
    Danke erhalten:
    6.096
    Danke vergeben:
    1.079
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    du musst das auch bei den englichen weg machen.
     
  16. marliesschlesiger

    marliesschlesiger Erfahrener Benutzer

    Registriert seit:
    8. März 2013
    Beiträge:
    120
    Danke erhalten:
    1
    Danke vergeben:
    11
    Habe ich nun. Trotzdem sind diese Warnungen noch da.