Im Zusammenhang eines Beitrages in https://www.gambio.de/forum/threads/service-pack-4-7-1-1-erschienen.49114/ ist mir etwas aufgefallen. Ich wollte auch meine robots.txt - Datei mal auf Vordermann bringen und habe dann anschließend auf der Seite https://www.google.com/webmasters/tools/robots-testing-tool diese testen wollen. Ich musste feststellen, dass keine Seiten, die in der robots.txt - Datei auf "Disallow:" stehen blockiert werden. Erst als ich vor den ersten Slash (/) ein Stern (*) gesetzt habe, wurden die Seiten blockiert. Beispiel: Code: Disallow: /address_book_process.php Disallow: /account.php Disallow: /address_book.php Disallow: /account_edit.php Disallow: /account_edit_process.php Disallow: /account_history.php Disallow: /account_history_info.php Disallow: /callback/ Disallow: /checkout_address.php So wie durch "Robots Steuerdatei erstellen und speichern oder downloaden" erstellte Datei wird nichts blockiert ! Code: Disallow: */address_book_process.php Disallow: */account.php Disallow: */address_book.php Disallow: */account_edit.php Disallow: */account_edit_process.php Disallow: */account_history.php Disallow: */account_history_info.php Disallow: */callback/ Disallow: */checkout_address.php erst jetzt werden die entsprechenden Seiten blockiert. Ist dies neu so, dass man vor den ersten "/" ein "*" setzen muss???
@Marias Einkaufsparadies (Dirk Skowronek) Ich habs eben bei mir geprüft und habe festgestellt, dass alle Seiten ordnungsgemäß blockiert werden, wie eingestellt. Ich habe keine Sternchen vor den jeweiligen Links. Beispiel: Code: Disallow: /info/impressum.html Test durch Googlebot: Blockiert Allerdings steht bei mir in der ersten Zeile der robots.txt-Datei: Code: User-agent: * Hat es vielleicht damit zu tun? Steht das bei dir in der ersten Zeile auch?
Ja das steht bei mir auch und hat meines Wissens damit zu tun, dass die Angaben für alle Bot´s gelten.
Na toll, ich habe bei https://www.google.com/webmasters/tools/robots-testing-tool immer die komplette URL eingegeben statt nur den hinteren Teil. Also, alle gut. Es funktioniert richtig.