Grundsätzliche Frage zur robot.txt

Thema wurde von kb, 31. Juli 2016 erstellt.

  1. kb
    kb Neues Mitglied
    Registriert seit:
    5. September 2014
    Beiträge:
    2
    Danke erhalten:
    0
    Hallo,

    ich habe eine grundsätzliche Frage zur robots.txt

    Unsere Hompage ist in 'Wordpress' erstellt, die zunächst auf der Grundlage der Einstellungen eine Standard robots.txt im Hauptverzeichnis ablegt.
    Unser GX3 Shop ist in einem Unterverzeichnis installiert, in dem sich ebenso eine robots.txt mit den individuellen Anweisungen des Shops befindet.

    Wie wird das nun eigenlich beim indexieren einer Domain durch den Crawler gehandhabt? Dieser liest doch sicherlich nur die Datei im Hauptverzeichnis aus, oder? Muß man die Inhalte beider Dateien zusammenführen und dann ins Hauptverzeichnis legen?

    Danke schon jetzt für Eure Hilfe.

    Gruss
    KB