Ich würde gerne in der robots.txt eigene Befehle eintragen, wie Disallow: /*pdf$ Dieser Einrag wird leider beim nächten "generieren und speichern" wieder gelöscht. Wie kann man das verhindern? Ein zweite Datei anlegen?
Wie oft generierst du denn die Datei? Ich mache das höchstens nach einem Update (wenn erforderlich) oder wenn ich selbst etwas in dem Bereich ändere. Ansonsten muss die Datei nicht dauernd neu generiert werden.