Hallo, ich finde nur robot.txt generieren und hochladen, ok, ist gemacht. Aber, wie gebe ich Kategorien/Artikel wieder zum crawlen frei ? Danke uwe
Im Artikel oder der Kategorie. Es kann aber auch sein, dass die robots.txt teile des Artikels blockiert, da muss man dann schauen was es genau ist und ob man das blockieren will.
Danke Barbara, wo kann ich das sehen ? Ich will von den Artikeln nichts blockieren. Was mich sehr ärgert ist, daß ein Upfdate das verursacht hat
Das kannst Du in den Google-Search-Console sehen. Vielleicht hattest Du auch eine Änderung in der robots.txt, die durch das Update bzw. durch die neue Generierung der Datei überschrieben wurde. Bei Google solltest Du auf jeden All sehen, was da blockiert wird und auch herausfinden können warum.