Soll man eigentlich alle Kategorienseiten (in meinem Fall etwa 120) und alle Artikelseiten (ca. 2000) in die Sitemap mit aufnehmen oder gibt es Gründe welche rauszulassen?
Wenn du Crawling-Budget sparen möchtest kannst du welche rauslassen. Dann werden die anderen schneller und häufiger gecrawlt und haben eine höhere Bedeutung. Bietet sich im Normalfall eher nicht an, sondern eher für solche Sonderfälle: Du hast 100 Geräte die du gerne und viel verkaufst und mit denen du gut gefunden werden möchtest, und du hast dazu 100.000 Ersatzteile ohne gescheite Bilder und Beschreibungen, die eigentlich sowieso nicht direkt gesucht werden, sondern für die du ein extra Suchformular bzw. eine interaktive Beratung bereitstellst. Dann soll sich Google mit deinen Geräten beschäftigen, nicht mit den Ersatzteilen. Oder: Du hast ein Hauptsortiment und ein ständig wechselndes mit gebrauchten Einzelartikeln, die du nur 1x verkaufst und danach im Shop löschst. In dem Fall könnte es sein dass du sagst: Bevor Google sich hier verausgabt und immer wieder versucht, die gelöschten Artikel zu crawlen, lasse ich sie gleich aus der Sitemap raus. Oder: Du hast eine große Anzahl an sehr ähnlichen Produkten mit identischer Beschreibung, die sich jeweils nur in Farbe oder Größe oder Ausführung minimal unterscheiden, dafür aber eine sehr gut optimierte Kategorieseite. In dem Fall wirst du ohnehin nur 1 oder 2 der Artikel in Google gelistet sehen, weil die anderen zu ähnlich sind. Keyword Canibalism: Du machst dir mit deinen eigenen Produkten Konkurrenz, wodurch alle Produkte in der Sichtbarkeit leiden. Hier wirst du dein Crawling-Budget und auf die gut optimierte Kategorieseite konzentrieren wollen und wirst die Einzelartikel alle nicht auf die Sitemap setzen. Konsequenterweise, und für den bestmöglichen Effekt, installierst du passend dazu: (Link nur für registrierte Nutzer sichtbar.) Dann bekommen die Google Bots auch die Anweisung, diese Seiten die nicht auf der Sitemap stehen tatsächlich nicht zu crawlen und zu ignorieren.