Hallo zusammen, mich würde interessieren, welche Bots ihr evtl. aussperrt. Mir ist heut aufgefallen, dass Amazon unsere Seite über den eigenen Bot besucht. Da wir keine Geschäftsbeziehung zu Amazon unterhalten und ich davon ausgehe, dass dies nur zu "Spionage-Zwecken" dient, habe ich den Bot über die robots.txt ausgesperrt. Das gleiche gilt für Billiger.de. Denn die nutzen immer unser selbst produzierten Bilder für Ihre Zwecke. Auch hier haben wir keine Geschäftsbeziehung zu Billiger.de. Bestimmte Bots sind natürlich absolut erstrebenswert. Google, Bing und auch KI Bots. Man will ja sichtbar bleiben. Mich interessiert, was euch bewegt bestimmte Bots auszusperren, auch wenn es natürlich immer an den Bots selber liegt, ob sie es mitmachen.
Hallo GlobenShop, das Thema hat Dominik Späthe in in Gambio News & Tipps im Werbe-Markt.de Blog am 15. April 2025 sehr ausführlich mit genauen Anweisungen ausgeführt: https://www.werbe-markt.de/gambio-news/aggressive-bots-aussperren/ Dominik legt das mit folgenden Begründungen dar, warum das gemacht werden sollte: "Sie fressen Serverressourcen, fluten Kontaktformulare, legen Fake-Accounts an und manipulieren SEO-Daten" Im Artikel wird darauf eingegangen welche Möglichkeite ich habe Bots auszusperren: externe Lösungen von Cloudflare und Anbieterseits Sicherheits-Tools und Firewalls Anpassungen im eigenen Shopsystem (robot.txt, .htaccess) und vor allem, ob es schaden könnte bestimmte Bots auszusperren und man sich das gut überlegen sollte. Ich finde immer wieder auf der Seite im Adminbereich unter https://www.***mein/dein-shop.de***/admin/whos_online.php neue Bots, die den Shop besuchen. Es steht kein Hinweis auf der Seite, von Dominik, ob er die Liste der Bots immer wieder aktualisiert. Entweder muss ich dann selbst recherchieren und den neuen Bot der Sperrliste hinzufügen. Oder gibt es jemand/eine Seite/ein Projekt, wo das schon gemacht wird? Wünsch Euch allen einen schönen Sonntag bei der Jagt auf weitere neue Bots
Gibt genug Listen mit Bad Bots (Link nur für registrierte Nutzer sichtbar.) da kann man auch suchen und schauen ob der dazu gehört Die KI Bots fressen aktuell auch oft viel Server last bei manchen aber da man neuerdings statt zu googln ja lieber chatGPT oder Gemini fragt sollte man die auch nicht unbedingt ausschliesen.
Hallo in die Runde, gibt es auch für Cloud-Shops die Möglichkeit bestimmte Bots auszuschließen? Und wenn ja, wie? Und gäbe es darüber hinaus auch die Möglichkeit IP-Adressen aus bestimmten Gegenden der Welt fernzuhalten (z.B. China, Asien, Russland...)?
Da mein hier bereits 2x angesprochenes Problem nach wie vor existiert, möchte ich mich dringend dieser Frage anschließen.
robots.txt wird heutzutage weitestgehend ignoriert. Die KI Bots z.B. halten sich nicht daran. (Link nur für registrierte Nutzer sichtbar.)