Hallo beisammen, wir haben bei einem Gambio Shop seit ca. 2 Wochen schlagartige massive Botzugriffe. Die Bots kommen von verschiedensten IPs, meistens aus USA oder Südafrika. Sie "tarnen" sich als normale Benutzer, siehe 130.185.154.202 - - [22/May/2024:10:21:14 +0200] "GET /shop.php?do=CheckStatus&galleryHash=XXXX&modifiers%5Bproperty%5D%5B9%5D=18996&modifiers%5Battribute%5D%5B1%5D=2&products_id=XXXX&products_qty=1&btn-add-to-cart=In%20den%20Warenkorb&target=check&isProductInfo=1&page_token=&_=XXX HTTP/2.0" 200 22542 "https://XXX.html" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36" es sieht so aus als würde ein scraper alle unsere hunderte produkte mit allen jeweils hunderten optionen permanent abrufen, vermutlich um einen shop zu kopieren. alles geht über die shop.php unser server geht deswegen immerwieder in die knie. der hoster hat mehrfach ips blockiert, aber es kommen ständig neue dazu, der server fällt immer wieder aus. alleine in diesem monat waren es bisher 2,4 mio zugriffe auf shop.php, davon vermutlich ca. 80% botanteil. es sind mehrere hundert zugriffe pro stunde, alle auf produktvarianten in den dropdowns. gibt gambio intern (gxprotector?) eine möglichkeit diese angriffe abzublocken? cloudflare ist für einen eigentlich kleinen shopbetreiber definitiv zu teuer. jemand noch andere ideen ausser den shop offline zu setzen?
Ich hatte das gleiche Problem, ich bin mit meinem Server bei Estugo und die konnten was bei der robots.txt ändern, dann hatte sich das Problem gelöst.
hast du da vielleicht einen auszug aus robots.txt. und dein fall war sicher der gleiche, alles via shop.php?
Unter https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/blob/master/robots.txt/robots.txt gibt es eine aktuelle Liste, die man für robots.txt verwenden kann. Diese enthält etliche Bad Bot Blocker. Estugo meinte kürzlich auf meine Nachfrage dazu, die könnte man nehmen. Man sollte vielleicht nur checken, ob da nicht Dienste dabei sind, die man selbst benötigt (z.B. Sistrix). Den Eintrag sollte man dann natürlich rausnehmen, weil sonst Sistrix der Zugriff verwehrt wird. LG Nico
leider keine hilfe. aktuelle bad bot blocker haben wir. aber der der probleme macht gibt sich als normaler browser aus, das hilft gar nix.
Ich blocke auf dem Shopserver mit einer lokalen Firewall und Geo-IP-Listen große IP-Bereiche (ipables/nftables). Seitdem ist Ruhe.Alle Länder mit denen wir keine Geschäftskontakte pflegen, werden rigoros geblockt.
hi christian, danke für info! als ausgang könnte man dann z.b. ip länderlisten wie https://lite.ip2location.com/united-states-of-america-ip-address-ranges USA und https://lite.ip2location.com/south-africa-ip-address-ranges südafrika nehmen. etwas sorgen machen mir google, paypal und amazon. alles drei wird natürlich gebraucht. habt ihr die ausgenommen? Google https://www.lifewire.com/what-is-the-ip-address-of-google-818153 AMazon Login und Paypal habe ich leider nichts gefunden.
USA war bislang kein Problem, die sind bei mir noch erlaubt Andersrum wird ein Schuh raus: Alles blocken und dann erlauben. Für einen Shop der nur deutsche Kunden oder europäische, bedienen soll, ist es mit whitelisten besser. Da kann man dann auch die Adressbereiche für Google, PayPal, und andere wichtige Dienste freigeben. An die Ip-Ranges sollte man rankommen. Könntest Du auch über die .htaccess machen, ein DROP per nftables wird aber wahrscheinlich weniger Last verursachen. https://www.ip2location.com/free/visitor-blocker
Ein lästiges Thema, auf wir wurden vor 4 Tagen attackiert mit Schadsoftware. Wir haben in der Einstellung das pro Stunde nur max. 10 eMails raus/rein kommen dürfen. Das Blockt natürlich alles lahm. Da wir derzeit nur nach Deutschland liefern stellt das nicht so ein großes Problem dar. Hat man einen eigenen Server oder VPS und nutzt Plesk, kann man das Problem gut lösen. Ist nur meine Meinung, seit dem wir die Firewall anders eingestellt haben, bekommen wir derzeit keine derartig schädlichen Zugriff mehr. Vorerst haben wir alle Problem Länder geblockt. China, Pakistan, Russland, Korea, Süd Afrika und weitere Staaten. Aber das Problem hatte ich mit einer anderen Software vor Gambio auch.
Naja, hier steht ja extra, dass man die Datei verwenden kann und wie man sie in seine robots.txt einfügt: https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/tree/master/robots.txt
10 pro Stunde? wow. das wären gerade mal 240 Mail am Tag? Das nicht sehr viel. Dachte unserer 2000 pro Tag wären schon wenig. @christian wir hatten bei unserem vorherigen Server immer eine IP Block bei x Aufrufen in 1 Min oder xx in 60 Min. für 24h wurde das dann blockiert. das half uns damals. Bei dem neuem meiner Frau hab ich das Problem bisher nicht gehabt. Aber ist auch kein Hetzner Server sondern Webspace bei All-inkl. da könnt ich das eh nicht. Bei meinen Wordpress Kunden gibts nun neuerdings eine WAF Firewall seitens des Hosters dazugekommen. Das scheint auch zu funktionieren, Die Botlast ist um einiges runtergegangen.
Hört sich nach fail2ban an. Ist ein ganz nützliches Tool, was mit iptables / nftables die Adressen der Angreifer bannt. Ist aber blöd, wenn da ein aktiver Kunde ausgesperrt wird. Daher setzt man das im Shop eigentlich eher weniger ein. Da muss man vorsichtig sein mit den Regeln. Andere Dienste wie SSH, FTP, Mailserver oder Datenbank kann man damit besser schützen. Ich habe da aber auch alles zu gemacht und nutze für den Zugriff einen Jumpserver. WAF wäre schön für Gambio. Ich hatte das mal getestet, das dann aber wieder verworfen weil es da noch einer Menge Feintunings bedurft hätte. Ich hatte da zu viele false positives und zu wenig Zeit für so ein Projekt. Wenn da aber jemand schon was laufen hat, immer her mit den Erfahrungen. Mit den Geoblocking-Einstellungen von Russland, Asien und Südamerika komme ich gut klar. Vorher Tausende unauthorisierte Loginversuche jede Stunde. Die gehen nun gegen Null.