Cronjob für Cachespeicherleerung

Thema wurde von Anonymous, 13. Mai 2020 erstellt.

  1. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    11. Juli 2018
    Beiträge:
    196
    Danke erhalten:
    24
    Danke vergeben:
    24
    Hallo zusammen,
    wir hatten kürzlich einen Totalausstieg des Shops (Ticket Nr. [#100911119]) wegen zu vieler Zugriffe bzw. wegen zuviel angesammelten Datenmülls. Den WebSpace haben wir erweitert, aber es war wohl auch so, dass die Caches übervoll waren. Ich dachte immer, dass die nur dann gefüllt werden, wenn ich z.B. neue Artikel einpflege oder so und hab die nur ab und zu mal gelöscht. Daher würde ich das gerne automatisieren und würde mich über einen entspr. Cronjob freuen.
     
  2. Moritz (Gambio)

    Moritz (Gambio) Administrator

    Registriert seit:
    26. April 2011
    Beiträge:
    5.786
    Danke erhalten:
    2.692
    Danke vergeben:
    903
    Das Cache hat ja in aller Regel eine Daseinsberechtigung und ihn zu löschen macht nur dann Sinn, wenn er veraltet ist oder nicht gebraucht wird. Da ist dann eher die Frage, was bei dir sich so extrem anhäuft. Klingt jedenfalls nicht normal. Schauen wir uns dann in deinem Supportfall an.
     
  3. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.831
    Danke erhalten:
    1.122
    Danke vergeben:
    947
    Bist du bei 1und1? Die machen ja einfach ohne Vorwarnung zu, wenn der Speicher zu voll ist. Vermutlich geht es nicht um Cache-Dateien, weil die ja im Normalfall nicht doppelt angelegt sondern überschrieben werden. Vermutlich meinst du:

    - Admin Logs
    - Security Logs
    - Error Logs
    - Email Anhänge (Widerrufsrecht, Datenschutz, AGB)
    - Exportierte Rechnungen und Lieferscheine
    - Emails die in der Datenbank abgelegt werden
    - Nicht mehr genutzte Artikelbilder in allen Größen

    Da muss man tatsächlich noch recht häufig Hand anlegen. Ich hatte mir mal einen Shop-weiten „Aufräum-Dienst“ gewünscht, aber bisher gibt es soweit ich weiß nur eine Insellösung für die Logs. Das hat vermutlich auch mit rechtlichen Dingen zu tun: Aufbewahrungsfristen für geschäftliche Kommunikation etc. Ist die Frage, wer das wie sichert, aber es fällt tatsächlich eine riesige Menge Daten an, mit der man irgendwie umgehen muss. Wenn du es nützlich findest, kann ich dir für die aufgelisteten Dinge mal heraussuchen, wie und wo sie abgelegt werden. Vielleicht kannst du dann selbst nochmal „durchputzen“.
     
  4. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    11. Juli 2018
    Beiträge:
    196
    Danke erhalten:
    24
    Danke vergeben:
    24
    Hallo L & B,
    danke für deine Info. Wir haben den Shop bei einem IT-Unternehmen gehostet und deren Info war eben, dass es da soviel Dateien gab. Was mich aber wirklich beunruhigt, ist, dass der Shop von jetzt auf gleich hopps gehen kann, ohne Alarm.

    Es werden wohl tatsächlich die Bilder und Anhänge sein, die da vielfältig irgendwo rumliegen. Die zur Bestellung gehörigen Dokumente sind ja ohnehin im Auftrag gespeichert, da braucht man sie ja nicht nochmals. Falls du da ein paar Tipps hast, wäre ich sehr dankbar.
     
  5. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.831
    Danke erhalten:
    1.122
    Danke vergeben:
    947
    #5 Anonymous, 15. Mai 2020
    Zuletzt bearbeitet: 15. Mai 2020
    - Admin Logs
    - Security Logs
    - Error Logs

    => befinden sich im Shop im Ordner Logfiles. Werden bei uns 2-wöchentlich gelöscht, sind aber gerade trotzdem wieder 1,4 GB. Meines Wissens gibt es keine Aufbewahrungspflichten. Ist aber natürlich nett zu haben, falls es mal einen unautorisierten Fremdzugriff auf den Shop gibt oder um zu sehen welcher Mitarbeiter was kaputt gemacht hat oder um Fehler im Shop aufzuspüren. Ermessenssache, in welchen Abständen und ob man die löscht. Per FTP lassen die sich löschen, oder im Admin unter Logs => "Logs älter als 14 Tage löschen". Einen Cronjob gibt es dafür nicht.

    - Email Anhänge (Widerrufsrecht, Datenschutz, AGB)
    => Eigentlich auch 6 Jahre Aufbewahrungspflicht, glaube ich. Aber das sind alles Duplikate der Dateianhänge, die man als Shopbetreiber in den Bestellbestätigungsemails ohnehin bekommt. Daher löschen wir die auch radikal. Die sind in /uploads/attachments/

    - Exportierte Rechnungen und Lieferscheine
    => befinden sich in export/packingslip und export/invoice. Die könnte man regelmäßig herunterladen und dann auf dem Webspace löschen. Aufbewahrungspflicht für Lieferscheine: 6 Jahre. Für Rechnungen, wenn du keine Wawi hast: 10 Jahre

    - Emails die in der Datenbank abgelegt werden
    Befinden sich in den Tabellen emails und email_attachments. Da wir die alle im Emailprogramm sichern, löschen wir die auch regelmäßig, auch wenn Gambio sagt, das soll man nicht. Wenn du es trotzdem möchtest:
    SQL Befehle
    delete from emails;
    delete from email_attachments;

    - Nicht mehr genutzte Artikelbilder in allen Größen
    Im Admin kannst du unter Allgmeines => Bilder löschen nicht genutzte Artikelbilder löschen.

    - Vermutlich hast du über deinen Hoster auch noch Zugriffsstatistiken, die den Webspace überquellen lassen.
    Die werden normalerweise im Domain Root unter usage oder logs oder logfiles o.ä. abgelegt. Lohnt sich auch, alle paar Monate oder Jahre mal zu leeren.

    Je nach Shopgröße, Zugriffszahlen und Bestellvolumen kann man mit diesen Tipps ein paar Hundert MB bis ein paar GB freimachen, denke ich.

    Alle Tipps ohne Gewähr und Haftung. Vorherige Datensicherung und Datenbanksicherung wärmstens empfohlen.

    Ausblick: Eine Admin-Seite mit all diesen Funktionen per Mausklick wäre mal ein interessantes Feature, oder?
     
  6. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.831
    Danke erhalten:
    1.122
    Danke vergeben:
    947
    DAS passiert so nicht. Es gibt im Gambio Shopsystem selbst keine Speicherobergrenze. Wenn das passiert, musst du das bei deinem Hoster reklamieren oder den Hoster wechseln. Der sollte statt deinen Shop einfach kaputtgehen zu lassen durch statische Speicherobergrenzen z.B. eine Speicherplatzüberschreitung ermöglichen und dich benachrichtigen. Oder bei Erreichen von 90% der zulässigen Speicherkapazität eine Email schicken mit einer Warnung. Oder so. Wer dich da ins offene Messer rennen lässt und Nicht-Erreichbarkeit deines Shops billigend in Kauf nimmt, ist aus meiner Sicht ein sehr schlechter Partner und u.U. sogar schadenersatzpflichtig?
     
  7. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    11. Juli 2018
    Beiträge:
    196
    Danke erhalten:
    24
    Danke vergeben:
    24
    Hallo & danke für die ausführliche Darstellung. Konnte gerade über 10000 Dateien aus den Attachments löschen, ein schöner Berg...und die Bilder hab ich noch gar nicht mal angesehen o_O ...Höchste Zeit für nen Frühjahrsputz :D !
     
  8. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.831
    Danke erhalten:
    1.122
    Danke vergeben:
    947
    Für Danke gibts den Danke-Button ;-)
     
  9. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    11. Juli 2018
    Beiträge:
    196
    Danke erhalten:
    24
    Danke vergeben:
    24