Hallo Leute,
ich würde mal gerne Tipps von einigen von euch einholen wie ich am Besten mein Feature umsetzen kann.
Aktuell existieren Prozesse die Statische HTML Dateien erzeugen, die Dateien sind auf Beliebig viele Unterordner aufgeteilt. Ich habe ein Script erstellt der alle Dateien nach einem bestimmten Schema herauspickt die Ziped und auf X Server verteilt und dort samt der Ordnerstruktur entpackt/vorhandene Dateien überschreibt.
Ziel ist es im Grunde HTML Files auf mehrere Webserver in einem bestimmten Intervall zu verteilen. Klingt zunächst einfach, jedoch gibt es da einige Probleme.
1) Die Ordner in denen sich die HTML Dateien befinden sind Mounted Shared folder auf einem Unix System. Da es eine sehr Große Anzahl an Dateien ist(ca 20 TB) haben wir es getrennt. Es gibt den Webserver und in dem Webserver ist ein Mounted Folder. Das Problem ist, dass das Zipen teilweise Stunden dauert und in dieser Zeit kann es durchaus passieren dass der Mounter Folder "verschwindet"(netzwerk instabil, strom ausfahl what ever)
2) Es kann auch Netzwerk Probleme geben beim hochladen und entpacken der Zip Files
3) es ist eigentlich nicht wirklich Skalierbar, die Anzahl der Dateien wächst Täglich und die Anzahl der Server wird sicherlich früher oder Später erhöht.
Was ich im Grunde suche ist ein Weg (Queue Bibliothek, Worker Bibliothek irgendwas) um eine große Anzahl an Daten von A nach B zu Transportieren.
Eigentlich gibt es ja gute tools wie etwa rsync oder sowas, aber das ding ist, dass ich Notifications losschicken muss, Statusreports etc. Desswegen mach ich den Uploadprozess mit PHP. Nachdem ich zb die Dateien auf die Webserver verteile, mach ich noch mal checks ob auf allen Servern die gleiche Datei ist und wenn nicht, wird diese nochmal hochgeladen.
Wie dem auch sei, das gesamte system ist extrems komplex und fehleranfällig und ich wollte mal herausfinden ob nicht jemand hier eine gute Lösung parat hat.
Viele Grüße
ich würde mal gerne Tipps von einigen von euch einholen wie ich am Besten mein Feature umsetzen kann.
Aktuell existieren Prozesse die Statische HTML Dateien erzeugen, die Dateien sind auf Beliebig viele Unterordner aufgeteilt. Ich habe ein Script erstellt der alle Dateien nach einem bestimmten Schema herauspickt die Ziped und auf X Server verteilt und dort samt der Ordnerstruktur entpackt/vorhandene Dateien überschreibt.
Ziel ist es im Grunde HTML Files auf mehrere Webserver in einem bestimmten Intervall zu verteilen. Klingt zunächst einfach, jedoch gibt es da einige Probleme.
1) Die Ordner in denen sich die HTML Dateien befinden sind Mounted Shared folder auf einem Unix System. Da es eine sehr Große Anzahl an Dateien ist(ca 20 TB) haben wir es getrennt. Es gibt den Webserver und in dem Webserver ist ein Mounted Folder. Das Problem ist, dass das Zipen teilweise Stunden dauert und in dieser Zeit kann es durchaus passieren dass der Mounter Folder "verschwindet"(netzwerk instabil, strom ausfahl what ever)
2) Es kann auch Netzwerk Probleme geben beim hochladen und entpacken der Zip Files
3) es ist eigentlich nicht wirklich Skalierbar, die Anzahl der Dateien wächst Täglich und die Anzahl der Server wird sicherlich früher oder Später erhöht.
Was ich im Grunde suche ist ein Weg (Queue Bibliothek, Worker Bibliothek irgendwas) um eine große Anzahl an Daten von A nach B zu Transportieren.
Eigentlich gibt es ja gute tools wie etwa rsync oder sowas, aber das ding ist, dass ich Notifications losschicken muss, Statusreports etc. Desswegen mach ich den Uploadprozess mit PHP. Nachdem ich zb die Dateien auf die Webserver verteile, mach ich noch mal checks ob auf allen Servern die gleiche Datei ist und wenn nicht, wird diese nochmal hochgeladen.
Wie dem auch sei, das gesamte system ist extrems komplex und fehleranfällig und ich wollte mal herausfinden ob nicht jemand hier eine gute Lösung parat hat.
Viele Grüße
Kommentar