Hi,

ich betreibe eine Site zu einem Online-Rollenspiel, welches die möglichkeit anbietet, alle Daten von Spielergilden als XML anzeigen zu lassen.

Nun möchte ich auf meiner Seite alle Daten in einer DB speichern und das Script welches die Daten ausließt als Cron laufen lassen.

Problem: es sind genau 39.725 XML-Dateien.

Jedesmal die XML-Datei öffnen, parsen und dann eintragen ist sehr zeitaufwendig. Der Apache von meinem Webspace hat eine maximale Scriptbearbeitungszeit von 5 min. Wohl gemerkt der Apache.

Der Provider selber bietet mir keinen Crons an, deswegen muß ich den Cron über einen externen Server laufen lassen. Da fürht zu dem Problem das ich nicht alle 5 min einen weiteren Cron laufen lassen möchte, damit evtl schritt für schritt alle Daten bearbeitet werden.

Nun bin ich echt stark am grübeln wie ich das problem aus der welt schaffe. Eine refresh würde ja nichts bringen, weil der Cron ja ohne browser unterwegs ist. set_time_limit(0); setzt nur den timeout von PHP auf unendlich und nicht den von Apache.
Mir ist klar, das es diese Timeout-Funktion nicht nur gibt, um den User zu ärgern.

Wäre es vielleicht eine alternative, die Dateien erstmal herunterzuladen und dann im Internen Filesystem zu pasren, dadurch dürfte die bearbeitungszeit ja dratisch verkürtzt werden. Allerdings wüsste ich nicht wie man Dateien per PHP herunterladen könnte um sie dann lokal zu speichern.

Ein paar lösungsvorschläge würden mir sehr helfen

bye Oecken

Mister Ad

robo47

was spricht gegen mehrere cronjobs nacheinander? bzw vieleicht lassen sich ja die scripte noch optimieren die die xml-dateien erstellen? Sollte ein eigener server zur verfügung stehen,oder siehts mit shellzugriff aus und vieleicht einem non-php-script/programm, das die verarbeitetung schneller schafft und vor allem das timeout-problem umgeht.

dateien runterladen vom webserver auf den lokalen rechner und wieder hochladen hört sich so man manueller sache an, wenn du in der richtung was machen willst, da lässt sich sicher was machen, aber jenachdem wie groß das ganze wird, hast du ne menge traffik hoch und runter.

soltle kein eigener root-server zur verfügung stehen sollte vieleicht auch in der richtung gedacht werden ne eigene maschine anzuschaffen, wo man frei schalten und walten kann.

mfg
robo47

__________________
robo47.net - Blog, Codeschnipsel und mehr
| Caching-Klassen und Opcode Caches in php | Robo47 Components - PHP Library extending Zend Framework

ja da ist das Problem das es halt nur Webspace bei HE ist.
Ich denke auch dass ich nicht drumrumm kommen werde, mir dafür einen eigenen Server anzuschaffen, habe auch schon angebote die sich im selben Preisniveau befinden.

Habe das Script nun so angepasst, das ein flasg "beabreitet" auf 1 gesetzt wird, so kann man den cron mehrmals nacheinander laufen lassen.

HE bietet leider keine crons an, und dafür geld auszugeben finde ich ziemlich mies.

robo47

crons im 5 minutentakt kostenlos gits auf cronjob.de hast keine garantie dass sie laufen, aber ich hab seit mehr als 2 monaten dort einen laufen und der läuft stabil ohne ausfälle.

__________________
robo47.net - Blog, Codeschnipsel und mehr
| Caching-Klassen und Opcode Caches in php | Robo47 Components - PHP Library extending Zend Framework

Fast 40.000 File in einem (?) Verzeichnis? Damit kannste auch Linux töten...
Na klar ist das umständlich, ein so dermaßen mieses Konzept nachträglich zu korrigieren.

Kannste den Schrott nicht per FTP saugen und erst mal lokal die Datenbank damit zu füttern?

Dann suchste Dir einen ordentlichen Provider, der Dir dann das SQL Exportfile Deiner lokalen Datenbank in die neue Datenbank auf der Kommandozeile importiert.

Buhmann

aber warum generierst du die dateien nicht erst dann, wenn sie gebraucht werden?

1. Sind die dann aktueller
2. werden keine xml-dateien erzeugt, die nicht gebraucht werden
3. brauchste dann nur eine datei statt 40.000

ne das ist anders, die Dateien werden vom Spielbetreiber gestellt. D.H ich lade die XML dateien von einem anderen Server. Das derartig miese Konzept ist also nicht auf meinem mist gewachsen!

Ich habe mir nun ein Dedicated Server (war günstig) zugelegt und kann so den Cron per Kommandozeile abrufen. Meine Frage ist nun ob der apache Timeout (standardmäßig 300 sek) auch über die crontab funktion gilt, oder ob das nichts zur Sache tut.

Wenn es gilt, wie löse ich nun das Problem? Möchte den Apache Timeout net auf 4 Stunden stellen, weil es das ding ja net umsonst gibt.

bye Oecken

Löblich. Und warum tust Du Dir das Gekröse dann trotzdem an? Es klappt doch nicht. Soviel beten kannst Du nicht, daß Windows oder Linux auf einen Schlag mit 39.725 Files hantieren kann.

Tritt den Idioten in die Eier, such Dir 'nen anderen Job oder rede diesen Unfug Deiner Fangemeinde aus. Oder setz Dich mit nackten Arsch in einen Kaktus und frage in einer WHILE Schleife ab, welcher Stachel Dich getroffen haben möge. Alles noch sinnvoller als Deine Frage...

erstmal muß ich noch etwas korrigieren, ich hatte einen kleinen fehler im script, der mir ne falsche anzahl an dateien ausgab.
Real sind es "nur" um 4.405 Dateien.

Ich brauche die Daten dringend in den Dateien weil darauf ein großer Teil der Seite aufbaut.

Ich schreibe in so einen Fall immer ein PHP-Skript welches die Arbeit in verdaubare Portionen aufteilt. Ich lasse das Skript laufen und schreibe dann mit den echo-Befehl ein JavaSript indem ich das PHP-Skript zeitverstzt aufrufe (setTimeout()). Anhand des Parameters den ich beim Aufruf übergebe kann man erkennen was man schon bearbeitet hat. z,B, Könnte man immer 10 Dateien parsen, danach das Php-Skript wieder mit JavaScript aufrufen und den Parameter start=11 übergeben, dann wieder 10 Dateien parsen, danch start=21 usw. bis man alles abgearbeitet hat.