stoffel

Hallo zusammen,

da ich nur Hobby-Programmierer bin, wüsste ich gerne, wie man in der Praxis dieses logische Problem lösen würde.

Das Scenario sieht so aus:
Eine XML Datei wird per FTP auf den Server geladen und soll dort von PHP weiterverarbeitet werden.
Zur Zeit wird einfach bei jedem Seitenaufruf geprüft, ob eine XML-Datei vorhanden ist und ggf. verarbeitet.
Das funktioniert soweit auch sehr gut.

Nun das Problem:
Die XML-Dateien bauen aufeinander auf.
D.h. es muss jede Datei verarbeitet werden.
Der FTP-Client überschreibt aber jedesmal die Datei.
Die Vergabe weiterer Dateinamen ist leider nicht möglich.
Wenn also nun in kurzer Zeit zweimal übertragen wird und in der Zwischenzeit niemand die Hompage besucht hat, geht eine Änderung verloren.

Meine bisherige Recherche hat ergeben, dass eine zeitnahe Verarbeitung wohl mit nur Cronjobs möglich wäre.
Im Hostingpaket ist sogar einer erlaubt.
Aber ist es praktikabel, für so ein kleines Projekt alle paar Sekunden einen Cronjob ausführen zu lassen, wobei Dateien im Schnitt nur alle ein bis zwei Wochen übertragen werden?
Oder macht man das in der Praxis so?

Wie würdet ihr es lösen?

Mister Ad

robo47

Alle paar Sekunden ist bei cronjobs meist nicht, wenn dann alle paar minuten, jenachdem was dein Hoster dir da anbietet.

Wenn das alle 2 Wochen passiert, wo ist das problem danach einfach kurz eine Url aufzurufen ? Klingt für mich jetzt nicht nach so viel Aufwand ?

Ansonsten bastel dir doch ein fertiges script, unter windows z.b. eine bat-datei die die xml-datei hochlädt und danach via wget automatisch die url des scrpts aufruft das die xml-datei verarbeiten soll.

Denk halt vor allem dran dass du was einbaust damit die datei nur einmal verarbeitet wird, weil sonst passiert es vielleicht dass die datei mehrfach abgearbeiet wird und doppelte inhalte entstehen oder defekte daten.

__________________
robo47.net - Blog, Codeschnipsel und mehr
| Caching-Klassen und Opcode Caches in php | Robo47 Components - PHP Library extending Zend Framework

stoffel

Ich habe die Seite für einen Bekannten als Freundschaftsdienst erstellt, der sich erfahrungsgemäß nicht an solche Vorgaben hält.
Wenn es meine Seite wäre, ja, dann würde ich es auch einfach so machen.

Es ist so, daß die XML Datei von seiner Immobilien-Software direkt hochgeladen wird. Einen weiteren Arbeitsschritt wollte ich gerne vermeiden, da ich mich nicht drauf verlassen kann, dass er ihn auch wirklich ausführt.
Ich hatte z.B. anfangs aus Zeitgründen nur eine rudimentäre Datenvalidierung eingebaut und ihm eingebläut, dass er selbst dafür verantwortlich wäre bei der Eingabe drauf zu achten.
Oh je, das war was ....

erc

Bei Webhosting bleibt dir gar nix übrig als regelmässig zu prüfen ob eine neue Datei da ist. Das einfachste ist eigentlich ein Cronjob der aller x Minuten prüft ob was zu tun ist.

Mit einem eigenen Server hat man natürlich mehr Möglichkeiten. Z.B. die einfachste ist pureFTP, da kann mittels config Eintrag für jeden Upload ein Shellscript aufgerufen werden.

stoffel

Ja, ein eigener Server wäre fein ...

Wenn ich nun per Cronjob alle x Minuten prüfe, er es aber schafft schneller als x zweimal zu übertragen, habe ich trotzem Daten verloren.

Bsp:
Er überträgt 5 Objekte.
Stellt unmittelbar nach der Übertragung einen Rechtschreibfehler fest.
Korrigiert ihn und überträgt erneut.
Dann ist in der neuen XML-Datei nur das eine Objekt mit dem korrigierten Rechtschreibfehler enthalten.
(Es werden von der Software nur die Änderungen seit der letzten Übertragung exportiert)
Die anderen 4 Objekte sind futsch.

mepeisen

Das ist dann Schicksal. Entweder bei jedem Seitenaufruf prüfen oder Cronjob, etwas anderes wird ohne eigenen Server technisch exakt gar nicht möglich sein.

__________________
www.php-maven.org PHP und Maven vereint: Build/Deploy/Produktion/Konfiguration, Projekt Management, CI, PHPUnit, zahlreiche Frameworks
Twitter @ https://twitter.com/#!/mepeisen und Facebook @ http://t.co/DZnKSUih

nikosch

Wenn Du einen software-initiierten FTP-Aufruf machst, kein manuelles FTP-Upload, könntest Du zur Laufzeit das xml-File in einen (micro-)Timestamp-Namen umbenennen.
Dein Verarbeitungsscript prüft jetzt auf eine oder mehrere xml-Dateien und parst diese in Reihenfolge ihres Dateinamens. Dafür kannst DU trotzdem CRON verwenden, damit Du nicht so eine lange Liste abzuarbeiten hast. Der CRON Job kann dann aber wesentlich gemütlicher herangehen. Sekündlich ist jedenfalls Wahnsinn.

__________________
--
One pixel is still too big. Please make it smaller. ASAP.

Initiative Mittelstand.
Die wichtigste Gestaltungsregel im Screendesign ist Pi mal Daumen des Arbeitgebers.
--

stoffel

Ja, genau so würde ich das gerne machen!
Aber leider habe ich auf den FTP-Upload keinen Einfluss.
Den übernimmt dieses Makler-Programm.
(Das ist so ein Teil, wo man Objekte einmal eingibt und dann in mehrere Börsen exportieren kann)
Meine Schnittstelle ist also nur eine von vielen.
Ich kann dort lediglich FTP-Zugangsdaten und genau einen Dateinamen angeben.
Die Möglichkeit, dem Dateinamen den aktuellen Timestamp mitzugeben, gibt es dort leider nicht.

nikosch

Genaugenommen ginge es sogar ohne Timestamp als Namen, dafür könnte ja das Datum der Datei herhalten. Aber solange Du nicht verhindern kannst, dass ein Upload den letzten überschreibt sehe ich keine Möglichkeit.

__________________
--
One pixel is still too big. Please make it smaller. ASAP.

Initiative Mittelstand.
Die wichtigste Gestaltungsregel im Screendesign ist Pi mal Daumen des Arbeitgebers.
--