jGeee

Hallo liebe Community,

ich stehe momentan vor dem Problem, dass ich erstmals mit PHP in Verbindung mit SFTP (SSH2) arbeiten muss, undzwar sollen große Datenmengen übertragen werden. Als lib benutze ich PHP Secure Communications Library | Get PHP Secure Communications Library at SourceForge.net.

Ich habe ca 3.000 Datensätze, zudenen jeweils mind. 3 Bilder existieren, die sollen von Server zu Server übertragen werden.

Mein Problem besteht nun darin, dass ich nicht genau weiß, wie ich die queue aufbauen soll, denn wielange eine Übertragung einer Datei dauern wird, kann ich ja nicht ahnen.
Ich kann zwar prüfen ob die Datei erfolgreich übertragen worden ist, jedoch weiß ich natürlich nicht, ob ein Datensatz ink. Bilder innerhalb 300 Sekunden übertragen wurde. (300 Sekunden deshalb, weil Apache dann abbrechen wird, da bringt mir max_execution_time und set_time_limit ja auch nichts,.... - obwohl: die konfiguration sowieso irrelevant ist, da bei ausführung durch den cronjob, diese sowieso auf 0 gesetzt sind, oder lieg ich da grade falsch?!).

Jedoch glaube ich kaum, dass ein Datensatz inkl. Bilder (maximal 10MB) länger als 300s brauchen wird, diese zu übertragen, Nur glauben ist in dem Falle natürlich nicht gut, deshalb frage ich euch?

Jemand Erfahrungen in dem Bereich gemacht?

Mister Ad

robo47

Was steht denn zur verfügung ?
Einfacher Webspace ?
Root Server ?
Ist das eine einmalige Sache ? Oder willst du sowas öfters machen ?

Da die lib wohl komplett in PHP geschrieben ist und nicht die ssh-extension nutzt wird das denke ich auch bei 10MB schon nen moment dauern, die frage ist was die Limitierung sein wird, die cpu/core des servers ? Die mögliche ausgehende Übertragungsgeschwindigkeit ? Die maximale Geschwindigkeit des anderen Servers ?
Das solltest du zuerst mal ausloten.

Wenn das ein Server ist würde ich an deiner Stelle eher den weg gehen und entweder das komplett ohne php machen (shell-script) oder via exec/system aus dem php-script die scp-binary nutzen, das dürfte ein gutes stück performanter sein wie ein in php implementiertes SSH2/SCP.

Ansonsten gibt es auch noch die SSH2-Extension für PHP, wenn du unbedingt in PHP bleiben willst, aber zumindest die möglichkeit hast Extensions zu installieren.

Ne Queue ist dann auch wieder abhängig davon ob du nen queue-server in irgendeiner art installiert hast oder installieren kannst oder ob du das ganze selbst basteln willst/musst, ob du überhaupt shell-zugang hast oder nicht ... und soweiter.

Bin jetzt zu faul da alle möglichkeiten zu schreiben, beschreib doch mal genauer was dir zur Verfügung steht, was du machen kannst/willst und soweiter.

__________________
robo47.net - Blog, Codeschnipsel und mehr
| Caching-Klassen und Opcode Caches in php | Robo47 Components - PHP Library extending Zend Framework

jGeee

Hallo,

nein es ist eine einmalige Sache. Auf dauer werden nur wenige Datensätze synchronisiert, natürlich auf keinem Webspace, ist schon einer unserer Roots

Kann die Serverinformationen des zusendenden Servers jedoch erst morgen früh liefern, wenn mein Admin zu erreichen ist.
Leider habe ich keinen shell-Zugriff (was ich aber - wenn nicht anders möglich - auch morgen früh ändern kann), sonst würde ich das ganze wahrscheinlich anders lösen, jedoch bleiben mir leider nur 2 Möglichkeiten.

1) Wie du auch sagtest, via exec/system
oder
2) Über meine genannte lib.

Denn die PHP-Extension kann laut meines Admins nicht installiert werden, er will es jedoch auch nicht gern..

Habe gerade auch mal kurz versucht über system(); eine Verbindung aufzubauen, jedoch liefert mir folgender command nichts zurück

Möchte ich nun das Remote-Verzeichnis auslesen, bekomme ich auch nichts zurück..
Wobei die Verbindung über meine genannte lib funktioniert.. vielleicht mach ich auch nur was falsch?

Die Queue müsste ich schon selbst proggen, wobei dass nicht das Problem sein sollte, die Frage ist halt nur, wie und ob ich überhaupt vor der Übertragung eines Datensatzes prüfen kann, wielange diese dauern wird, damit auch alle Dateien komplett übertragen werden, und nicht mittendrin i-etwas zum abbruch führt... Ohne Queue würde das ganze eh nicht funktionieren, denn die Datensätze werden bestimmt nicht vorm Apache-Timeout übertragen sein - ebenfalls - wenn apache-timeout höher gesetzt - wird es bestimmt zur Server-Überlastung führen, nich wahr..?

Bin leider noch nicht ganz fit was diesem Bereich angeht...


btw: empfehlungen für einen queue-server? würd ich dann direkt mal testen..habe zwar schon gesucht, jedoch fiel mir da nur dropr auf, da man dort ziehmlich easy mit php drauf zugreifen kann, was bei JMS Message Queues ja nicht gerade der fall ist..

jGeee

Update:

Habe nun shell zugang bekommen und direkt alles über sftp rübergeschoben. ging alles direkt ohne probleme.. Hätte echt nicht gedacht, dass die Performance direkt über die Shell ein so großer Unterschied im gegensatz zur PHP-Implementation ist..

Thread kann somit geschloßen werden...