G.Schuster

Hallo,

Für ein kleines Nebenprojekt möchte ich gerne Dateien von Rechner A auf Rechner B synchronisieren.
Um das ganze effizient zu gestalten soll zunächst geprüft werden, ob die Dateien unterschiedlich sind (sofern auf B vorhanden) und falls ja soll nur der geänderte Teil übertragen werden.
Eines an dieser Stelle vorweg: RSync als -Tool- kommt nicht in Frage, es muss Plain-PHP sein.

So, nun zur Frage:
Hat sich hier schonmal jemand mit der Berechnung von Block-Based-Checksums auseinandergesetzt und kann mir ein paar Denkanstöße geben?
Die Grundlagen sind an sich kein Problem (lies X Byte, Checksum, lies X Bytes, Checksum,...) nur befürchte ich, wird das schon bei wenigen MB großen Dateien unperformant.

Meine nächste Überlegung war, den RSync-Algorithmus in PHP nachzubilden.
Hier scheitert's im Moment aber ein bisschen am Verständnis, wie das mit der Rolling Checksum und so funktionieren soll.
Eine ausführliche Suche hat bisher leider keine vorhandenen PHP-Implementationen zu Tage gefördert.
Hat sich hier schonmal jemand damit beschäftigt oder durch Zufall einen Link zur Hand?

So, zum letzten Punkt - File-Patching.
Ausgehend davon, dass sich oben Stehendes lösen lässt sollen Dateien auf Rechner B (nach Möglichkeit) on-the-fly gepatcht werden.
Soll heißen, es existiert im Prinzip nur die Ausgangsdatei und ein Satz Änderungen - beim Abruf der Datei werden dann die Änderungen auf die Ausgangsdatei gepatcht, so dass der Client den neuesten Stand erhält.
Alternativ könnte ich mich auch "umgekehrtes Patchen" vorstellen - d.h. auf Rechner B liegt der neueste Stand und Patchfiles, um jeden vorherigen Stand wiederherzustellen.
Hat hierzu jemand brauchbare Ansätze zur Hand?

Danke schonmal im Voraus.

__________________
actra.development - Schwabstr. 2 - 70825 Münchingen
www.actra.de/velopment/ - eMail: php.de@actra.de
Zend Certified Engineer for PHP5

Mister Ad

nikosch

Na dann viel Spaß. Warum einfach, wenn es auch kompliziert geht, wa.

__________________
--
One pixel is still too big. Please make it smaller. ASAP.

Initiative Mittelstand.
Die wichtigste Gestaltungsregel im Screendesign ist Pi mal Daumen des Arbeitgebers.
--

G.Schuster

Was hilfreicher Kommentar...

Aber um dir dennoch zu erläutern, warum kompliziert und nicht einfach: es gibt Anwendungsfälle, da steht ausser PHP faktisch Nichts zur Verfügung.
Und dass es gar nicht mal so kompliziert ist beweisen mir die nach weiterer Suche gefundenen Perl- und Python-Implementierungen, an denen ich mich nun orientieren kann.

__________________
actra.development - Schwabstr. 2 - 70825 Münchingen
www.actra.de/velopment/ - eMail: php.de@actra.de
Zend Certified Engineer for PHP5

nikosch

Allein der Dateizugriff über Rechnergrenzen hinweg ist mit PHP umständlich. Keine Ahnung wie kompliziert der rsync-Mechanismus ist, in jedem Fall werden da jedoch Ordnerlistings, Zugriffschecks und Locking-Mechanismen am Start sein, die man sich, wo irgend möglich, wirklich sparen sollte zu implementieren.

__________________
--
One pixel is still too big. Please make it smaller. ASAP.

Initiative Mittelstand.
Die wichtigste Gestaltungsregel im Screendesign ist Pi mal Daumen des Arbeitgebers.
--

G.Schuster

Es gibt überhaupt keinen Dateizugriff über Rechnergrenzen hinweg.
Ich werd mal sehen wie weit ich komme, wobei ich sehr guter Dinge bin.
Im Übrigen ist es langweilig, immer bestehende Tools zu verwenden - was hier zudem eben auch gar nicht möglich ist.

__________________
actra.development - Schwabstr. 2 - 70825 Münchingen
www.actra.de/velopment/ - eMail: php.de@actra.de
Zend Certified Engineer for PHP5

nikosch

Naja, über FTP bspw. halt. Oder eben - wenn ich richtig verstehe - ein separates Protokoll. das rsync benutzt.

__________________
--
One pixel is still too big. Please make it smaller. ASAP.

Initiative Mittelstand.
Die wichtigste Gestaltungsregel im Screendesign ist Pi mal Daumen des Arbeitgebers.
--

G.Schuster

Die Kommunikation erfolgt über ein separates Protokoll, - rsync -, bzw. in meinem Fall einer Abwandlung davon.
Ich sehe das allerdings nicht als "Dateizugriff über Rechnergrenzen hinweg" an, da zu keiner Zeit A Dateien auf B bzw, B Dateien auf A direkt öffnet - das handelt jeweils eine Zwischenschicht (PHP).

Falls dich das Thema interessieren sollte, ich hab gerade die Doktorarbeit von Andrew Tridgell (der RSync-Entwickler) gefunden: http://samba.org/~tridge/phd_thesis.pdf
Nach der Lektüre (und den Perl-/Python-Impl.) versteh ich auch besser wie das funktioniert und seh nahezu keine Probleme mehr.
Lediglich was das on-the-fly-Patchen angeht muss ich mir noch was überlegen...aber das wäre nichtmal ein soooo wichtiges Feature, zumindest für den Anfang.

__________________
actra.development - Schwabstr. 2 - 70825 Münchingen
www.actra.de/velopment/ - eMail: php.de@actra.de
Zend Certified Engineer for PHP5

nikosch

Danke, ich schnupper mal rein. Ich habe gesehen, dass die Per Implementierungen, die ich gefunden habe, RSync-Clients waren. Das würde dann erklärt durch die Aussage, dass PHP sozusagen nur den Mechanismus antriggert. Mir stellt sich allerdings dann die Frage, ob rsync dann nicht ohnehin nativ auf beiden Rechnern vorhanden sein muss und wieso dann die Aussage „RSync als -Tool- kommt nicht in Frage“ besteht. Naja, vielleicht sollte ich erstmal lesen.

__________________
--
One pixel is still too big. Please make it smaller. ASAP.

Initiative Mittelstand.
Die wichtigste Gestaltungsregel im Screendesign ist Pi mal Daumen des Arbeitgebers.
--

G.Schuster

Das RSync-Tool, das "jeder" kennt ist an sich nur eine Implementierung in (ich glaube) C des dahinterstehenden Algorithmus.
Es wird eine "Weak rolling checksum" und eine MD4-Checksum auf die einzelnen Blöcke der Datei berechnet und dann gegen die Checksummen des Servers abgeglichen.
Es ist also kein "Hexenwerk", das man nicht auch mit purem PHP lösen könnte.

Noch ein bisschen Lesestoff:
File::RSync::Digest - Perl
RSYnc-Algorithmus in Python implementiert

__________________
actra.development - Schwabstr. 2 - 70825 Münchingen
www.actra.de/velopment/ - eMail: php.de@actra.de
Zend Certified Engineer for PHP5