zip - hört bei 55 MB Archivgröße auf Dateien hinzuzufügen

DonTermi · 25.09.2008, 15:38

Moin,

ich hab bei uns in der Firma ein automatisches Produktbilderhochladeskript geschrieben. Ich kopiere alle Bilder, die sich seit timestamp xyz geändert haben, in ein export Verzeichnis und dieses will ich zippen, damit ich die ZIP dann auf unseren Webserver hochladen kann. Mein Problem besteht zur Zeit darin, dass bei einer Archivgröße von 55 MB keine Dateien mehr hinzugefügt werden. Die ZIP Funktion addFile gibt ab dort auch ein false zurück.

Kann ich diese Beschränkung irgendwie konfigurieren ?

PTC · 25.09.2008, 15:42

Welche Extension benutzt du zum zippen?

DonTermi · 25.09.2008, 15:45

Die in php dabei ist:

PHP Version 5.2.6-3
System: Linux/Debian (testing)

Zip enabled
Extension Version $Id: php_zip.c,v 1.1.2.43 2008/01/18 00:51:38 pajoye Exp $
Zip version 1.8.11
Libzip version 0.8.0-compatible

robo47 · 25.09.2008, 16:00

memory_limit oder execution_time vielleicht ?

Vielleicht mal speicherverbrauch und scriptlaufzeit in ne externe log schreiben lassen während das script läuft.

Sollte es Speicher sein:
Machst du noch weitere Dinge mit den Bildern ? Verkleinern oder sowas ? vielleicht irgendwo noch ungenutzte Variablen die du mit unset während dem Ablauf löschen kannst ?

DonTermi · 25.09.2008, 16:13

Das Skript dient nur dazu die aktualisierten Bilder alle in eine zip zu packen. Mehr nicht. Ist einfach komfortabler wenn ich nur eine Datei hochladen brauch

memory_limit ist auf 256 MB angehoben. set_time_limit ist sowieso bei mir auf 0 (unlimited). Selbes Ergebnis.

Kann ich nur noch evtl eins machen:

Nach jedem addFile die Archivgröße prüfen und wenn diese 50 MB erreicht hat eine Funktion in meiner Klasse aufrufen die ein neues Archiv anlegt. Sozusagen ne Art volume Archiv erstelle.

DonTermi · 25.09.2008, 16:52

Das war ein glatter Fehlschlag. Kann das Archiv leider nicht wirklich testen, da beim packen eine temporäre Datei benutzt wird und diese natürlich immer anders heißt.

robo47 · 25.09.2008, 16:57

Zitat:

Zitat von DonTermi

Das Skript dient nur dazu die aktualisierten Bilder alle in eine zip zu packen. Mehr nicht. Ist einfach komfortabler wenn ich nur eine Datei hochladen brauch

memory_limit ist auf 256 MB angehoben. set_time_limit ist sowieso bei mir auf 0 (unlimited). Selbes Ergebnis.

Kann ich nur noch evtl eins machen:

Nach jedem addFile die Archivgröße prüfen und wenn diese 50 MB erreicht hat eine Funktion in meiner Klasse aufrufen die ein neues Archiv anlegt. Sozusagen ne Art volume Archiv erstelle.

hmm mal im error-log vom webserver (falls es über den Browser läuft) und php-errorlog (falls aktiviert) schauen ob dort etwas auftaucht, ansonsten vielleicht mal ein bißchen code zeigen.

brian johnson · 25.09.2008, 17:11

hi,

da gibts nen schönen kommentar im php manual:

Zitat:

Currently the number of files that can be added using addFile to the ZIP archive (until it is closed) is limited by file descriptors limit. This is an easy workaround (on the bug links below you can find another workarounds):

unds präsentiert auch nen workaround:

PHP-Code:

  <?php

/** work around file descriptor number limitation (to avoid failure

* upon adding more than typically 253 or 1024 files to ZIP) */

function addFileToZip( $zip, $path, $zipEntryName ) {

// this would fail with status ZIPARCHIVE::ER_OPEN

// after certain number of files is added since

// ZipArchive internally stores the file descriptors of all the

// added files and only on close writes the contents to the ZIP file

// see: http://bugs.php.net/bug.php?id=40494

// and: http://pecl.php.net/bugs/bug.php?id=9443

// return $zip->addFile( $path, $zipEntryName );

$contents = file_get_contents( $path );

if ( $contents === false ) {

return false;

}

return $zip->addFromString( $zipEntryName, $contents );

}

DonTermi · 25.09.2008, 17:13

nope, keine Error Messages.

Der Code ist nicht anderes als

$zip = new ZipArchive;

und dann einfach ne Funktion die ein Verzeichnis rekursiv durchforstet und ein

$zip->addEmptyDir ...
und
$zip->addFile...

macht. Mehr ist das nicht. Diese temporäre Datei habe ich jetzt umgangen. Benutze einfach in der Klasse noch eine zusätzliche Variable für die erfaßten Dateigrößen. Ich addiere einfach die zu packende Dateigröße in diese Variable "current_archive_size" und sobald diese die split_size überschreitet wird eine neues Archiv angelegt. So richtet sich der Split zwar nach der wirklich Dateigröße, aber es funktioniert erstmal.

DonTermi · 25.09.2008, 17:27

@brian johnson

Danke. Habe mal addFromString eingebaut statt addFile. Jetzt gehts. Liegt wirklich am file descriptors limit. Bin grad am suchen wo das in der Manual steht

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
PHP Dateien verschlüsseln	GSJLink	PHP-Fortgeschrittene	2	26.04.2008 12:29
[Logik] Mehrere Dateien als Anhang per Formular versenden	PsychoEagle	PHP Tipps 2008	2	27.08.2007 08:58
[Erledigt] Dateien aus Verzeichnissen vom Webserver auslesen und linken		PHP Tipps 2004	3	08.09.2004 10:07

25.09.2008, 15:38
DonTermi Erfahrener Benutzer Registriert seit: 14.07.2005 Beiträge: 157	zip - hört bei 55 MB Archivgröße auf Dateien hinzuzufügen Moin, ich hab bei uns in der Firma ein automatisches Produktbilderhochladeskript geschrieben. Ich kopiere alle Bilder, die sich seit timestamp xyz geändert haben, in ein export Verzeichnis und dieses will ich zippen, damit ich die ZIP dann auf unseren Webserver hochladen kann. Mein Problem besteht zur Zeit darin, dass bei einer Archivgröße von 55 MB keine Dateien mehr hinzugefügt werden. Die ZIP Funktion addFile gibt ab dort auch ein false zurück. Kann ich diese Beschränkung irgendwie konfigurieren ? __________________ [visit Donvelopment.org] PGP-KeyID: 0xBEC31126] [Blog:Don's Blog]


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

25.09.2008, 15:42
PTC Erfahrener Benutzer Registriert seit: 27.10.2007 Beiträge: 1.708 PHP-Kenntnisse: Anfänger	Welche Extension benutzt du zum zippen?

25.09.2008, 15:45
DonTermi Erfahrener Benutzer Registriert seit: 14.07.2005 Beiträge: 157	Die in php dabei ist: PHP Version 5.2.6-3 System: Linux/Debian (testing) Zip enabled Extension Version $Id: php_zip.c,v 1.1.2.43 2008/01/18 00:51:38 pajoye Exp $ Zip version 1.8.11 Libzip version 0.8.0-compatible __________________ [visit Donvelopment.org] PGP-KeyID: 0xBEC31126] [Blog:Don's Blog]

25.09.2008, 16:00
robo47 Moderator Registriert seit: 03.09.2004 Beiträge: 11.798 PHP-Kenntnisse: Fortgeschritten	memory_limit oder execution_time vielleicht ? Vielleicht mal speicherverbrauch und scriptlaufzeit in ne externe log schreiben lassen während das script läuft. Sollte es Speicher sein: Machst du noch weitere Dinge mit den Bildern ? Verkleinern oder sowas ? vielleicht irgendwo noch ungenutzte Variablen die du mit unset während dem Ablauf löschen kannst ? __________________ robo47.net - Blog, Codeschnipsel und mehr \| Caching-Klassen und Opcode Caches in php \| Robo47 Components - PHP Library extending Zend Framework

25.09.2008, 16:13
DonTermi Erfahrener Benutzer Registriert seit: 14.07.2005 Beiträge: 157	Das Skript dient nur dazu die aktualisierten Bilder alle in eine zip zu packen. Mehr nicht. Ist einfach komfortabler wenn ich nur eine Datei hochladen brauch memory_limit ist auf 256 MB angehoben. set_time_limit ist sowieso bei mir auf 0 (unlimited). Selbes Ergebnis. Kann ich nur noch evtl eins machen: Nach jedem addFile die Archivgröße prüfen und wenn diese 50 MB erreicht hat eine Funktion in meiner Klasse aufrufen die ein neues Archiv anlegt. Sozusagen ne Art volume Archiv erstelle. __________________ [visit Donvelopment.org] PGP-KeyID: 0xBEC31126] [Blog:Don's Blog]

25.09.2008, 16:52
DonTermi Erfahrener Benutzer Registriert seit: 14.07.2005 Beiträge: 157	Das war ein glatter Fehlschlag. Kann das Archiv leider nicht wirklich testen, da beim packen eine temporäre Datei benutzt wird und diese natürlich immer anders heißt. __________________ [visit Donvelopment.org] PGP-KeyID: 0xBEC31126] [Blog:Don's Blog]

25.09.2008, 17:13
DonTermi Erfahrener Benutzer Registriert seit: 14.07.2005 Beiträge: 157	nope, keine Error Messages. Der Code ist nicht anderes als $zip = new ZipArchive; und dann einfach ne Funktion die ein Verzeichnis rekursiv durchforstet und ein $zip->addEmptyDir ... und $zip->addFile... macht. Mehr ist das nicht. Diese temporäre Datei habe ich jetzt umgangen. Benutze einfach in der Klasse noch eine zusätzliche Variable für die erfaßten Dateigrößen. Ich addiere einfach die zu packende Dateigröße in diese Variable "current_archive_size" und sobald diese die split_size überschreitet wird eine neues Archiv angelegt. So richtet sich der Split zwar nach der wirklich Dateigröße, aber es funktioniert erstmal. __________________ [visit Donvelopment.org] PGP-KeyID: 0xBEC31126] [Blog:Don's Blog]

25.09.2008, 17:27
DonTermi Erfahrener Benutzer Registriert seit: 14.07.2005 Beiträge: 157	@brian johnson Danke. Habe mal addFromString eingebaut statt addFile. Jetzt gehts. Liegt wirklich am file descriptors limit. Bin grad am suchen wo das in der Manual steht __________________ [visit Donvelopment.org] PGP-KeyID: 0xBEC31126] [Blog:Don's Blog]