gesplitteter remote download, cURL

coding4food · 22.03.2010, 17:01

Hi zusammen,

derzeit lade ich mit einem PHP-Script remote XML/CSV Dateien via cURL auf meinen Server.

* V-Server
* Linux
* php.ini : memory_limit = 80M (nicht zur Laufzeit änderbar)

Download-URL's sehen etwa so aus:

Code:

http://download.from.anywhere/?aid=123&type=xml&encoding=utf-8

Das Ganze funktioniert auch soweit wunderbar - zumindest bis zu einer gewissen Grösse (ca. 15MB) der Remote-Datei (deren Grösse ist im Voraus nicht bekannt). Ist die Download-Datei zu gross gibt es regelmässig Fehler dieser Art:

Code:

Fatal error: Out of memory (allocated 27787264) (tried to allocate 25392290 bytes) in /home/www/PFAD_ZUM_SCRIPT on line 1234

Kennt jemand eine Möglichkeit die Download-Datei in Einzelschritten von beispielsweise je 10MB herunterzuladen, auf meinem Server wieder zusammenzusetzen um sie dann weiter zu verabeiten?

Vielleicht mit einer cURL-Option die ich bisher übersehen habe, fsockopen oder what ever. Irgendwie fehlt mir im Moment der Schubs in die richtige Richtung. Sehe den Wald vor lauter Bäumen nicht mehr ... Thx im Voraus

Deboril

lstegelitz · 22.03.2010, 17:13

Ohne Clientseitig den Download bereits zu splitten sehe ich da keine Chance.

Edith: oh mißverstanden... du *schiebst* mit einem Script..

Dann kommts auf die Gegenseite an...

Destruction · 22.03.2010, 17:13

fopen
fgets
fputs

ChrisB · 28.03.2010, 22:25

Wenn der Server, von dem du herunterladen willst, Range Units unterstützt, wäre das der zu bevorzugende Weg.

robo47 · 28.03.2010, 22:40

Curl kann auch direkt in eine Datei schreiben, damit sollte eigentlich kein so hoher speicherverbrauch zustandekommen.

-> PHP: curl_setopt - Manual
CURLOPT_FILE The file that the transfer should be written to. The default is STDOUT (the browser window).

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Seitennavigation durch Download blockiert	Bibbeldibabbel	PHP Tipps 2010	8	19.02.2010 23:21
Mit curl Bilder anzeigen	AllOnline	PHP Tipps 2010	2	03.02.2010 22:48
[Erledigt] curl post	GTA26	PHP Tipps 2009	1	11.03.2009 20:09
Curl mit Server-IP	fettyteddy	PHP-Fortgeschrittene	1	10.03.2009 21:01
Curl mehrere URLs öffnen in einer Curl Session.	Buschdieb	PHP Tipps 2008	8	20.12.2008 13:01
CURL funktieonieren nicht	bazik	PHP-Fortgeschrittene	12	07.11.2008 09:43
nuSOAP SSL und cURL	Typhon	PHP Tipps 2008	0	24.10.2008 15:10
Download per paypal verkaufen	Andreas08	Scriptbörse	5	29.08.2008 05:54
Download abfrage	mijoko	PHP Tipps 2007	4	18.06.2007 17:12
Nach Download -> Seite erscheint in HTML-Code	Locutus007	PHP Tipps 2006	8	26.05.2006 02:46
Download starten (header funktion), vorher Text ausgeben?	Harakiri81	PHP-Fortgeschrittene	19	16.05.2006 21:15
Dateiname bei Download ändern aber wie?	CoverDB	PHP Tipps 2006	16	20.03.2006 16:40
[Erledigt] Hilfe bei Download Verwaltungs Script		PHP Tipps 2005	8	04.05.2005 10:29
[Erledigt] PHP nachträglich mit CURL Support ausstatten		PHP-Fortgeschrittene	2	20.12.2004 16:19
datei nach download löschen		HTML, Usability und Barrierefreiheit	0	18.09.2004 17:16

22.03.2010, 17:01
coding4food Neuer Benutzer Registriert seit: 24.01.2010 Beiträge: 5 PHP-Kenntnisse: Fortgeschritten	gesplitteter remote download, cURL Hi zusammen, derzeit lade ich mit einem PHP-Script remote XML/CSV Dateien via cURL auf meinen Server. * V-Server * Linux * php.ini : memory_limit = 80M (nicht zur Laufzeit änderbar) Download-URL's sehen etwa so aus: Code: http://download.from.anywhere/?aid=123&type=xml&encoding=utf-8 Das Ganze funktioniert auch soweit wunderbar - zumindest bis zu einer gewissen Grösse (ca. 15MB) der Remote-Datei (deren Grösse ist im Voraus nicht bekannt). Ist die Download-Datei zu gross gibt es regelmässig Fehler dieser Art: Code: Fatal error: Out of memory (allocated 27787264) (tried to allocate 25392290 bytes) in /home/www/PFAD_ZUM_SCRIPT on line 1234 Kennt jemand eine Möglichkeit die Download-Datei in Einzelschritten von beispielsweise je 10MB herunterzuladen, auf meinem Server wieder zusammenzusetzen um sie dann weiter zu verabeiten? Vielleicht mit einer cURL-Option die ich bisher übersehen habe, fsockopen oder what ever. Irgendwie fehlt mir im Moment der Schubs in die richtige Richtung. Sehe den Wald vor lauter Bäumen nicht mehr ... Thx im Voraus Deboril Geändert von coding4food (22.03.2010 um 17:04 Uhr). Grund: liste statt [code]


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

22.03.2010, 17:13
lstegelitz Erfahrener Benutzer Registriert seit: 07.09.2009 Beiträge: 4.005 PHP-Kenntnisse: Fortgeschritten	Ohne Clientseitig den Download bereits zu splitten sehe ich da keine Chance. Edith: oh mißverstanden... du schiebst mit einem Script.. Dann kommts auf die Gegenseite an... __________________ Über 90% aller Gewaltverbrechen passieren innerhalb von 24 Stunden nach dem Konsum von Brot. Geändert von lstegelitz (22.03.2010 um 17:17 Uhr).

22.03.2010, 17:13
Destruction Erfahrener Benutzer Registriert seit: 05.02.2009 Beiträge: 1.401 PHP-Kenntnisse: Fortgeschritten	fopen fgets fputs __________________ "Dummheit redet viel..Klugheit denkt und schweigt.." [Amgervinus]

28.03.2010, 22:25
ChrisB Moderator¹ Registriert seit: 28.03.2010 Beiträge: 7.470 PHP-Kenntnisse: Fortgeschritten	Wenn der Server, von dem du herunterladen willst, Range Units unterstützt, wäre das der zu bevorzugende Weg.

28.03.2010, 22:40
robo47 Moderator Registriert seit: 03.09.2004 Beiträge: 11.792 PHP-Kenntnisse: Fortgeschritten	Curl kann auch direkt in eine Datei schreiben, damit sollte eigentlich kein so hoher speicherverbrauch zustandekommen. -> PHP: curl_setopt - Manual CURLOPT_FILE The file that the transfer should be written to. The default is STDOUT (the browser window). __________________ robo47.net - Blog, Codeschnipsel und mehr \| Caching-Klassen und Opcode Caches in php \| Robo47 Components - PHP Library extending Zend Framework