Große Datenmengen verarbeiten - Seite 2

serious-cool · 24.03.2011, 13:14

Der Code/Aufwand bleibt der gleiche, nur die Syntax ist ne andere

Der Zwischenschritt über eine Temporäre Tabelle könnte entfallen, eine Aufteilung auf 100 Datensätze pro Sequenz wäre überflüssig, das Programm könnte das Ganze iterativ Zeile für Zeile bzw. Matrix für Matrix lösen und wäre dabei nicht von den PHP Restriktionen (Ausführungszeit, Speicherbegrenzung) betroffen. Ich nehme dabei an dass die Konvertierung der Daten algorithmisch lösbar ist.

War ja auch nur ein Vorschlag, wollte keine Grundsatzdiskussion starten.

tr0y · 24.03.2011, 13:55

Augenscheinlich will er eine Server 2 Server-Lösung schaffen, Temporäre Tabellen nutzt meine Methode nicht, ein Job-Table nutzt so gut wie jede Overall-Cronjob Unit die mehrere Jobs nacheinander ausführen will und kontinuierlich laufen soll und kann ohne anfälligkeiten wie memory leaks bei wochenlanger laufzeit.

Ich will aber hier auch keine Grundsatzlösung anzetteln, nur möchte ich das man PHP ab und zu mehr zutraut und nicht gleich mit Spatzen auf Ameisen ballert ( C ). Wenn der zwischenschritt des compiling z.b. wegfallen kann, ein serverumzug bspw. weniger verkompliziert wird, weil die gesamte Software auf einer Environment-Basis läuft.

Wolla · 24.03.2011, 14:06

Ich importiere alle CSV-Dateien immer nur mit eigenen PHP-Scripten, welche mit set_time_limit(0); am Leben bleiben.
Ich muss hier allerdings auch pro Zeile Daten verändern (Datumformat, Anrede m->Herr usw.) und weitere Daten hinzufügen.
Das Script importiert etwa 1000 Zeilen pro Sekunde.

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Mehrere Werte in einem script verarbeiten	ernich	PHP Tipps 2010	7	09.04.2010 20:24
[Erledigt] [SFTP] Große Datenmengen - Queue?	jGeee	PHP-Fortgeschrittene	3	08.03.2010 10:55
Wie Größe einer IMAP/NNTP Message ohne kompl. Download rausfinden?	cider	PHP-Fortgeschrittene	6	22.02.2010 23:44
Größe in PX nach rechts flexibel	Rubio	PHP Tipps 2010	30	22.02.2010 23:12
Große Datenmenge (Bilder) verarbeiten	Logan1980	PHP Tipps 2009	7	01.01.2010 18:28
[Erledigt] Tabellenlayout: Große Felder auslagern?	boernard	Datenbanken	7	27.07.2009 14:03
[Erledigt] Bild mit wasserzeichen in vari größe	Kay654	PHP Tipps 2009	10	14.04.2009 14:25
große Datenmengen und die Same Origin Policy	R4v3r	JavaScript, Ajax und mehr	4	30.03.2009 12:42
mit jQuery grosse Formulare verarbeiten	phpbeginner	HTML, Usability und Barrierefreiheit	5	13.06.2008 22:58
Größe von Memory (Heap) Tabellen	R4v3r	Datenbanken	1	22.08.2007 17:11
DIV dynamischer Größe mit Schatten	TheIfrit	HTML, Usability und Barrierefreiheit	9	15.03.2006 18:21
Größe von Button ändern		HTML, Usability und Barrierefreiheit	2	29.09.2005 15:29
große datenmengen aus mysql auslesen	bratwurstschorsch	PHP Tipps 2005-2	6	04.08.2005 16:05
[Erledigt] sehr große Dateien mit PHP verarbeiten		PHP-Fortgeschrittene	6	16.03.2005 22:06
[Erledigt] Größe des Fenster durch array		PHP Tipps 2004	12	01.09.2004 12:03

24.03.2011, 13:14
serious-cool Erfahrener Benutzer Registriert seit: 12.09.2008 Beiträge: 154 PHP-Kenntnisse: Fortgeschritten	Der Code/Aufwand bleibt der gleiche, nur die Syntax ist ne andere Der Zwischenschritt über eine Temporäre Tabelle könnte entfallen, eine Aufteilung auf 100 Datensätze pro Sequenz wäre überflüssig, das Programm könnte das Ganze iterativ Zeile für Zeile bzw. Matrix für Matrix lösen und wäre dabei nicht von den PHP Restriktionen (Ausführungszeit, Speicherbegrenzung) betroffen. Ich nehme dabei an dass die Konvertierung der Daten algorithmisch lösbar ist. War ja auch nur ein Vorschlag, wollte keine Grundsatzdiskussion starten. __________________ Ein Klauenhammer ist kein Schraubendreher, auch wenn beide das Problem ,,Schraube-Wand" bidirektional lösen können.


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

24.03.2011, 13:55
tr0y Erfahrener Benutzer Registriert seit: 26.07.2010 Beiträge: 4.874 PHP-Kenntnisse: Fortgeschritten	Augenscheinlich will er eine Server 2 Server-Lösung schaffen, Temporäre Tabellen nutzt meine Methode nicht, ein Job-Table nutzt so gut wie jede Overall-Cronjob Unit die mehrere Jobs nacheinander ausführen will und kontinuierlich laufen soll und kann ohne anfälligkeiten wie memory leaks bei wochenlanger laufzeit. Ich will aber hier auch keine Grundsatzlösung anzetteln, nur möchte ich das man PHP ab und zu mehr zutraut und nicht gleich mit Spatzen auf Ameisen ballert ( C ). Wenn der zwischenschritt des compiling z.b. wegfallen kann, ein serverumzug bspw. weniger verkompliziert wird, weil die gesamte Software auf einer Environment-Basis läuft. __________________ Lasse mir ohne Anwendung von Gewalt Dinge schenken, Amazon weiß darüber bald mehr.

24.03.2011, 14:06
Wolla Moderator Registriert seit: 06.06.2008 Beiträge: 4.945 PHP-Kenntnisse: Fortgeschritten	Ich importiere alle CSV-Dateien immer nur mit eigenen PHP-Scripten, welche mit set_time_limit(0); am Leben bleiben. Ich muss hier allerdings auch pro Zeile Daten verändern (Datumformat, Anrede m->Herr usw.) und weitere Daten hinzufügen. Das Script importiert etwa 1000 Zeilen pro Sekunde. __________________ Warum denkt mein Hund eigentlich immer dann, wenn es an der Tür klingelt, es sei für ihn?