Variablen-Speicherkapazität (insgesamt/noch frei) ermitteln

Hallo,

ich versuche derzeit, eine große Menge an Datensätzen in eine DB zu speichern.
Die Datensätze (Name: 'datensatz_n') hole ich aus einem Formular:

for($i=0;$i<$anzahl_datensätze;$i++){
$id = 'datensatz_'.$i;
$datensatz = $_POST[$id];
$cmd = "INSERT INTO....";
} 

Dann kam mir die Idee, das Ganze eleganter zu machen und erst einmal alle Datensätze per POST zu ermitteln und diese in ein Array zu speichern:

for($i=0;$i<$anzahl_datensätze;$i++){
$id = 'datensatz_'.$i;
$datensatz[$i] = $_POST[$id];
$cmd = "INSERT INTO....";
} 

Diese Variante ist deshalb geschickter für mich, da ich im weiteren Skriptverlauf Vorteile habe, wenn ich noch auf alle Datensätze zugreifen kann, was mir bei der ersteren Methode nicht mehr möglich ist, da ja immer der alte Datensatz überschrieben wird...

Nun meine Frage:
Sehr wahrscheinlich liegt das an dem Überschreiten der Speicherkapazität des Arrays, oder? Wie kann ich denn die maximale Speicherkapazität einer Variablen bzw. eines Arrays ermitteln bzw. wie ermittle ich den noch freien Speicher einer bereits belegten Variable?

Frage Nr. 2:
Kann ich die Speicherkapazität irgendwie hochsetzen bzw. einen großen Datentyp deklarieren (z.B. long oder so)? Gibts da Möglichkeiten?

Über einen Denkanstoß wäre ich sehr dankbar.

Lg

[Arne Drews]

1. Was heißt viele Datensätze in Zahlen?
2. INSERT nicht in einer Schleife wiederkehrend verwenden, stattdessen Multi-Insert

[uha]

Du kannst ein Array vollhauen, bis das in der php.ini eingestellte "memory_limit" erreicht ist.

Aber mit "wahrscheinlich" kommt man nicht sehr weit. Drehe das Error-Reporting hoch, um den Fehler zu finden.

[Geromel]

Du stammst wohl nicht aus dem PHP Universum... Sonst würdest du die Vorzüge der foreach-Schleife kennen und wie uha es schon gesagt hat, kannst du Variablen vollpacken bis das memory_limit erreicht ist.

[K.Beutler]

Was heißt viele Datensätze in Zahlen?

Gar nicht mal so viele, an der Zahl sind es 57.
Das Problem ist, dass jeder Datensatz ein rießiges Textdokument enthält (als Worddokument zwischen 40-100 Seiten Text).

Wenn ich das Skript laufen lasse, lädt es ne Weile und bricht dann einfach ab...

Aber mit "wahrscheinlich" kommt man nicht sehr weit. Drehe das Error-Reporting hoch, um den Fehler zu finden.

Was meinst du damit genau? Kann ich einen Skriptfehler direkt anzeigen lassen?
EDIT:
Habe die Funktion "error_reporting(E_ALL); aufgerufen --> keine Fehlermeldungen...

[hausl]

lädt es ne Weile und bricht dann einfach ab...

timeout gibt es auch noch ... http://php.net/manual/de/function.set-time-limit.php

[Geromel]

Error reporting an, dann weißt du obs an der Dateigröße oder am Timeout liegt. Beides kann man allerdings konfiguieren.

[K.Beutler]

Also, für jedes Formular, auf das ich diese Schleife anwende (also sprich jede Tabelle, die ich mit Datensätzen aus einem Formular befüllen möchte) und bei dem es auch funktioniert, kommen folgende Rückgabewerte von error_reporting(E_ALL):
- beim ersten Schleifendurchlauf (also erste Array-Belegung) den Rückgabewert '22519'
- bei allen weiteren Durchläufen der Wert '30719'.

ABER: Bei dem Formular mit den Riesendatensätzen, bei dem das Skript einfach abbricht, erscheint auch keine Fehlermeldung (ich vermute jedoch das liegt daran, dass das Skript einfach abbricht und gar nicht mehr zum error_reporting()-Befehl kommt...).

Was soll/kann ich tun?

[uha]

In den Log-Files könnte man eventuell auch Infos finden

[Arne Drews]

Wenn ich das Skript laufen lasse, lädt es ne Weile und bricht dann einfach ab...

Also File-Upload?! Das hast Du bisher nicht erwähnt!
Dann siehe erstens #6 und zweitens bitte aml diese ErrorReporting-Einstellungen testen:

error_reporting ( -1 );
ini_set ( 'display_errors', true ); 

ohne das ini_set( ... ); werden die Errors nämlich nur protokolliert in den Logs, aber nicht angezeigt!

[K.Beutler]

Oh mein Gott es lag tatsächlich am time-limit!

Habe mal vor die Schleife ein 'set_time_limit(60);' gesetzt und siehe da, er hatte genug Zeit um alle Datensätze zu übermitteln!!

Nun noch ne kleine Frage:
Kann ich das time_limit() auf unbegrenzt setzen oder wie weiß ich im Voraus, welcher Zeitraum zum Übermitteln der Daten benötigt wird? Es ist nämlich duraus wahrscheinlich, dass irgendwann auch die 60s nicht mehr ausreichen werden...

lg

[Geromel]

http://php.net/manual/de/function.set-time-limit.php

[K.Beutler]

http://php.net/manual/de/function.set-time-limit.php

Sorry, da war ich etwas unaufmerksam.. Vielen Dank!

Ein kleines Problem habe ich noch bzw. etwas stört mich an der Sache noch:
Warum benötigt der Server für die Speicherung der Daten in ein Array mehr Rechenzeit als beim separaten Speichern in immer dieselbe Variable? Eigentlich sollte das doch rechenzeittechnisch keinen Unterschied machen, oder?

Welche Methode würdet Ihr bevorzugen?

Lg

[tr0y]

Tut er nicht, zumindest nicht in dem Ausmaß von Sekunden, das was du als langsam empfindest ist mit aller größter Wahrscheinlichkeit der Rest des Scripts.

Generell solltest du dich Client-seitig auf eine HTML-Array-Struktur festlegen und diese dann nur Server-seitig validieren um sie danach zu iterieren ( foreach ). Es ist auch zu empfehlen nicht für jeden Datensatz ein neues Query zusammenzukleistern, sondern nur einmal ein Query vorzubereiten ( perpared statements ) und dieses dann mit den jeweiligen Daten eines Datensatzes gegen die Datenbank zu feuern.

[K.Beutler]

Tut er nicht, zumindest nicht in dem Ausmaß von Sekunden, das was du als langsam empfindest ist mit aller größter Wahrscheinlichkeit der Rest des Scripts.

Hmm... aber warum muss ich dann nur bei der Methode mit dem Array die Funktionszeit (set_time_limit() ) erhöhen? Wäre die Rechenzeit bei beiden Methoden gleich lang, dann müsste er doch bei beiden Methoden auch abbrechen, sofern ich kein set_time_limit() verwende, oder?

Generell solltest du dich Client-seitig auf eine HTML-Array-Struktur festlegen und diese dann nur Server-seitig validieren um sie danach zu iterieren ( foreach ). Es ist auch zu empfehlen nicht für jeden Datensatz ein neues Query zusammenzukleistern, sondern nur einmal ein Query vorzubereiten ( perpared statements ) und dieses dann mit den jeweiligen Daten eines Datensatzes gegen die Datenbank zu feuern.

Hui... sorry aber da komme ich nicht mehr mit
Könntest du das nochmal für einen DAU wie mich wiederholen
Ich lese mich nachher gleich mal in Multi-Insert ein, wie es ein Vorposter emfohlen hat...