richtig großes csv importieren - Seite 2

marsch · 02.06.2005, 20:07

Zitat:

mittlere Dateien (100 000 Zeile) funktionieren.

Hmm... beobachte nal Speicher, CPU und Plattenplatz während des Imports.

msdose · 02.06.2005, 22:03

ok werd ich machen, danke für die vielen info's

madhatter · 15.07.2005, 16:26

Ich habe ganau das gleiche Problem. Auch bei mir werden pro Script-Ausführung 100-500 Tsd. Zeilen eingelesen. Dan ist Schluß. Keine Fehlermeldung keine sonstige Ausgabe. Die Ausführung des Scripts hört einfach auf ohne, dass etwas passiert.

Mein Script sieht wie folgt aus:

PHP-Code:

  <?php

require('../vars.php'); // Daten für die Datenbankverbindung laden

require('../mydb.class.php'); // Die Datenbankklasse laden

$db = new database($db_config); 

 
$filename = 'mydata.csv';

$handle = fopen($filename,"r");

while ( ($data = fgetcsv($handle, 1000, "|")) !== FALSE ) {        

    $sql ="INSERT INTO produkt (produkt, preis, link, bild) 

                VALUES('".mysql_escape_string($data[3])."".mysql_escape_string($data[4])."','".mysql_escape_string($data[6])."','".mysql_escape_string($data[7])."','".mysql_escape_string($data[8])."');";

    $db->query($sql);                

}

?>

$data[3] und $data[4] fasse ich zusammen zu einer Spalte, da jeweils nur eine gefüllt ist.

Ich habe mich für diese Methode entschieden, da ich nicht alle Spalten aus der CSV brauche.

Ich bin mit meinem Chinesisch am Ende... ich hoffe irgendjemand kann mir da helfen.

Insgesamt sollen es ca. 2 Mio. Zeilen werden.

madhatter · 16.07.2005, 15:12

Nun habe ich herausgefunden, dass es eindeutig nicht an der Datenbank liegt. Das Auslesen der Zeilen wird einfach irgendwann wegen irgendeiner Überschreitung einfach beendet wird. Was mich allerdings wundert ist die Tatsache, dass man keine Fehlermeldung bekommt.

Nun habe ich überlegt wie ich das am besten lösen soll.
Da ich aber kein Linux/Unix Guru bin habe ich da noch ne blöde Frage:
So weit ich weiß kann man Scripte auch auf der Shell ausführen. Besteht die Möglichkeit, dass mein Script auf der Shell komplet ausgeführt wird und nicht wegen irgendwelcher Zeit- oder Speicher-Überschreitung abgewürdt wird?
Ich vermutte mal, dass hier der Eine oder Andere da bisschen Erfahrung auf diesem Gebiet hat.

Das Script soll irgendwann auch als CronJob laufen. Das Script wird dann also vom System gestartet und nicht mehr über den Client/Browser.

Sorry für die blöde Frage aber ich weiß da leider nicht weiter. Local läuft alles supi aber auf meinem Webspace ist es bis jetzt noch nicht einmal zu ende gelaufen.

Ich habe schon überlegt die CSV-Datei per Script in kleinere Datein zu zerlegen, doch auch hier gibt das Script beim auslesen der Zeilen auf. Es schreibt zwei kleinere Datein voll und verabschiedet sich nach ca. 300 Tsd. Zeilen. Ich weiß einfach nicht weiter

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
PHP richtig lernen!	TeazY	PHP Tipps 2008	5	01.02.2008 21:50
Auflistung erfolgt nicht richtig	phyton	Datenbanken	4	06.02.2007 17:22
importieren meiner sql Datenbank	matthros	Datenbanken	14	19.05.2006 12:42
[Erledigt] Modularisierung: Wie macht man es richtig?		PHP-Fortgeschrittene	1	12.03.2006 16:00
Wie fängt man richtig an und wie geht es weiter?		PHP Tipps 2007	5	27.11.2005 16:00
[Erledigt] Lieg ich da richtig?		Datenbanken	4	31.08.2005 13:21
[Erledigt] VARIABLEN WERDEN NICHT RICHTIG VERARBEITET!!!! HILFE		PHP Tipps 2005-2	6	02.07.2005 18:32
PHP funktioniert nicht richtig?!		PHP Tipps 2005-2	26	11.06.2005 09:05
Variable wird nicht richtig übergeben		PHP Tipps 2005	17	16.01.2005 16:51
[Erledigt] MySQL ODBC - Word 97 - Daten importieren		Datenbanken	0	30.11.2004 10:44
[Erledigt] imap_body RICHTIG ausgeben (mit allen Sonderzeichen usw.)		PHP-Fortgeschrittene	3	08.09.2004 02:33
[Erledigt] Perl richtig installiert oder falsch ? testen aber wie ?	c01001	Server, Hosting und Workstations	2	31.08.2004 22:37
Formular, welches prüft, ob eingegebene Antwort richtig....		PHP Tipps 2004	10	15.08.2004 22:18
Zeit wird nicht richtig angezeigt ...		PHP Tipps 2004	8	18.07.2004 16:14
Access importieren		Datenbanken	4	07.06.2004 21:53


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

02.06.2005, 22:03
msdose Neuer Benutzer Registriert seit: 21.02.2005 Beiträge: 26	ok werd ich machen, danke für die vielen info's

15.07.2005, 16:26
madhatter Benutzer Registriert seit: 13.07.2005 Beiträge: 69	Ich habe ganau das gleiche Problem. Auch bei mir werden pro Script-Ausführung 100-500 Tsd. Zeilen eingelesen. Dan ist Schluß. Keine Fehlermeldung keine sonstige Ausgabe. Die Ausführung des Scripts hört einfach auf ohne, dass etwas passiert. Mein Script sieht wie folgt aus: PHP-Code: <?php require('../vars.php'); // Daten für die Datenbankverbindung laden require('../mydb.class.php'); // Die Datenbankklasse laden $db = new database($db_config); $filename = 'mydata.csv'; $handle = fopen($filename,"r"); while ( ($data = fgetcsv($handle, 1000, "\|")) !== FALSE ) { $sql ="INSERT INTO produkt (produkt, preis, link, bild) VALUES('".mysql_escape_string($data[3])."".mysql_escape_string($data[4])."','".mysql_escape_string($data[6])."','".mysql_escape_string($data[7])."','".mysql_escape_string($data[8])."');"; $db->query($sql); } ?> $data[3] und $data[4] fasse ich zusammen zu einer Spalte, da jeweils nur eine gefüllt ist. Ich habe mich für diese Methode entschieden, da ich nicht alle Spalten aus der CSV brauche. Ich bin mit meinem Chinesisch am Ende... ich hoffe irgendjemand kann mir da helfen. Insgesamt sollen es ca. 2 Mio. Zeilen werden.

16.07.2005, 15:12
madhatter Benutzer Registriert seit: 13.07.2005 Beiträge: 69	Nun habe ich herausgefunden, dass es eindeutig nicht an der Datenbank liegt. Das Auslesen der Zeilen wird einfach irgendwann wegen irgendeiner Überschreitung einfach beendet wird. Was mich allerdings wundert ist die Tatsache, dass man keine Fehlermeldung bekommt. Nun habe ich überlegt wie ich das am besten lösen soll. Da ich aber kein Linux/Unix Guru bin habe ich da noch ne blöde Frage: So weit ich weiß kann man Scripte auch auf der Shell ausführen. Besteht die Möglichkeit, dass mein Script auf der Shell komplet ausgeführt wird und nicht wegen irgendwelcher Zeit- oder Speicher-Überschreitung abgewürdt wird? Ich vermutte mal, dass hier der Eine oder Andere da bisschen Erfahrung auf diesem Gebiet hat. Das Script soll irgendwann auch als CronJob laufen. Das Script wird dann also vom System gestartet und nicht mehr über den Client/Browser. Sorry für die blöde Frage aber ich weiß da leider nicht weiter. Local läuft alles supi aber auf meinem Webspace ist es bis jetzt noch nicht einmal zu ende gelaufen. Ich habe schon überlegt die CSV-Datei per Script in kleinere Datein zu zerlegen, doch auch hier gibt das Script beim auslesen der Zeilen auf. Es schreibt zwei kleinere Datein voll und verabschiedet sich nach ca. 300 Tsd. Zeilen. Ich weiß einfach nicht weiter