Riesige Datei verarbeiten

Ohrwurm83 · 21.10.2004, 07:13

Hallo,
ich hab folgendes problem.
ich hab jetzt endlich eine Access datei in eine CSV datei umgewandelt bekommen. Nun ist diese Datei anscheinend für mysql zu gross. 16mb
nun wollte ich das in ein php script einlesen und einfach damit laufen lassen

Code:

$datei = fopen("1.csv", r);
while($zeile=fgetss($datei, "1024"))
{
$daten = explode(";", $zeile);
$start = $daten[1];
$ende = $daten[2];
mysql_query("INSERT INTO $db_system (start, ende) VALUES ('$start','$ende')");
 }

nun hört er mir aber immer wider nach 90 einträgen auf, woran liegt das?

schifti · 21.10.2004, 07:27

Ich habe so ein ähnliches Problem bei meinem Apache2, auch nach einer Weile des Auflistens, aufgehört hat.

Das liegt bei mir aber am RAM und am System, weil auf meinem Webhosting-Server läuft es ohne Problem und *schnell*.

Ohrwurm83 · 21.10.2004, 07:39

hab es ja aber auf meinem webserver, und da gehts grad nit!

Xfer · 21.10.2004, 08:55

Für die csv datei versuch mal den Mysql Administrator (http://dev.mysql.com/) und nicht das phpMyAdmin, der Webserver wird den timeout machen, genauso wie bei der Abfrage von schifti, mal in der php.ini schaun wie hoch die max. verarbeitungszeut des php-script ist

cu
Xfer

21.10.2004, 09:02

Zitat:

Zitat von Ohrwurm83

Nun ist diese Datei anscheinend für mysql zu gross. 16mb nun wollte ich das in ein php script einlesen und einfach damit laufen lassen [...] nun hört er mir aber immer wider nach 90 einträgen auf, woran liegt das?

Meine Fresse: warum einfach, wenns auch umständlich geht?

http://php-faq.info/index.php?aktion...id=201&lang=de

SQL Schnipsel:

Code:

LOAD DATA LOCAL
        INFILE '/home/www/servers/www.servername.de/tmp/import.csv'
        REPLACE
        INTO TABLE tabellenname
        FIELDS
                TERMINATED BY ';'
                OPTIONALLY ENCLOSED BY '"';

Ohrwurm83 · 21.10.2004, 10:53

sorry leute,
aber so gut bin ich nicht, das ich damit was anfangen kann. mag mir jemand das von meikel übersetzen. brauche das ding geschäftlich schnellst möglich, habe heute abend eine präsentation.

meine bisherige datei

Code:

 mysql_query("LOAD DATA INFILE '".dirname(__FILE__)."/1.csv' INTO TABLE `system` FIELDS TERMINATED BY ';' LINES TERMINATED BY '\\r\\n'");

echo mysql_errno() . ": " . mysql_error() . "\n";

1045: Access denied for user: 'web17@localhost' (Using password: YES)

21.10.2004, 11:18

der code von meikel is sql, einfach mal locker ausführen den kram.

deine fehlermeldung bezieht sich vermutlich aufn falsches passwort bei der datenbankanmeldung.

Ohrwurm83 · 21.10.2004, 11:23

hab da eine grund config file, mit der die restlichen datenbanksachen auch funktionieren. jedoch grade hier sagt er dass ich falsches pw hab... wie kann das sein. wenns bei den anderen scripten auch funktioniert.

21.10.2004, 11:25

Zitat:

Zitat von Ohrwurm83

wie kann das sein. wenns bei den anderen scripten auch funktioniert.

Dann sage dem Admin, er möge Dir das file-privileg verpassen.

btw: mal im Handbuch nachlesen, steht wohl nicht zur Debatte?

Ohrwurm83 · 21.10.2004, 11:32

Zitat:

Ohrwurm83 hat folgendes geschrieben:
wie kann das sein. wenns bei den anderen scripten auch funktioniert.

Dann sage dem Admin, er möge Dir das file-privileg verpassen.

btw: mal im Handbuch nachlesen, steht wohl nicht zur Debatte?

ok learning bei doing. werde es jetzt ganz einfach mit nem php script probieren.
dort müsste das ja eigentlich klappen

Code:

<?
require("config.php");


$datei = fopen("1.csv", r);
while($zeile=fgetss($datei, 1024))
{
    $daten = explode(";", $zeile);
    $test1      = $daten[0];
 
$mysql_query("INSERT INTO $db_system (test) VALUES ('$test')");
echo mysql_errno() . ": " . mysql_error() . "\n";
}
fclose($datei);

?>

sooo sieht meine php datei nun aus, aber nach genau 63 zeilen hört er auf... Verdammt, heute will ja mal gar nichts mehr gehn

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
[Erledigt] Hochgeladene Datei wird doppelt abgelegt	thecracked	PHP Tipps 2008	3	01.07.2008 16:31
Datei per Buttonklick runterladen...	go1denboy	PHP Tipps 2008	7	14.06.2008 20:25
Großer Baum -> Große Datei -> Hohe Ladezeit :(	PsychoEagle	PHP Tipps 2008	7	22.09.2007 12:44
.gz Datei entpacken und mit dem Inhalt weiterarbeiten	R4v3r	PHP Tipps 2007	8	02.02.2007 14:49
Datei durchsuchen	Wöllchen	Beitragsarchiv	3	02.03.2006 22:23
Datei auf FTP-Server ändern ohne lokal abzuspeichern	faux	PHP-Fortgeschrittene	11	02.09.2005 11:54
Datei mehrmals öffnen und schließen in einem Skript		PHP Tipps 2005-2	14	14.07.2005 18:12
datei lesen string verarbeiten und wieder abspeichern		PHP Tipps 2005-2	17	22.06.2005 16:02
Ordner Struktur auslesen bestimmte datei finden ....	silverghost	PHP Tipps 2005	3	24.05.2005 13:55
[Erledigt] mail versand mit anhang (-- fopen(), fread(), filesize() --)		PHP Tipps 2005	5	29.01.2005 18:36
Dateien lesen und schreiben [mehr als: r,a,w]?		PHP Tipps 2004	4	24.10.2004 18:53
Zeilenumbrüche & Neudatein mit PHP		PHP Tipps 2004	5	21.10.2004 11:38
Datei mit php erzeugen	Stümper	PHP Tipps 2004	4	12.10.2004 12:51
php und ftp		PHP Tipps 2004	4	07.10.2004 09:58
(ich schonwieder) Link seite automatisch	imported_DJ Nuno	PHP Tipps 2004	14	19.08.2004 17:42

21.10.2004, 07:13
Ohrwurm83 Erfahrener Benutzer Registriert seit: 05.04.2004 Beiträge: 150	Riesige Datei verarbeiten Hallo, ich hab folgendes problem. ich hab jetzt endlich eine Access datei in eine CSV datei umgewandelt bekommen. Nun ist diese Datei anscheinend für mysql zu gross. 16mb nun wollte ich das in ein php script einlesen und einfach damit laufen lassen Code: $datei = fopen("1.csv", r); while($zeile=fgetss($datei, "1024")) { $daten = explode(";", $zeile); $start = $daten[1]; $ende = $daten[2]; mysql_query("INSERT INTO $db_system (start, ende) VALUES ('$start','$ende')"); } nun hört er mir aber immer wider nach 90 einträgen auf, woran liegt das? __________________ Auch eine Faust war einmal eine offene Hand


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

21.10.2004, 07:27
schifti Erfahrener Benutzer Registriert seit: 01.09.2004 Beiträge: 532 PHP-Kenntnisse: Fortgeschritten	Ich habe so ein ähnliches Problem bei meinem Apache2, auch nach einer Weile des Auflistens, aufgehört hat. Das liegt bei mir aber am RAM und am System, weil auf meinem Webhosting-Server läuft es ohne Problem und schnell. __________________ MFG Schifti auch ein Forum (PHP)

21.10.2004, 07:39
Ohrwurm83 Erfahrener Benutzer Registriert seit: 05.04.2004 Beiträge: 150	hab es ja aber auf meinem webserver, und da gehts grad nit! __________________ Auch eine Faust war einmal eine offene Hand

21.10.2004, 08:55
Xfer Benutzer Registriert seit: 06.10.2004 Beiträge: 77	Für die csv datei versuch mal den Mysql Administrator (http://dev.mysql.com/) und nicht das phpMyAdmin, der Webserver wird den timeout machen, genauso wie bei der Abfrage von schifti, mal in der php.ini schaun wie hoch die max. verarbeitungszeut des php-script ist cu Xfer __________________

21.10.2004, 10:53
Ohrwurm83 Erfahrener Benutzer Registriert seit: 05.04.2004 Beiträge: 150	sorry leute, aber so gut bin ich nicht, das ich damit was anfangen kann. mag mir jemand das von meikel übersetzen. brauche das ding geschäftlich schnellst möglich, habe heute abend eine präsentation. meine bisherige datei Code: mysql_query("LOAD DATA INFILE '".dirname(__FILE__)."/1.csv' INTO TABLE `system` FIELDS TERMINATED BY ';' LINES TERMINATED BY '\\r\\n'"); echo mysql_errno() . ": " . mysql_error() . "\n"; 1045: Access denied for user: 'web17@localhost' (Using password: YES) __________________ Auch eine Faust war einmal eine offene Hand

21.10.2004, 11:18
Gast Beiträge: n/a	der code von meikel is sql, einfach mal locker ausführen den kram. deine fehlermeldung bezieht sich vermutlich aufn falsches passwort bei der datenbankanmeldung.

21.10.2004, 11:23
Ohrwurm83 Erfahrener Benutzer Registriert seit: 05.04.2004 Beiträge: 150	hab da eine grund config file, mit der die restlichen datenbanksachen auch funktionieren. jedoch grade hier sagt er dass ich falsches pw hab... wie kann das sein. wenns bei den anderen scripten auch funktioniert. __________________ Auch eine Faust war einmal eine offene Hand