Umgang mit übergroßen Produktlisten - Seite 2

superskunk · 25.07.2009, 17:23

Ist das error-reporting hoch genug eingestellt ?
steht display_errors auf On ?
In der info.php steht bei error_reporting no value. display_errors steht auf on.

Hast du mal "debug"-ausgaben eingebaut ? dass es z.b. alle X Datensätze in eine Datei den Status + speicherverbrauch loggt ?
Nein. Ich weis auch nicht wie das geht. Das Script schreibt aber gar keine Daten in die Datenbank, bei den übergroßen Dateien. Ich glaube fast der Fehler hat irgendetwas mit dem Speicher zu tun. Die Artikeldaten Daten werden doch zuerst in ein array geschr. und dann mit einer Schleife ausgelesen. Ich glaube dort ist irgendwo der Fehler.

Nach welcher Zeit bricht es ab ?
Das ist nicht unbedingt Zeitabhängig. Also ein Timeout kommt im Grunde nicht in Frage. Lokal funktioniert auch alles super. Online nur eben nicht.

Wie rufst du es auf ? Via Browser ? Via shell/cmd ?
Ich starte das Script im Browser.

thomasE · 26.07.2009, 03:45

sag mir bitte, dass du nicht versuchst 50000 Datensätz in einem insert-befehl an die Datenbank zu senden.

superskunk · 26.07.2009, 18:49

Nein das wird in einer Schleife gemacht & wie ich schon geschrieben habe, ist das nun so aufgebaut das nach einem Limit abgebrochen wird und dann per metarefresh neu gestartet wird (ab dem Startwert).

Chriz · 26.07.2009, 18:56

Wenn die CSV-Datei auf dem selben Server wie die MySQL liegt, versuch es mit LOAD DATA:
MySQL :: MySQL 5.1 Reference Manual :: 12.2.6 LOAD DATA INFILE Syntax
Das sollte unschlagbar sein.

superskunk · 26.07.2009, 19:36

Die Datei liegt auf einem entfernten Server.

Chriz · 26.07.2009, 20:02

OK - klappt jetzt alles?

superskunk · 27.07.2009, 18:20

Nein. Das habe ich ja bereits geschrieben. Das Script bricht ab ohne auch nur einen Datensatz geschrieben zu haben. Bei kleineren Produktlisten und lokal funktioniert alles. Deswegen vermute ich den Fehler bereits beim öffnen der CSV Datei. Ich weis nur nicht was es noch sein könnte.

Screeze · 27.07.2009, 19:11

setz mal an den anfang der php datei

PHP-Code:

  error_reporting(E_ALL);

noch vor dem setzen des limits. evtl. siehst du nur entsprechende fehlermeldungen nicht.

superskunk · 27.07.2009, 20:29

Das hat nichts gebracht.
Die Seite wird weiterhin nicht richtig angezeigt, also mitten im Body wird die Ausgabe abgebrochen & keine Daten werden in die Datenbank geschrieben & auch keine Fehler ausgegeben.

cetalian · 28.07.2009, 10:58

Vielleicht wird der Array zu groß und du hängst am Memorylimit? Schau doch mal unter hier: http://www.php.de/datenbanken/56498-...-einlesen.html ([Erledigt] Große CSV Dateien einlesen) hatte ich ein ähnliches Problem

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Vergleiche oder aber der korrekte Umgang mit " und '		PHP Tipps 2007	7	08.12.2005 12:19
Umgang mit Newbies	Zergling-new	Off-Topic Diskussionen	16	12.11.2005 22:12
umgang mit array, überprüfen nach inhalt	Tic Rederon	PHP Tipps 2005-2	4	02.08.2005 17:39
Textarea: Zeilenumbrüche (PHP umgang / Mozillafähig)	King2k	HTML, Usability und Barrierefreiheit	5	26.07.2005 08:30
Umgang mit Flatfile		PHP Tipps 2005-2	8	30.06.2005 21:40
Umgang mit den drei PHP-Foren	Basti	Off-Topic Diskussionen	21	19.08.2004 15:50

25.07.2009, 17:23
superskunk Benutzer Registriert seit: 16.05.2008 Beiträge: 60	Ist das error-reporting hoch genug eingestellt ? steht display_errors auf On ? In der info.php steht bei error_reporting no value. display_errors steht auf on. Hast du mal "debug"-ausgaben eingebaut ? dass es z.b. alle X Datensätze in eine Datei den Status + speicherverbrauch loggt ? Nein. Ich weis auch nicht wie das geht. Das Script schreibt aber gar keine Daten in die Datenbank, bei den übergroßen Dateien. Ich glaube fast der Fehler hat irgendetwas mit dem Speicher zu tun. Die Artikeldaten Daten werden doch zuerst in ein array geschr. und dann mit einer Schleife ausgelesen. Ich glaube dort ist irgendwo der Fehler. Nach welcher Zeit bricht es ab ? Das ist nicht unbedingt Zeitabhängig. Also ein Timeout kommt im Grunde nicht in Frage. Lokal funktioniert auch alles super. Online nur eben nicht. Wie rufst du es auf ? Via Browser ? Via shell/cmd ? Ich starte das Script im Browser.


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

26.07.2009, 03:45
thomasE Erfahrener Benutzer Registriert seit: 03.06.2009 Beiträge: 140 PHP-Kenntnisse: Anfänger	sag mir bitte, dass du nicht versuchst 50000 Datensätz in einem insert-befehl an die Datenbank zu senden.

26.07.2009, 18:49
superskunk Benutzer Registriert seit: 16.05.2008 Beiträge: 60	Nein das wird in einer Schleife gemacht & wie ich schon geschrieben habe, ist das nun so aufgebaut das nach einem Limit abgebrochen wird und dann per metarefresh neu gestartet wird (ab dem Startwert).

26.07.2009, 18:56
Chriz Moderator Registriert seit: 11.05.2008 Beiträge: 6.069	Wenn die CSV-Datei auf dem selben Server wie die MySQL liegt, versuch es mit LOAD DATA: MySQL :: MySQL 5.1 Reference Manual :: 12.2.6 LOAD DATA INFILE Syntax Das sollte unschlagbar sein. __________________ "Nuschel ich?" - "Was?"

26.07.2009, 19:36
superskunk Benutzer Registriert seit: 16.05.2008 Beiträge: 60	Die Datei liegt auf einem entfernten Server.

26.07.2009, 20:02
Chriz Moderator Registriert seit: 11.05.2008 Beiträge: 6.069	OK - klappt jetzt alles? __________________ "Nuschel ich?" - "Was?"

27.07.2009, 18:20
superskunk Benutzer Registriert seit: 16.05.2008 Beiträge: 60	Nein. Das habe ich ja bereits geschrieben. Das Script bricht ab ohne auch nur einen Datensatz geschrieben zu haben. Bei kleineren Produktlisten und lokal funktioniert alles. Deswegen vermute ich den Fehler bereits beim öffnen der CSV Datei. Ich weis nur nicht was es noch sein könnte.

27.07.2009, 19:11
Screeze Erfahrener Benutzer Registriert seit: 04.01.2009 Beiträge: 844 PHP-Kenntnisse: Fortgeschritten	setz mal an den anfang der php datei PHP-Code: `error_reporting(E_ALL);` noch vor dem setzen des limits. evtl. siehst du nur entsprechende fehlermeldungen nicht. __________________ Develovision Blog

27.07.2009, 20:29
superskunk Benutzer Registriert seit: 16.05.2008 Beiträge: 60	Das hat nichts gebracht. Die Seite wird weiterhin nicht richtig angezeigt, also mitten im Body wird die Ausgabe abgebrochen & keine Daten werden in die Datenbank geschrieben & auch keine Fehler ausgegeben.

28.07.2009, 10:58
cetalian Erfahrener Benutzer Registriert seit: 27.06.2009 Beiträge: 498 PHP-Kenntnisse: Anfänger	Vielleicht wird der Array zu groß und du hängst am Memorylimit? Schau doch mal unter hier: http://www.php.de/datenbanken/56498-...-einlesen.html ([Erledigt] Große CSV Dateien einlesen) hatte ich ein ähnliches Problem