ein PHP-Script braucht über 1 Stunde Zeit - Seite 2

eagle275 · 04.10.2010, 15:45

trotzdem ars...hlangsam .. ich hab auch ne Import-Funktion geschrieben , die haut 6500 Einträge von wirklich sehr breiten Tabellen (so um die 20 Felder) in die Datenbank - in weniger als 1.5 minuten ...

also da lässt sich bei dir bestimmt noch was optimieren .

04.10.2010, 15:48

Zitat:

Zitat von eagle275

trotzdem ars...hlangsam .. ich hab auch ne Import-Funktion geschrieben , die haut 6500 Einträge von wirklich sehr breiten Tabellen (so um die 20 Felder) in die Datenbank - in weniger als 1.5 minuten ...

also da lässt sich bei dir bestimmt noch was optimieren .

Das würde ich aber auch sagen! 1000 Inserts in 5 Minuten ist übertrieben! Schau dir dein Skript nochmal an, oder zeigs hier mal!

eagle275 · 04.10.2010, 15:50

geht aber auch noch langsamer *duck* - die erste Version meines import-Scripts brauchte so um die 4 Einträge pro Sekunde in die gleichen Tabellen ..... da bin ich beim Import fast eingeschlafen

WilliTheSmith · 04.10.2010, 20:57

Evt. ist der "Webservice" auch zu langsam

Wenn der nicht lokal ist auch eine Mögliche Ursache.

Lieg ich eigentlich richtig mit meiner Annahme, das ein Importscript dieser Art Daten irgendwo einliest - z.B. Titel, Betreff, Message einer Mail - und dann in einer Tabelle - z.B. MYSQL - ablegt?

eagle275 · 05.10.2010, 08:33

nein .. das hast du richtig erkannt ..

im einfachsten Fall liest man CSV Datei(en) mittels fgetcsv Zeilenweise ein, hat die Werte dann gesplittet in einem Array und kann sie nun in die Spalten von DatenbankTabelle(n) speichern - bei meinem Import damals 7 Excel CSV + 1 MS-Access CSV in grob 4 Haupt-Tabellen und ca 20 Nebentabellen

Man kann natürlich auch den "hand"-Weg gehen , indem man die Datei mit

PHP-Code:

  $lines=file($dateiname);
foreach ($lines as $linenumber=>$line) {
   $werte=explode(";",$line);

per Hand zerlegt

Wenn es darum geht 1 CSV in eine nahezu Deckungsgleiche Datenbanktabelle zu importieren kann man auch direkt mit MySQL-Kommando "load data infile" arbeiten .. aber nach eigener Erfahrung ist dann selbst das auslassen unwichtiger Informationen aus der CSV relativ umständlich ... dafür ist das MySQL kommando idR jedem PHP script überlegen was die Ausführungsgeschwindigkeit angeht

zwutz · 06.10.2010, 07:46

Zitat:

Zitat von eagle275

PHP-Code:

  $lines=file($dateiname);

foreach ($lines as $linenumber=>$line) {

   $werte=explode(";",$line);

das schlägt spätestens dann fehl, wenn html-entities in der csv enthalten sind

@Topic: ich glaube auch, dass das holen der zusätzlichen Informationen hier den Flaschenhals bildet. Was ist, wenn du das erstmal auslässt, also erstmal die Rohdaten, die du hast, abspeicherst und die Zusatzinfos über nen cron nachschiebst? Diesen würd ich dann halt nicht mit php realisieren

06.10.2010, 16:52

lass deinen Script über Konsole laufen, schneller und ohne Timeout !

eagle275 · 08.10.2010, 09:47

Zitat:

Zitat von zwutz

das schlägt spätestens dann fehl, wenn html-entities in der csv enthalten sind

Excel speichert keine HTML-Entities sondern Ascii oder UTF8 Text ... und was sollen bitte html-entities in einer CSV

zwutz · 08.10.2010, 22:25

Zitat:

Zitat von eagle275

Excel speichert keine HTML-Entities sondern Ascii oder UTF8 Text ... und was sollen bitte html-entities in einer CSV

wenn die Daten aus der Datenbank kommen, kann so gut wie alles drinstehen.

Darüber hinaus kann es auch andere Gründe geben, warum ein Semikolon in der CSV ist und nicht als Trenner interpretiert werden sollte. Schließlich ist das ein normales Satzzeichen

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Mehrere Werte in einem script verarbeiten	ernich	PHP Tipps 2010	7	09.04.2010 20:24
Sicherheitsfrage: externes Script über url	ibeg	PHP Tipps 2010	6	19.01.2010 22:06
Link über Echo in Java Script über Include	alex9787	PHP Tipps 2009	1	31.10.2009 12:01
Worddatei über PHP oder mit einem Script erstellen	brimberry	PHP Tipps 2009	15	13.08.2009 21:28
Scriptangebot 1 Klick Counter Hosting Script	Charbel	Scriptbörse	0	23.06.2009 07:43
Warum Domainweiterleitung über extra Script	niffi	PHP-Fortgeschrittene	6	19.06.2009 14:29
Php script über link ausführen!??	Funky_	PHP Tipps 2006	2	20.06.2006 11:32
Script beendet sich ohne Fehlermeldung	Zahl	PHP Tipps 2006	6	04.06.2006 20:41
script nicht über HTTP Request	seven-12	PHP Tipps 2005-2	6	10.06.2005 12:45
php script nicht über HTTP Request starten	seven-12	PHP-Fortgeschrittene	3	09.06.2005 22:14
[Erledigt] Relay Script		PHP-Fortgeschrittene	11	01.06.2005 16:02
[Erledigt] Hilfe bei Download Verwaltungs Script		PHP Tipps 2005	8	04.05.2005 10:29
lässt sich nix in meine mysql datenbank über script einfügen		PHP Tipps 2005	8	17.04.2005 19:41
DB-backup über Script		Datenbanken	6	22.10.2004 11:23

04.10.2010, 15:45
eagle275 Erfahrener Benutzer Registriert seit: 01.09.2010 Beiträge: 4.561 PHP-Kenntnisse: Fortgeschritten	trotzdem ars...hlangsam .. ich hab auch ne Import-Funktion geschrieben , die haut 6500 Einträge von wirklich sehr breiten Tabellen (so um die 20 Felder) in die Datenbank - in weniger als 1.5 minuten ... also da lässt sich bei dir bestimmt noch was optimieren .


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

04.10.2010, 15:50
eagle275 Erfahrener Benutzer Registriert seit: 01.09.2010 Beiträge: 4.561 PHP-Kenntnisse: Fortgeschritten	geht aber auch noch langsamer duck - die erste Version meines import-Scripts brauchte so um die 4 Einträge pro Sekunde in die gleichen Tabellen ..... da bin ich beim Import fast eingeschlafen

04.10.2010, 20:57
WilliTheSmith Benutzer Registriert seit: 12.06.2009 Beiträge: 32 PHP-Kenntnisse: Fortgeschritten	Evt. ist der "Webservice" auch zu langsam Wenn der nicht lokal ist auch eine Mögliche Ursache. Lieg ich eigentlich richtig mit meiner Annahme, das ein Importscript dieser Art Daten irgendwo einliest - z.B. Titel, Betreff, Message einer Mail - und dann in einer Tabelle - z.B. MYSQL - ablegt?

05.10.2010, 08:33
eagle275 Erfahrener Benutzer Registriert seit: 01.09.2010 Beiträge: 4.561 PHP-Kenntnisse: Fortgeschritten	nein .. das hast du richtig erkannt .. im einfachsten Fall liest man CSV Datei(en) mittels fgetcsv Zeilenweise ein, hat die Werte dann gesplittet in einem Array und kann sie nun in die Spalten von DatenbankTabelle(n) speichern - bei meinem Import damals 7 Excel CSV + 1 MS-Access CSV in grob 4 Haupt-Tabellen und ca 20 Nebentabellen Man kann natürlich auch den "hand"-Weg gehen , indem man die Datei mit PHP-Code: `$lines=file($dateiname); foreach ($lines as $linenumber=>$line) { $werte=explode(";",$line);` per Hand zerlegt Wenn es darum geht 1 CSV in eine nahezu Deckungsgleiche Datenbanktabelle zu importieren kann man auch direkt mit MySQL-Kommando "load data infile" arbeiten .. aber nach eigener Erfahrung ist dann selbst das auslassen unwichtiger Informationen aus der CSV relativ umständlich ... dafür ist das MySQL kommando idR jedem PHP script überlegen was die Ausführungsgeschwindigkeit angeht

06.10.2010, 16:52
7Style Gast Beiträge: n/a	lass deinen Script über Konsole laufen, schneller und ohne Timeout !