MySQL Query mit pcntl_fork()

hoctar · 15.12.2008, 16:35

Hi ^^
ich starte mit der funktion pcntl_fork() mehrere Prozesse, dessen output möchte ich gerne in einer Datenbank speichern.
"mysql_query" scheint da wohl nicht zu funktionieren. Hat jemand eine Idee ?

cycap · 15.12.2008, 16:37

@hoctar: Du wirst auffällig. Du musst dringend an der Qualität deiner Postings arbeiten, vor allem beim eröffnen neuer Threads.

brian johnson · 15.12.2008, 17:41

Zitat:

Zitat von cycap

@hoctar: Du wirst auffällig. Du musst dringend an der Qualität deiner Postings arbeiten, vor allem beim eröffnen neuer Threads.

besonders wers wagt mit php zu forken, sollte das auf die reihe kriegen...

nikosch · 15.12.2008, 19:59

Wobei die Betonung auf PHP liegt. Photocase - Bauer sucht Frau

hoctar · 16.12.2008, 11:29

Zitat:

Zitat von brian johnson

besonders wers wagt mit php zu forken, sollte das auf die reihe kriegen...

Das hilft mir echt weiter -.-

Mein Script sieht in etwa so aus:

PHP-Code:

  $pids = array();
$j = 0;
$csv = fopen('datei.csv', 'r');
while($data = fgetcsv($csv, 32, ';'))
 {
  $j++;
  $pids[$j] = pcntl_fork();
  
  if(!$pids[$j]) 
   {
     $eintrag = "INSERT INTO test (id, zeit) VALUES ('$data[0]', 'now()')";
     mysql_query($eintrag);
   }

for($i = 0; $i < $j; $i++) {
  pcntl_waitpid($pids[$i], $status, WUNTRACED);
}

aber leider funktioniert das so nicht, weil der child die verbindung schließt.

Ich habe mir schon überlegt für jeden Prozess eine neue DB verbindung aufzubauen. Würde das so gehen ? Habt ihr noch andere Möglichkeiten ?

robo47 · 16.12.2008, 11:49

Kannst du begründen warum du forkst ?
Aktuell denke ich dass du nen Haufen Overhead was RAM-Verbrauch + CPU-Last angeht hast, nur durch das forken eines kleinen insert-querys.

Wenn deine daten schon als csv vorliegen und die datenmenge wirklich groß ist, wäre es vielleicht sinnvoller die Daten direkt mit mysqls LOAD DATA INFILE einzulesen das dürfte performanter sein (notfalls vorformatieren der csv damit es passt).

dein 'now()' in deinem query wird übrigends nicht ausgeführt sondern so in die DB eingetragen ... ich weis ja nicht ob das der sinn der sache ist. Wenn du das NOW() trotzdem brauchst, kannst du ja die ids auslesen aus der CSV und dann ein

UPDATE test SET zeit = NOW() WHERE id IN (hier die gesammelten ids);

drüberjagen nachdem alles drin ist.

robo47 · 16.12.2008, 11:49

Kannst du begründen warum du forkst ?
Aktuell denke ich dass du nen Haufen Overhead was RAM-Verbrauch + CPU-Last angeht hast, nur durch das forken eines kleinen insert-querys.

Wenn deine daten schon als csv vorliegen und die datenmenge wirklich groß ist, wäre es vielleicht sinnvoller die Daten direkt mit mysqls LOAD DATA INFILE einzulesen das dürfte performanter sein (notfalls vorformatieren der csv damit es passt).

dein 'now()' in deinem query wird übrigends nicht ausgeführt sondern so in die DB eingetragen ... ich weis ja nicht ob das der sinn der sache ist. Wenn du das NOW() trotzdem brauchst, kannst du ja die ids auslesen aus der CSV und dann ein

UPDATE test SET zeit = NOW() WHERE id IN (hier die gesammelten ids);

drüberjagen nachdem alles drin ist.

hoctar · 16.12.2008, 11:59

In der datei.csv stehen nur ids, die ich benutze um in einer anderen Datei Textabschnitte auszulesen. Ich speichere diese Abschnitte in der DB. Damit das nicht alles nacheinander, sondern parallel ablaufen kann benutze ich if forks.

robo47 · 16.12.2008, 12:16

mysql kann das doch eh nicht parrallel verarbeiten, im endeffekt wandern die inserts auch nacheinander in die Tabelle bevor du sie verwenden kannst.

schau dir mal den link zu load data infile an, wenn du zugang zu ner shell und damit zu mysql-console hast anstatt über php zu gehen, ist das wohl die schnellste lösung, ansonsten das query über php verwenden.

hoctar · 16.12.2008, 12:45

ok danke für die tips

Wie könnte man die Prozesse die gleichzeitig laufen auf z.B. 10 begrenzen ? Gibts da zu irgend eine pcntl funktion ?

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
mysql query browser + umlaute	gugu	Datenbanken	10	28.03.2009 19:15
MySQL Query zum Ersetzen von sonderbaren Umlauten	Carino	Datenbanken	13	14.05.2007 18:08
MySQL Query anzahl	JanM	PHP Tipps 2006	3	12.07.2006 19:36
Mysql Query mitloggen	cycap	Datenbanken	1	03.04.2006 21:36
MySQL Query Browser	c01001	Datenbanken	6	14.01.2006 22:13
Lost connection to MySQL server during query in ... ?	Alpha Centauri	Datenbanken	0	24.10.2005 11:09
verschiedene Query Ergebnisse in MySQL 4.0.x und 4.1.x		Datenbanken	3	18.09.2005 15:57
Suche Tipps für Persormance-Steigerung (Geld für Nützliches)		Beitragsarchiv	18	16.08.2005 10:57
Lost connection to MySQL server during query	bicpi	PHP-Fortgeschrittene	17	02.08.2005 11:42
mysql_query meldet Fehler, MySQL Query Browser nicht		Datenbanken	3	04.05.2005 17:15
mysql query... alle datensäze älter als x tage löschen...	Sclot	Datenbanken	2	05.03.2005 23:04
[Erledigt] Datenbank im MySQL Query Browser		PHP Tipps 2005	0	07.02.2005 13:54
mysql query fehler		Datenbanken	6	19.01.2005 23:44
mysql update query mit mehreren Tabellen funktioniert nicht		PHP-Fortgeschrittene	5	08.01.2005 16:29
mysql Fehler - query was empty	Anuschka	Datenbanken	2	01.09.2004 00:28

15.12.2008, 16:35
hoctar Erfahrener Benutzer Registriert seit: 29.09.2008 Beiträge: 155	MySQL Query mit pcntl_fork() Hi ^^ ich starte mit der funktion pcntl_fork() mehrere Prozesse, dessen output möchte ich gerne in einer Datenbank speichern. "mysql_query" scheint da wohl nicht zu funktionieren. Hat jemand eine Idee ?


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

15.12.2008, 16:37
cycap Moderator Registriert seit: 13.02.2008 Beiträge: 6.816 PHP-Kenntnisse: Fortgeschritten	@hoctar: Du wirst auffällig. Du musst dringend an der Qualität deiner Postings arbeiten, vor allem beim eröffnen neuer Threads.

15.12.2008, 19:59
nikosch moderatives Dielektrikum Registriert seit: 21.05.2008 Beiträge: 35.989 PHP-Kenntnisse: Fortgeschritten	Wobei die Betonung auf PHP liegt. Photocase - Bauer sucht Frau __________________ -- One pixel is still too big. Please make it smaller. ASAP. Initiative Mittelstand. Die wichtigste Gestaltungsregel im Screendesign ist Pi mal Daumen des Arbeitgebers. --

16.12.2008, 11:49
robo47 Moderator Registriert seit: 03.09.2004 Beiträge: 11.792 PHP-Kenntnisse: Fortgeschritten	Kannst du begründen warum du forkst ? Aktuell denke ich dass du nen Haufen Overhead was RAM-Verbrauch + CPU-Last angeht hast, nur durch das forken eines kleinen insert-querys. Wenn deine daten schon als csv vorliegen und die datenmenge wirklich groß ist, wäre es vielleicht sinnvoller die Daten direkt mit mysqls LOAD DATA INFILE einzulesen das dürfte performanter sein (notfalls vorformatieren der csv damit es passt). dein 'now()' in deinem query wird übrigends nicht ausgeführt sondern so in die DB eingetragen ... ich weis ja nicht ob das der sinn der sache ist. Wenn du das NOW() trotzdem brauchst, kannst du ja die ids auslesen aus der CSV und dann ein UPDATE test SET zeit = NOW() WHERE id IN (hier die gesammelten ids); drüberjagen nachdem alles drin ist. __________________ robo47.net - Blog, Codeschnipsel und mehr \| Caching-Klassen und Opcode Caches in php \| Robo47 Components - PHP Library extending Zend Framework

16.12.2008, 11:59
hoctar Erfahrener Benutzer Registriert seit: 29.09.2008 Beiträge: 155	In der datei.csv stehen nur ids, die ich benutze um in einer anderen Datei Textabschnitte auszulesen. Ich speichere diese Abschnitte in der DB. Damit das nicht alles nacheinander, sondern parallel ablaufen kann benutze ich if forks.

16.12.2008, 12:16
robo47 Moderator Registriert seit: 03.09.2004 Beiträge: 11.792 PHP-Kenntnisse: Fortgeschritten	mysql kann das doch eh nicht parrallel verarbeiten, im endeffekt wandern die inserts auch nacheinander in die Tabelle bevor du sie verwenden kannst. schau dir mal den link zu load data infile an, wenn du zugang zu ner shell und damit zu mysql-console hast anstatt über php zu gehen, ist das wohl die schnellste lösung, ansonsten das query über php verwenden. __________________ robo47.net - Blog, Codeschnipsel und mehr \| Caching-Klassen und Opcode Caches in php \| Robo47 Components - PHP Library extending Zend Framework

16.12.2008, 12:45
hoctar Erfahrener Benutzer Registriert seit: 29.09.2008 Beiträge: 155	ok danke für die tips Wie könnte man die Prozesse die gleichzeitig laufen auf z.B. 10 begrenzen ? Gibts da zu irgend eine pcntl funktion ?