Updaten überschneiden der Tabellen

roest · 20.06.2011, 14:56

Hallo,
Ich bräuchte ein Paar Ideen um ein Updateproblem zu Lösen.
Ich muss jeden Tag Datensätze in meiner Datenbank Updaten, dabei gehe ich folgendermaßen vor:

.sql Datei holen und in tmp speichern.
Tabelle x_world erstellen
Befehle in .sql Datei ausführen.
SQL Befehl:

Code:

TRUNCATE $var_world

SQL Befehl:

Code:

INSERT INTO $var_world SELECT * FROM x_world

x_world Löschen

Dieses Script wird jeden morgen per Cronjob ausgeführt.
Es gibt verschiedene Get parameter welche die jeweiligen Tabellen ansprechen.
In der x_world sind bis zu 50.000 Befehle im Format:

Code:

INSERT INTO `x_world` VALUES ([...]);

In meiner Datenbank müssen ca. 45 Tabellen mit diesem Verfahren geupdatet werden Tendenz steigend. (die x_world Datensätze kommen dabei übrigends immer von verschiedenen Servern sind also jedes mal verschieden.)

Das Problem beim meinen Verfahren ist, das immer nur eine Welt gleichzeitig geupdatet werden kann. Die Daten werden um 7 Uhr zur Verfügung gestellt.
Ich benötige pro Tabelle ca. 5 Minuten inclusive puffer.
Das heißt ich bin momentan erst zwischen 10-11 Uhr am Morgen fertig.
Je mehr Tabellen ich Updaten muss, desto mehr Zeit benötigt das ganze Update verfahren.

Das Problem liegt an der x_world. Jede .sql Datei schiebt Ihre Daten erstmal in diese Tabelle. Das heißt ich kann das Script nicht mehrmals zur gleichen Zeit laufen lassen weil sie sich dann in der x_world überschneiden / überschreiben würden.

Ich könnte jetzt hingehen und per replace mit PHP alle x_world in der .sql Datei umschreiben, das würde aber bei 50.000 Datensätze pro Datei zu lange dauern sodass das raus fällt.

Hat jemand eine Idee wie man dieses Problem lösen kann?

Danke und Gruß
roest

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
[Erledigt] Suche zwischen 2 Tabellen	larabad	PHP Einsteiger	11	30.03.2011 11:59
Daten aus 2 Tabellen ausgeben und sortieren	moprhoyz	Datenbanken	1	06.03.2011 22:29
[Erledigt] 2 Tabellen abgleichen und Inhalte übernehmen...	Abweichler	PHP Tipps 2010	3	29.07.2010 20:23
leere Tabellen löschen	TobiasH	Datenbanken	12	14.06.2010 16:08
Tabellen mittels Formular erzeugen	Basti2o1o	PHP Tipps 2010	13	05.05.2010 15:05
Mehrer Tabellen aus Datenbank auslesen?	Blade	JavaScript, Ajax und mehr	5	17.11.2009 16:08
MySQL UPDATE: Feld überall / in allen Tabellen updaten	Lightware	Datenbanken	13	25.09.2009 12:44
[Erledigt] Mehrere MySQL Tabellen mit PHP abfragen	DonMuchacho	Datenbanken	7	27.07.2009 19:47
Tabellen miteinander verknüpfen	Suzi	Datenbanken	12	27.05.2009 11:40
[Erledigt] Limit auf Ergebnissumme mehrerer Tabellen	Frank	Datenbanken	8	02.09.2008 11:33
Tabellen für Vokabeltrainer anlegen...	anonym01	PHP Tipps 2008	9	03.03.2008 21:18
[Erledigt] Selectanfrage an eine Datenbank,aber aus mehreren Tabellen		Datenbanken	2	26.10.2004 07:23
über PHP Daten in MySQL Tabellen updaten -- Problem		PHP Tipps 2004	4	27.09.2004 21:34
Script um MySQL Tabellen untereinander updaten zu können		PHP Tipps 2004	2	02.06.2004 16:28

20.06.2011, 14:56
roest Erfahrener Benutzer Registriert seit: 07.06.2009 Beiträge: 107 PHP-Kenntnisse: Anfänger	Updaten überschneiden der Tabellen Hallo, Ich bräuchte ein Paar Ideen um ein Updateproblem zu Lösen. Ich muss jeden Tag Datensätze in meiner Datenbank Updaten, dabei gehe ich folgendermaßen vor: .sql Datei holen und in tmp speichern. Tabelle x_world erstellen Befehle in .sql Datei ausführen. SQL Befehl: Code: TRUNCATE $var_world SQL Befehl: Code: INSERT INTO $var_world SELECT * FROM x_world x_world Löschen Dieses Script wird jeden morgen per Cronjob ausgeführt. Es gibt verschiedene Get parameter welche die jeweiligen Tabellen ansprechen. In der x_world sind bis zu 50.000 Befehle im Format: Code: INSERT INTO `x_world` VALUES ([...]); In meiner Datenbank müssen ca. 45 Tabellen mit diesem Verfahren geupdatet werden Tendenz steigend. (die x_world Datensätze kommen dabei übrigends immer von verschiedenen Servern sind also jedes mal verschieden.) Das Problem beim meinen Verfahren ist, das immer nur eine Welt gleichzeitig geupdatet werden kann. Die Daten werden um 7 Uhr zur Verfügung gestellt. Ich benötige pro Tabelle ca. 5 Minuten inclusive puffer. Das heißt ich bin momentan erst zwischen 10-11 Uhr am Morgen fertig. Je mehr Tabellen ich Updaten muss, desto mehr Zeit benötigt das ganze Update verfahren. Das Problem liegt an der x_world. Jede .sql Datei schiebt Ihre Daten erstmal in diese Tabelle. Das heißt ich kann das Script nicht mehrmals zur gleichen Zeit laufen lassen weil sie sich dann in der x_world überschneiden / überschreiben würden. Ich könnte jetzt hingehen und per replace mit PHP alle x_world in der .sql Datei umschreiben, das würde aber bei 50.000 Datensätze pro Datei zu lange dauern sodass das raus fällt. Hat jemand eine Idee wie man dieses Problem lösen kann? Danke und Gruß roest __________________ May the Source be with you.


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten