[Erledigt] Probleme bei Erstellung von Indexfeld in DB

Moguai · 11.11.2008, 17:10

Liebe Forengemeinschaft,

ich lese hier schon eine Weile im Stillen mit und finde das Board einfach super!

Ich habe mich nun endlich auch mal registriert da ich dringend Hilfe mit einem PHP/mySQL Script habe. Es ist sage und schreibe das ich mich das erste Mal in einem solchen Board angemeldet habe, da ich immer der Auffassung war das ich meine Probleme irgendwie irgendwann auch selber in den Griff bekomme was auch bis heute immer gut geklappt hatte

Ich versuche mal eben zu erklären wieso und warum überhaupt dieses Script. Nachdem Umzug eines Forums auf unseren Server ist etwas mit dem Encoding oder so schiefgelaufen und nun werden Umlaute teilweise nicht richtig dargestellt. Da der Umzug über unseren Provider lief und wir den damit nun nicht nerven wollen habe ich es mir zur Aufgabe gemacht ein Script zu schneidern welches die gesamte Datenbank durchsucht und korrigiert. Im Prinzip ein recht einfaches Script mit wenigen Querys. So nun kommen wir zu dem eigentlichen Problem; da die Datenbank aus einer Vielzahl von Tabellen besteht muss das Script unabhängig von deren Namen alle abarbeiten. Auch gibt es hier Tabellen die auto_increment Indexfelder haben und solche die es nicht haben.
Mein Problem liegt nun an der Geschwindigkeit des ganzen Scriptes. Funktionieren tut es, doch ist es sehr sehr langsam. Die Geschwindigkeit geht ganz klar wegen der for-Schleife und dem Update vom $indexfield in die Knie. Am Einfachsten wäre es wenn ich die weitere Spalte $indexfield gleich als auto_increment erstellen könnte, doch das ist nicht möglich da einige Tabellen ein solches Feld (welches ich nicht kenne) schon haben.
Jetzt sieht es so aus das ich im ersten Schritt eine Spalte erstelle und diese standardmäßig mit 0 befülle, dann mache ich ein Update mit der Variable aus der for-Schleife in allen Feldern wo eine 0 eingetragen ist, begrenze dieses aber mit LIMIT 1. So läuft die Schleife nach Anzahl der Datensätze durch und probiert immer alle Datensätze upzudaten, erlaube aber nur den Update eines Datensatzes in einem Schleifendurchlauf. Klar das das die Performance beeinträchtigt.
Ich habe probiert mit vielen mySQL Verbindungen zu arbeiten und alles über eine, hat alles ähnliche Effekte.

Im Prinzip ist nur der obere Teil des Scriptes interessant, indem das Indexfeld erstellt wird.

Mein heutiger Ansatz war zu ermitteln ob eine auto_increment Spalte vorhanden ist, wenn das der Fall den entsprechenden Spaltennamen in meine Variable $indexfield zu übernehmen, wenn keine a_i Spalte gefunden wurde eine zu erstellen. Auf diesem Wege würde meine gesamte For-Schleife wegfallen.

Leider finde ich keinen Weg überhaupt erstmal zu ermitteln ob eine Tabelle eine auto_increment Spalte besitzt und dann den Namen der Spalte zu ermitteln.

Hat jemand von Euch Fachmännern/frauen eine Idee wie man die ganze Performance des Scriptes verbessern könnte und wie man eventuell eine eventuelle auto_increment Spalte einer Tabelle ermitteln kann?

PHP-Code:

  <?php

 
    set_time_limit(0);

 
 
    $server = 'localhost';

    $user = 'root';

    $pass = '';

    $datenbank = 'test_db';

    $indexfield = 'tempindexXX';

 
    echo "<form name=\"form\"><input type=\"text\" size=100 name=\"status\"></input></form><br><br>";

 
 
    $verbindung1 = mysql_connect($server,$user,$pass);

    $abfrage1 = mysql_db_query($datenbank,$erg1,$verbindung1);

    $erg1 = mysql_list_tables($datenbank);

 
    while($tabx = mysql_fetch_row($erg1)) 

        {

        $tabelle = $tabx[0];

 
        $verbindung2 = mysql_connect($server,$user,$pass);

        $abfrage2 = "ALTER TABLE $tabelle ADD $indexfield INT(11) NOT NULL FIRST;";

        $erg2 = mysql_db_query($datenbank,$abfrage2,$verbindung2);

 
 
        echo "<script language=\"JavaScript\">";

        echo "document.form.status.value = \"#DB: $datenbank Tab: $tabelle ... Indexspalte $indexfield erstellt !!!\";";

        echo "</script>";

 
 
        $verbindung3 = mysql_connect($server,$user,$pass);

        $query3 = "SELECT $indexfield from $tabelle";

        $erg3 = mysql_db_query($datenbank,$query3,$verbindung3);

        $number = mysql_num_rows($erg3);

        

 
        $verbindung4 = mysql_connect($server,$user,$pass);

        

        for($i=1;$i<=$number;$i++)

            {            

 
            $abfrage4 = "UPDATE $tabelle SET $indexfield = '$i' WHERE $indexfield='0' LIMIT 1;";

        

            mysql_db_query($datenbank,$abfrage4,$verbindung4);

 
            echo "<script language=\"JavaScript\">";

            echo "document.form.status.value = \"#DB: $datenbank Tab: $tabelle Index: $i ... Index erstellt !!!\";";

            echo "</script>";

 
 
            }

        

        mysql_close($verbindung4);

 
    

 
        $verbindung5 = mysql_connect($server,$user,$pass);

        $abfrage5 = "SELECT $indexfield from $tabelle ORDER BY $indexfield ASC;";

        $erg5 = mysql_db_query($datenbank,$abfrage5,$verbindung5);

 
        while($zeile = mysql_fetch_row($erg5))

                  {        

 
            $id = $zeile[0];

 
            $verbindung6 = mysql_connect($server,$user,$pass);

            $abfrage6 = "SELECT * from $tabelle WHERE $indexfield = $id";

            $erg6 = mysql_db_query($datenbank,$abfrage6,$verbindung6);

 
            $num1 = mysql_num_fields($erg6);

            $num1 = $num1-1;

 
 
            while($feld = mysql_fetch_row($erg6))

                {

                $idx = $feld[0];

 
 
                for($i=1;$i<=$num1;$i++)

                    {

                    $fname = mysql_field_name($erg6, $i);

                    $ftype  = mysql_field_type($erg6, $i);

 
                    if($ftype!="int")

                        {

            

                        $replfeld = str_replace("Ã¶","ö",$feld[$i]);

                        $replfeld = str_replace("Ã¼","ü",$replfeld);

                        $replfeld = str_replace("Ã¤","ä",$replfeld);

                        $replfeld = str_replace("Ã–","Ö",$replfeld);

                        $replfeld = str_replace("Ã„","Ä",$replfeld);

                        $replfeld = str_replace("Ãœ","Ü",$replfeld);

                        $replfeld = str_replace("ÃŸ","ß",$replfeld);

 
                        $replfeld = str_replace("x#x#x","*****",$replfeld);

 
                        $verbindung7 = mysql_connect($server,$user,$pass);

                        $abfrage7 = "UPDATE ".$tabelle." SET ".$fname." = '".$replfeld."' WHERE $indexfield=$idx";

                        $erg7 = mysql_db_query($datenbank,$abfrage7,$verbindung7);

 
                        if(!$erg7)

                            {

                            echo "#DB: $datenbank Tab: $tabelle Index: $idx S: $fname ... FEHLER !!!";

                            echo "<br>";

                            }

                            else

                            {

                            echo "<script language=\"JavaScript\">";

                            echo "document.form.status.value = \"#DB: $datenbank Tab: $tabelle Index: $idx S: $fname ... OK !!!\";";

                            echo "</script>";

                            }

                        mysql_close($verbindung7);

                        }

                    }

                }

            mysql_close($verbindung6);

 
                   }

 
        mysql_close($verbindung5);

 
        $abfragedel = "ALTER TABLE $tabelle DROP $indexfield";

        $ergdel = mysql_db_query($datenbank,$abfragedel,$verbindung2);

 
        mysql_close($verbindung2);

 
        }

 
    echo "<script language=\"JavaScript\">";

    echo "document.form.status.value = \"Datenbankmodifikation abgeschlossen !!!\";";

    echo "</script>";

 
    mysql_close($verbindung1);

Vielen Dank schonmal an ALLE!

BlackHawkDC · 11.11.2008, 17:48

autsch,

ich blicke zwar nicht was du da machst, aber es sieht gefährlich aus.

1.) scheibar baust du ziemlich häufig eine Datenbankverbindung auf um sie dann recht zeitnah zu schliessen. Der Aufbau einer Datenbankverbindung ist teuer, also versuche da mal was zu optimieren.

2.) ein update auf ein Feld, welches mit einem Index belegt ist, ist immer teuer, da indizes das lesen auf kosten der Schreibgeschwindigkeit beschleunigen . Jedesmal wenn du ein Indexbehaftetes Feld überschreibst muss der Index oder die Indizes in denen dieses Feld vorkommt neu erstellt werden, da diese sonst invalide sind. Also versuche am Anfang die Index-Definitionen einer Tabelle zu ermitteln, merke dir diese, lösche sie, führe deine Änderungen durch und dann lege die Indizes wieder an.

3.) Hast du schon mal über eine SQL-nähere Lösung nachgedacht.
Bsp: Tabelle user(id, firstname, lastname, street, activated)
Die Datentypen nehme ich mal an sollten sich für diese Spaltennamen selbst erklären. Dann würde ich folgendes machen.

update user set firstname = REPLACE(firstname, "Ã¶", "ö");
update user set lastname = REPLACE(lastname, "Ã¶", "ö");
update user set street = REPLACE(street, "Ã¶", "ö");

Du kannst in deinem Skript ja die Spaltennamen und Datentypen ermitteln lassen und die updates automatisch generieren. Da musst du dann auch nicht solche spalten mit Datentypen wie int, boolean etc behandeln.

ich persönlich würde Variante 3 bevorzugen.

Wolla · 11.11.2008, 18:41

Ich nehme an, du hast eine Datensicherung der Tabelle mit den komischen Zeichen.

Setz die Tabelle im phpmyadmin doch einfach auf den Zeichensatz, den sie auf dem alten Server auch hatte: Operationen-Tabellenoptionen

Moguai · 11.11.2008, 20:48

Nabend zusammen,

erstmal herzlichen Dank für die schnellen Antworten.

Zitat:

1.) scheibar baust du ziemlich häufig eine Datenbankverbindung auf um sie dann recht zeitnah zu schliessen. Der Aufbau einer Datenbankverbindung ist teuer, also versuche da mal was zu optimieren.

2.) ein update auf ein Feld, welches mit einem Index belegt ist, ist immer teuer, da indizes das lesen auf kosten der Schreibgeschwindigkeit beschleunigen .

Ja, genau. Das war mein zweiter Ansatz den ich oben beschrieben hatte. Zuerst hatte ich lediglich eine Verbindung aufgemacht, doch die Version des Scriptes war noch viel langsamer.
Danke für den Hinweis das update auf ein Index langsam ist. Der gesamte untere Teil meines Scriptes wo die Zeichen ersetzt werden ist gegen den oberen Teil "rattenschnell". Jetzt weiss ich ja wo der Unterschied liegt

Zitat:

update user set firstname = REPLACE(firstname, "Ã¶", "ö");

Genau dieser Ansatz war das was mir ganz ganz am Anfang durch den Kopf schwirrte, nur konnte ich die Anweisungen nicht umsetzen und hatte auch kein Glück bei Google.... Naja das Ergebnis kann ja auch nur so gut sein wie die Eingabe an Suchbegriffen

Zitat:

Ich nehme an, du hast eine Datensicherung der Tabelle mit den komischen Zeichen.

Na klar

Zitat:

Setz die Tabelle im phpmyadmin doch einfach auf den Zeichensatz, den sie auf dem alten Server auch hatte: Operationen-Tabellenoptionen

Habe eben mal geschaut und phpmyadmin meldet das diese Funktion unter Operation gesperrt wurde.

Und das soll klappen das da umzustellen? Ich meine die falschen Zeichen sind ja schon so in der DB drin oder meinst Du das lediglich phpmyadmin die falsch interpretiert. Werde nachher mal in einen File schauen wenn ich die DB exportiert habe. Leider klappt das exportieren der gesamten DB nicht, sonst hätte ich die Zeichen einfach dort geändert und wieder importiert. Diese Probs waren auch der Grund warum am Ende der Provider alles mit einem Tool direkt von A nach B migriert hatte. Sehr eigenartig ist das teilweise die Umlaute einer Tabelle richtig eingetragen sind und in der selben Tabelle teilweise falsch. Neu erstellte Beiträge werden grundsätzlich richtig in die DB eingetragen.

Auch könnte ich einfach in den php-Scripten des Forums einen stringreplace einbauen der die Zeichen ersetzt, aber ich fühle mich damit nicht wohl da es nur ein Umgehen des Problems ist, dieses aber nicht wirklich behebt. Ich hätet doch gerne wieder eine saubere DB.

Viele Grüße und einen schönen Abend Euch!

Wolla · 11.11.2008, 22:43

Mit den 'Ã¶' hab ich mir selbst schnmal ne tabelle versaut. Da hast du eine Tabelle mit Kollation utf8 exportiert und die daten dann in eine andere Tabelle mit anderer Kollation importiert.

Was genau der originale Zeichensatz war, ob utf8 oder latin weiß ich jetzt nicht. Musst du ausprobieren bzw. weißt du ja von der alten Tabelle.

Moguai · 12.11.2008, 21:27

Hallo,

leider weiss keiner mehr welchen Zeichensatz die alte DB verwendet hat, da inzwischen der Webspace komplett gekündigt wurde.

Aber was solls; mir macht es ja Spaß rumzuscripten.

Ich habe heute das Script umgebaut und das mit dem "update-string-replace" gemacht was sehr gut klappt, leider auch sehr langsam. Was alles extrem zum stocken bringt ist die Ausgabe mit JavaScript bei jedem Schleifendurchlauf, das habe ich jetzt erstmal so abgeändert das in jedem Schleifendurchlauf nur ein Punkt per ECHO ausgegeben wird was schon extrem viel gebracht hat.

Morgen bastel ich von arbeit noch etwas weiter und dann poste ich es hier nochmal. Eventuell habt Ihr ja noch den einen oder anderen Tip zum Aufbau oder Performancegewinn.

So weit erstmal ein dickes Danke an Euch und die schnellen Antworten. Hat mir sehr geholfen!

David · 13.11.2008, 02:03

Du kannst auch einfach den Dump erst durch einen Konverter wie iconv schicken und dann erst importieren.

Moguai · 13.11.2008, 14:33

MoinMoin,

Zitat:

Zitat von David

Du kannst auch einfach den Dump erst durch einen Konverter wie iconv schicken und dann erst importieren.

Danke für den Tip und Link. Werde ich mir gleich abspeichern.
Da ich ja aber nun schon etwas Zeit mit dem Script verbraucht habe wird dieses auch beendet

Nachdem ich wie geschrieben das nun mit dem Tip "update-string-replace" neu gestrickt habe und es trotzdem langsam lief (1Tabelle á 10000DS á 22Spalten in Testdatenbank knappe 12Minuten) ist mir natürlich gestern im Bett der Einfall gekommen das es Quatsch ist per while jede Zeile durchzulaufen und in dieser jede Spalte abzuarbeiten, da man ja die Updatefunktion auch über die gesamte Spalte unabhängig von der Zeile jagen kann. Somit ist nun die lange Schleife weggefallen und siehe da die ganze Tabelle wird in weniger als 5sek abgearbeitet. Somit ist das Ziel erreicht und ich kann das Script am WE auf die richtige DB loslassen.

Habt vielen Dank!

Könnte ein MOD oder ADMIN diesen Threat bitte als erledigt makieren?!

PHP-Code:

  <?php

 
echo " START DATENBANKMODIFIKATION <br>";

echo " ########################### <br><br>";

 
 
    set_time_limit(0);

 
    $server = 'localhost';

    $user = 'root';

    $pass = '';

    $datenbank = 'test_db';

 
 
 
 
    $verbindung = mysql_connect($server,$user,$pass);

    if(!$verbindung)

        {

        echo "Konnte keine Verbindung zur DB herstellen";

        }

 
 
 
    echo " ### BEGINN DB $datenbank ### <br><br>";

 
 
    $abfrage1 = mysql_db_query($datenbank,$erg1,$verbindung);

    $erg1 = mysql_list_tables($datenbank);

 
 
    while($tab = mysql_fetch_row($erg1)) 

        {

        $tabelle = $tab[0];

 
 
        echo " *** BEGINN TAB $tabelle *** <br>";

 
 
        $abfrage2 = "SELECT * from $tabelle";

        $erg2 = mysql_db_query($datenbank,$abfrage2,$verbindung);

 
        $zeile = mysql_fetch_row($erg2);

 
        $arraylength = sizeof($zeile);

        $arraylength = $arraylength-1;

            

        

        for($i=0;$i<=$arraylength;$i++)

            {

            $ftype  = mysql_field_type($erg2, $i);

            $fname = mysql_field_name($erg2, $i);

 
            if($ftype!="int")

                {

 
                echo " ~~~ $fname [$ftype] :<br>";

 
                $abfrage3 = "UPDATE $tabelle SET $fname = replace($fname,\"Ã¶\",\"ö\")";

                $erg3 = mysql_db_query($datenbank,$abfrage3,$verbindung);

                if(erg3){echo " ......... Ã¶ -> ö = OK<br>";}else{echo " ......... Ã¶ -> ö = NOTOK<br>";}

 
                $abfrage4 = "UPDATE $tabelle SET $fname = replace($fname,\"Ã¼\",\"ü\")";

                $erg4 = mysql_db_query($datenbank,$abfrage4,$verbindung);

                if(erg4){echo " ......... Ã¼ -> ü = OK<br>";}else{echo " ......... Ã¼ -> ü = NOTOK<br>";}

 
                $abfrage5 = "UPDATE $tabelle SET $fname = replace($fname,\"Ã¤\",\"ä\")";

                $erg5 = mysql_db_query($datenbank,$abfrage5,$verbindung);

                if(erg5){echo " ......... Ã¤ -> ä = OK<br>";}else{echo " ......... Ã¤ -> ä = NOTOK<br>";}

 
                $abfrage6 = "UPDATE $tabelle SET $fname = replace($fname,\"Ã–\",\"Ö\")";

                $erg6 = mysql_db_query($datenbank,$abfrage6,$verbindung);

                if(erg6){echo " ......... Ã– -> Ö = OK<br>";}else{echo " ......... Ã– -> Ö = NOTOK<br>";}

 
                $abfrage7 = "UPDATE $tabelle SET $fname = replace($fname,\"Ã„\",\"Ä\")";

                $erg7 = mysql_db_query($datenbank,$abfrage7,$verbindung);

                if(erg7){echo " ......... Ã„ -> Ä = OK<br>";}else{echo " ......... Ã„ -> Ä = NOTOK<br>";}

 
                $abfrage8 = "UPDATE $tabelle SET $fname = replace($fname,\"Ãœ\",\"Ü\")";

                $erg8 = mysql_db_query($datenbank,$abfrage8,$verbindung);

                if(erg8){echo " ......... Ãœ -> Ü = OK<br>";}else{echo " ......... Ãœ -> Ü = NOTOK<br>";}

 
                $abfrage9 = "UPDATE $tabelle SET $fname = replace($fname,\"ÃŸ\",\"ß\")";

                $erg9 = mysql_db_query($datenbank,$abfrage9,$verbindung);

                if(erg9){echo " ......... ÃŸ -> ß = OK<br>";}else{echo " ......... ÃŸ -> ß = NOTOK<br>";}

 
                }

 
            }

 
 
 
        echo " *** ENDE TAB $tabelle *** <br><br>";

        }

 
    echo " ### ENDE DB $datenbank ### <br><br>";

    echo " ########################## <br>";

    echo " ENDE DATENBANKMODIFIKATION <br>";

 
    echo "</body></html>";

 
 
    mysql_close($verbindung);

byFd · 13.11.2008, 14:44

Zitat:

Zitat von Moguai

(...)

Könnte ein MOD oder ADMIN diesen Threat bitte als erledigt makieren?!

(...)

Das kannst du selber

Moguai · 13.11.2008, 14:46

Hallo,

super! Dank Dir, hatte ich übersehen obwohl es eigentlich nicht zu übersehen ist

Viele Grüße

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
[Erledigt] Firefox / IE - Probleme		HTML, Usability und Barrierefreiheit	5	20.07.2009 17:04
Probleme bei Speicherung von serialize() Strings	Manni2k	PHP Tipps 2006	13	15.10.2006 15:06
Probleme mit mbstring extension unter Debian	HStev	Server, Hosting und Workstations	3	30.08.2006 20:55
Probleme mit Rechteverteilung chmod() per script!!!???	Funky_	PHP Tipps 2006	7	17.06.2006 17:10
Probleme bei der Installation von Turck MMCache	tomx992	PHP-Fortgeschrittene	2	27.09.2005 20:31
Probleme beim Datenupload zu meiner Datenbank		Datenbanken	3	05.09.2005 19:47
Probleme mit erstellung von thumbs		PHP Tipps 2005-2	5	31.08.2005 21:35
Probleme mit Sonderzeichen...		Datenbanken	1	02.08.2005 23:37
[Erledigt] hilfe! probleme mit...		PHP Tipps 2005	4	12.04.2005 22:55
[Erledigt] CSV Größe macht Probleme mit php		PHP Tipps 2005	5	15.03.2005 21:29
Zwei Rechner ins Netz - Router - Hub - Probleme...	imported_Ben	Off-Topic Diskussionen	37	13.01.2005 21:36
[Erledigt] Technische Probleme mit Sessions		PHP-Fortgeschrittene	4	18.11.2004 14:45
Habe Probleme bei der Erstellung eines dynamischen Graphen..		PHP-Fortgeschrittene	1	11.11.2004 12:43
[Erledigt] Probleme mit Fremdsprachen		HTML, Usability und Barrierefreiheit	2	21.09.2004 17:11
PHP Bilder in DB / Probleme bei Änderung		PHP-Fortgeschrittene	1	05.06.2004 11:20

11.11.2008, 17:10
Moguai Neuer Benutzer Registriert seit: 11.11.2008 Beiträge: 7	[Erledigt] Probleme bei Erstellung von Indexfeld in DB Liebe Forengemeinschaft, ich lese hier schon eine Weile im Stillen mit und finde das Board einfach super! Ich habe mich nun endlich auch mal registriert da ich dringend Hilfe mit einem PHP/mySQL Script habe. Es ist sage und schreibe das ich mich das erste Mal in einem solchen Board angemeldet habe, da ich immer der Auffassung war das ich meine Probleme irgendwie irgendwann auch selber in den Griff bekomme was auch bis heute immer gut geklappt hatte Ich versuche mal eben zu erklären wieso und warum überhaupt dieses Script. Nachdem Umzug eines Forums auf unseren Server ist etwas mit dem Encoding oder so schiefgelaufen und nun werden Umlaute teilweise nicht richtig dargestellt. Da der Umzug über unseren Provider lief und wir den damit nun nicht nerven wollen habe ich es mir zur Aufgabe gemacht ein Script zu schneidern welches die gesamte Datenbank durchsucht und korrigiert. Im Prinzip ein recht einfaches Script mit wenigen Querys. So nun kommen wir zu dem eigentlichen Problem; da die Datenbank aus einer Vielzahl von Tabellen besteht muss das Script unabhängig von deren Namen alle abarbeiten. Auch gibt es hier Tabellen die auto_increment Indexfelder haben und solche die es nicht haben. Mein Problem liegt nun an der Geschwindigkeit des ganzen Scriptes. Funktionieren tut es, doch ist es sehr sehr langsam. Die Geschwindigkeit geht ganz klar wegen der for-Schleife und dem Update vom $indexfield in die Knie. Am Einfachsten wäre es wenn ich die weitere Spalte $indexfield gleich als auto_increment erstellen könnte, doch das ist nicht möglich da einige Tabellen ein solches Feld (welches ich nicht kenne) schon haben. Jetzt sieht es so aus das ich im ersten Schritt eine Spalte erstelle und diese standardmäßig mit 0 befülle, dann mache ich ein Update mit der Variable aus der for-Schleife in allen Feldern wo eine 0 eingetragen ist, begrenze dieses aber mit LIMIT 1. So läuft die Schleife nach Anzahl der Datensätze durch und probiert immer alle Datensätze upzudaten, erlaube aber nur den Update eines Datensatzes in einem Schleifendurchlauf. Klar das das die Performance beeinträchtigt. Ich habe probiert mit vielen mySQL Verbindungen zu arbeiten und alles über eine, hat alles ähnliche Effekte. Im Prinzip ist nur der obere Teil des Scriptes interessant, indem das Indexfeld erstellt wird. Mein heutiger Ansatz war zu ermitteln ob eine auto_increment Spalte vorhanden ist, wenn das der Fall den entsprechenden Spaltennamen in meine Variable $indexfield zu übernehmen, wenn keine a_i Spalte gefunden wurde eine zu erstellen. Auf diesem Wege würde meine gesamte For-Schleife wegfallen. Leider finde ich keinen Weg überhaupt erstmal zu ermitteln ob eine Tabelle eine auto_increment Spalte besitzt und dann den Namen der Spalte zu ermitteln. Hat jemand von Euch Fachmännern/frauen eine Idee wie man die ganze Performance des Scriptes verbessern könnte und wie man eventuell eine eventuelle auto_increment Spalte einer Tabelle ermitteln kann? PHP-Code: <?php set_time_limit(0); $server = 'localhost'; $user = 'root'; $pass = ''; $datenbank = 'test_db'; $indexfield = 'tempindexXX'; echo "<form name=\"form\"><input type=\"text\" size=100 name=\"status\"></input></form><br><br>"; $verbindung1 = mysql_connect($server,$user,$pass); $abfrage1 = mysql_db_query($datenbank,$erg1,$verbindung1); $erg1 = mysql_list_tables($datenbank); while($tabx = mysql_fetch_row($erg1)) { $tabelle = $tabx[0]; $verbindung2 = mysql_connect($server,$user,$pass); $abfrage2 = "ALTER TABLE $tabelle ADD $indexfield INT(11) NOT NULL FIRST;"; $erg2 = mysql_db_query($datenbank,$abfrage2,$verbindung2); echo "<script language=\"JavaScript\">"; echo "document.form.status.value = \"#DB: $datenbank Tab: $tabelle ... Indexspalte $indexfield erstellt !!!\";"; echo "</script>"; $verbindung3 = mysql_connect($server,$user,$pass); $query3 = "SELECT $indexfield from $tabelle"; $erg3 = mysql_db_query($datenbank,$query3,$verbindung3); $number = mysql_num_rows($erg3); $verbindung4 = mysql_connect($server,$user,$pass); for($i=1;$i<=$number;$i++) { $abfrage4 = "UPDATE $tabelle SET $indexfield = '$i' WHERE $indexfield='0' LIMIT 1;"; mysql_db_query($datenbank,$abfrage4,$verbindung4); echo "<script language=\"JavaScript\">"; echo "document.form.status.value = \"#DB: $datenbank Tab: $tabelle Index: $i ... Index erstellt !!!\";"; echo "</script>"; } mysql_close($verbindung4); $verbindung5 = mysql_connect($server,$user,$pass); $abfrage5 = "SELECT $indexfield from $tabelle ORDER BY $indexfield ASC;"; $erg5 = mysql_db_query($datenbank,$abfrage5,$verbindung5); while($zeile = mysql_fetch_row($erg5)) { $id = $zeile[0]; $verbindung6 = mysql_connect($server,$user,$pass); $abfrage6 = "SELECT * from $tabelle WHERE $indexfield = $id"; $erg6 = mysql_db_query($datenbank,$abfrage6,$verbindung6); $num1 = mysql_num_fields($erg6); $num1 = $num1-1; while($feld = mysql_fetch_row($erg6)) { $idx = $feld[0]; for($i=1;$i<=$num1;$i++) { $fname = mysql_field_name($erg6, $i); $ftype = mysql_field_type($erg6, $i); if($ftype!="int") { $replfeld = str_replace("Ã¶","ö",$feld[$i]); $replfeld = str_replace("Ã¼","ü",$replfeld); $replfeld = str_replace("Ã¤","ä",$replfeld); $replfeld = str_replace("Ã–","Ö",$replfeld); $replfeld = str_replace("Ã„","Ä",$replfeld); $replfeld = str_replace("Ãœ","Ü",$replfeld); $replfeld = str_replace("ÃŸ","ß",$replfeld); $replfeld = str_replace("x#x#x","*****",$replfeld); $verbindung7 = mysql_connect($server,$user,$pass); $abfrage7 = "UPDATE ".$tabelle." SET ".$fname." = '".$replfeld."' WHERE $indexfield=$idx"; $erg7 = mysql_db_query($datenbank,$abfrage7,$verbindung7); if(!$erg7) { echo "#DB: $datenbank Tab: $tabelle Index: $idx S: $fname ... FEHLER !!!"; echo "<br>"; } else { echo "<script language=\"JavaScript\">"; echo "document.form.status.value = \"#DB: $datenbank Tab: $tabelle Index: $idx S: $fname ... OK !!!\";"; echo "</script>"; } mysql_close($verbindung7); } } } mysql_close($verbindung6); } mysql_close($verbindung5); $abfragedel = "ALTER TABLE $tabelle DROP $indexfield"; $ergdel = mysql_db_query($datenbank,$abfragedel,$verbindung2); mysql_close($verbindung2); } echo "<script language=\"JavaScript\">"; echo "document.form.status.value = \"Datenbankmodifikation abgeschlossen !!!\";"; echo "</script>"; mysql_close($verbindung1); Vielen Dank schonmal an ALLE!


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

11.11.2008, 17:48
BlackHawkDC Benutzer Registriert seit: 26.09.2005 Beiträge: 52	autsch, ich blicke zwar nicht was du da machst, aber es sieht gefährlich aus. 1.) scheibar baust du ziemlich häufig eine Datenbankverbindung auf um sie dann recht zeitnah zu schliessen. Der Aufbau einer Datenbankverbindung ist teuer, also versuche da mal was zu optimieren. 2.) ein update auf ein Feld, welches mit einem Index belegt ist, ist immer teuer, da indizes das lesen auf kosten der Schreibgeschwindigkeit beschleunigen . Jedesmal wenn du ein Indexbehaftetes Feld überschreibst muss der Index oder die Indizes in denen dieses Feld vorkommt neu erstellt werden, da diese sonst invalide sind. Also versuche am Anfang die Index-Definitionen einer Tabelle zu ermitteln, merke dir diese, lösche sie, führe deine Änderungen durch und dann lege die Indizes wieder an. 3.) Hast du schon mal über eine SQL-nähere Lösung nachgedacht. Bsp: Tabelle user(id, firstname, lastname, street, activated) Die Datentypen nehme ich mal an sollten sich für diese Spaltennamen selbst erklären. Dann würde ich folgendes machen. update user set firstname = REPLACE(firstname, "Ã¶", "ö"); update user set lastname = REPLACE(lastname, "Ã¶", "ö"); update user set street = REPLACE(street, "Ã¶", "ö"); Du kannst in deinem Skript ja die Spaltennamen und Datentypen ermitteln lassen und die updates automatisch generieren. Da musst du dann auch nicht solche spalten mit Datentypen wie int, boolean etc behandeln. ich persönlich würde Variante 3 bevorzugen. __________________ -- kostenlose geschenklisten unter www.wunli.de

11.11.2008, 18:41
Wolla Moderator Registriert seit: 06.06.2008 Beiträge: 4.945 PHP-Kenntnisse: Fortgeschritten	Ich nehme an, du hast eine Datensicherung der Tabelle mit den komischen Zeichen. Setz die Tabelle im phpmyadmin doch einfach auf den Zeichensatz, den sie auf dem alten Server auch hatte: Operationen-Tabellenoptionen __________________ Warum denkt mein Hund eigentlich immer dann, wenn es an der Tür klingelt, es sei für ihn?

11.11.2008, 22:43
Wolla Moderator Registriert seit: 06.06.2008 Beiträge: 4.945 PHP-Kenntnisse: Fortgeschritten	Mit den 'Ã¶' hab ich mir selbst schnmal ne tabelle versaut. Da hast du eine Tabelle mit Kollation utf8 exportiert und die daten dann in eine andere Tabelle mit anderer Kollation importiert. Was genau der originale Zeichensatz war, ob utf8 oder latin weiß ich jetzt nicht. Musst du ausprobieren bzw. weißt du ja von der alten Tabelle. __________________ Warum denkt mein Hund eigentlich immer dann, wenn es an der Tür klingelt, es sei für ihn?

12.11.2008, 21:27
Moguai Neuer Benutzer Registriert seit: 11.11.2008 Beiträge: 7	Hallo, leider weiss keiner mehr welchen Zeichensatz die alte DB verwendet hat, da inzwischen der Webspace komplett gekündigt wurde. Aber was solls; mir macht es ja Spaß rumzuscripten. Ich habe heute das Script umgebaut und das mit dem "update-string-replace" gemacht was sehr gut klappt, leider auch sehr langsam. Was alles extrem zum stocken bringt ist die Ausgabe mit JavaScript bei jedem Schleifendurchlauf, das habe ich jetzt erstmal so abgeändert das in jedem Schleifendurchlauf nur ein Punkt per ECHO ausgegeben wird was schon extrem viel gebracht hat. Morgen bastel ich von arbeit noch etwas weiter und dann poste ich es hier nochmal. Eventuell habt Ihr ja noch den einen oder anderen Tip zum Aufbau oder Performancegewinn. So weit erstmal ein dickes Danke an Euch und die schnellen Antworten. Hat mir sehr geholfen!

13.11.2008, 02:03
David Erfahrener Benutzer Registriert seit: 05.09.2007 Beiträge: 5.044	Du kannst auch einfach den Dump erst durch einen Konverter wie iconv schicken und dann erst importieren.

13.11.2008, 14:46
Moguai Neuer Benutzer Registriert seit: 11.11.2008 Beiträge: 7	Hallo, super! Dank Dir, hatte ich übersehen obwohl es eigentlich nicht zu übersehen ist Viele Grüße