Dragonfly

Hallo ich arbeite gerade mit Mysql und frage mich ab wann es sich zeitlich eigendlich rechnet anstelle einer eigenen Zeile in einer großen Tabelle eine eigene Tabelle anzulegen.

Folgendes um sich das ganze einfacher vorstellen zu können. Angenommen ich habe eine Webseite mit 1Million Usern, jeder dieser User hat in einer Tabelle seine Email-Adresse und noch ein paar Daten gespeichert. Sollen nun Daten für den User blablabla aufgerufen werden muss natürlich ersteinmal die halbe Datenbank durchgescannt werden bis der Name gefunden wird. Hätte ich für jeden User eine eigene kleine Datenbank (also 1Millionen Datenbanken) dürfte das schneller gehen, allerdings hätte ich dann auch 1Millionen Dateien am Hals und Verknüpfungen zwischen den Usern wären schwerer umzusetzen.

Muss ich soetwas bei der Datenbankprogrammierung beachten, gibt es da eine magische Grenze (z.B. ab 10.000 Zeilen macht es sich zeitlich bemerkbar) oder ist das ganze ,,scheissegal" und die Server sind mittlerweile so schnell das zwischen 10Einträgen und 10Millionen kaum ein zeitlicher Unterschied besteht ?

__________________
Das Unverständlichste am Universum ist im Grunde, dass wir es verstehen können.
Albert Einstein

Mister Ad

mermshaus

Datenbanken durchsuchen die Einträge in der Regel nicht linear, sondern über eine Indexstruktur in Form eines Baums. Um einen Eindruck zu vermitteln, wie effizient das sein kann:

Hinweis: Das ist nur ein Gedankenspiel. Für realistischere Erklärungen (z. B. hinsichtlich der Vorsortierung) siehe Wikipedia (etwa B-Baum). Die Größenordnung sollte aber ungefähr passen.

Stell dir vor, du hast eine Datenmenge von 3000 Namen und willst ermitteln, ob der Name "Stefan" darin auftaucht. Bei linearer Suche braucht das im Schnitt -- vereinfacht gesagt -- 1500 Vergleiche. Sortierst du die Einträge jedoch vor der Suche alphabetisch und erzeugst dir einen kleinen Hilfsindex, in dem gespeichert ist, bei welcher Eintragsnummer der Bereich jedes Buchstaben beginnt (zum Beispiel "S ab Eintrag 2741"), kannst du folgendes machen:

- Durchsuche den Hilfsindex, bis der Buchstabe erreicht ist, der dem Anfangsbuchstaben von Stefan entspricht (19 Schritte, weil S der 19. Buchstabe ist).

- Durchsuche die sortierte Liste ab der dort angegeben Eintragsnummer (2741) weiter nach Stefan. (Sagen wir, es gibt 126 Einträge mit "S", "Stefan" ist davon Nummer 102. Macht also 102 Schritte.)

Das ergibt in der Summe nur noch 121 Schritte, was weniger als ein Zehntel der bei linearer Suche angenommenen 1500 Schritte ist.

Das Prinzip lässt sich beliebig fortführen. Zu jedem Buchstabenbereich könnte ein weiterer Hilfsindex angelegt werden, der den Eintrag markiert, bei dem der zweite Buchstabe beginnt. Ist Stefan der 3. Name, der mit "St" beginnt, wären es nur noch 19+20+3 = 42 Schritte.

Enthält die Liste nun nicht 3000 Namen, sondern meinetwegen 30 Millionen, dann könnte "Stefan" der 173. Name sein, der mit "Stef" beginnt:

19+20+5+6+173 = 223 Schritte (statt 15 Millionen).

Ungefähr so schnell sind Datenbanken bei der Suche in indizierten Feldern. (Und aus diesem Grund sollte in jedem WHERE-Teil einer häufig ausgeführten Query eine indizierte Spalte enthalten sein.)

Dragonfly

Vielen Dank für deine Erklärung, so habe ich es wirklich verstanden. Im Prinzip wie ein Wörterbuch wo ich auch nicht alle 3000 Seiten durchblättere wenn ich ein bestimmtes Wort suche

Du hast mir echt geholfen, werde das jetzt versuchen so in meine Datenbankstruktur einzubauen.

__________________
Das Unverständlichste am Universum ist im Grunde, dass wir es verstehen können.
Albert Einstein

Wolla

Ich habe hier eine Tabelle mit 15 Millionen Zeilen. Der Suchbegriff hat einen eigenen Index. Die Suche nach einem bestimmten Eintrag dauert ca. 0,2 Sec.

Du solltest dich, bevor du dich mit dem Thema Performance auseinandersetzt zuerst mal mit den Grundlagen vertraut machen. Was du da mit Datenbank bezeichnest, das sind Tabellen. Zugleich schau dir mal an, was 'Normalformen' sind - dann vestehst du schon einen sehr großen Teil.