Klaus

Hallo zusammen

Ich befasse mich derzeit mit einem Projekt wo sehr viele Daten anfallen und kontinuierlich gespeichert werden müssen. Die Daten sind mit Masse Integer-Werte.

Nach den Daten soll anschließend sortiert werden und es sollen Grafen erstellt werden. Also schon intensiver Datenbankzugriff / Datenbankabfragen.

Derzeit habe ich mit max 200.000 in einer MySQL-DB gearbeitet.
Zu erwarten sind aber wesentlich mehr!!!

Nun stellt sich für mich die Frage ob MySQL eine solche Datenmenge noch verarbeiten kann (unabhängig von der Rechenleistung).

Hat da schon mal jemand Erfahrungen gesammelt???

Bin für jeden Hinweis dankbar!!
Dank und Gruß an Alle

Mister Ad

dr.e.

Hallo Klaus,

zunächst würde ich dich bitten, deine Sätze mit ein paar weniger Interpunktionen auszustatten, das macht keinen guten Eindruck.


Ja. Ich betreibe eine MySQL-Datenbank, deren Tablespace jenseits der 200GB liegt. In Zahlen von Tabellen-Einträgen sind das in den größten Tabellen > 100Mio., wobei das InnoDB-Tabellen sind. MyISAM-Tabellen können max. 2 Mio. Datensätze aufnehmen.


An sich ist MySQL ziemlich robust, was Datenmengen angeht, bei GROUP BY wird es sehr vielen Daten sehr langsam, da der Optimizer keine "Hash Joins" kann, sondern nur "Nested Loops". Man muss das beim Design des Datenmodells (Tabellen-Layout) schon berücksichtigen.

__________________
Viele Grüße,
Dr.E.

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1. Think about software design before you start to write code!
2. Discuss and review it together with experts!
3. Choose good tools (-> Adventure PHP Framework (APF))!
4. Write clean and reusable software only!
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Zergling-new

In einer der letzten drei PHP-Magazine war ein Artikel über eine Datenbank, die gerade mit Zahlen sehr schnell arbeitet. Finde den Artikel leider nicht mehr. Wenn doch, melde ich mich nochmal.

Edit: Ach da hab ich ihn, natürlich im letzten der drei Magazine und da auch noch ganz hinten. Ausgabe 2.07 Februar/März, Seite 85: "Mit PHP auf die Open Source MOLAP-Datenbank Palo zugreifen" .. "[..] Interessant sind MOLAP-Datenbanken vor allem für zahlenlastige Webapplikationen, wie man sie zum Beispiel im Controlling- und Finanzbereich oder auch bei statistischen Auswertungen findet. [..]".

Links poste ich einfach mal hier:
- Palo-Worksheet-Server-Demo
- Setup, Evaluation Guide und SDK
- Die Website des Java-Clients von Tensegrity Software GmbH
- Palo-Forum

Klaus

@dr.e
2 Mio. Datensätze bei MyIsam, dass ist eine Menge und wesentlich mehr als ich erwartet hätte.
Somit ist MySQL bei diesem Projekt eine echte Alternative zu MsSQL, was zuvor favorisiert war.

Mal sehen ob ich den Auftraggeber von MySQl überzeugen kann.


@zeigerling
ein solcher Artikel würde mich sehr interessieren!
Ich würde mich freuen, wenn du den noch finden könntest. Ich werde mal im Internet danach suchen.

Danke für eure schnelle und aussagekräftige Hilfe.
:P

Weiter so und Gruß an Alle

Klaus

Zergling-new

Hallo,

der Artikel ist nicht online abrufbar, du kannst dir die Ausgabe jedoch für 9,80 EUR + 1,30 EUR Versand nachbestellen. Läßt sich bestimmt in deinem Projekte verrechnen

http://phpmagazin.de/itr/ausgaben/ps...nguage,de.html
Heft nachbestellen