Hallo PHP.de-Mitglieder,
Zwei Mitstudenten und Ich arbeiten gerade an einer Software, bei der XML-Dateien ausgelesen werden, Werte verglichen und präsentiert werden müssen.
Hier erst einmal die Eckdaten zu den XML-Dateien:
Anzahl: 20.000 Files
Größe pro Datei: 5Kb bis 5Mb
Elemente pro Datei: bis zu 40.000, hauptsächlich numerische Werte
Parallele Vergleiche: bis zu 100 Dateien
Unser Hauptproblem liegt jetzt in der Speicherung und dem Auslesen der Dateien. Beim Auslesen können wir uns nicht auf wenige Elemente konzentrieren und müssen daher alle - bis zu 40.000 - Elemente auslesen können. Dementsprechend fällt eine Speicherung der Elemente in MySQL schonmal weg.
Unsere Theorien gehen hin und her, aber wir finden bisher keinen optimalen Lösungsansatz, außer die XML-Dateien auf der Festplatte zu speichern und On-Demand auszulesen.
Kennt ihr möglicherweise performantere Lösungen?
Wir sind für jede Hilfe und jeden Hinweis dankbar.
Mit freundlichen Grüßen
Marco
Zwei Mitstudenten und Ich arbeiten gerade an einer Software, bei der XML-Dateien ausgelesen werden, Werte verglichen und präsentiert werden müssen.
Hier erst einmal die Eckdaten zu den XML-Dateien:
Anzahl: 20.000 Files
Größe pro Datei: 5Kb bis 5Mb
Elemente pro Datei: bis zu 40.000, hauptsächlich numerische Werte
Parallele Vergleiche: bis zu 100 Dateien
Unser Hauptproblem liegt jetzt in der Speicherung und dem Auslesen der Dateien. Beim Auslesen können wir uns nicht auf wenige Elemente konzentrieren und müssen daher alle - bis zu 40.000 - Elemente auslesen können. Dementsprechend fällt eine Speicherung der Elemente in MySQL schonmal weg.
Unsere Theorien gehen hin und her, aber wir finden bisher keinen optimalen Lösungsansatz, außer die XML-Dateien auf der Festplatte zu speichern und On-Demand auszulesen.
Kennt ihr möglicherweise performantere Lösungen?
Wir sind für jede Hilfe und jeden Hinweis dankbar.
Mit freundlichen Grüßen
Marco
Kommentar