Zergling-new

Laut Kontext bildet das XML aber eine Datenbankstruktur ab und diese ist sehr wohl mit CSV darstellbar.

Man muss ja nicht immer XML verwenden, nur weil es gerade hype ist.

Mister Ad

Der_Gerhard

Naja, ich verwende deshalb XML, weil ich das eben kriege.
Die Datei bastle ich mir nicht selbst, sondern sie wird bereitgestellt. Und die Benutzer sollen diese dann hochladen und auswerten lassen können.

Ich könnte durchaus beim ersten Aufruf das Ding parsen und nach CSV wandeln. Dann würde ich für die nachfolgenden Aufrufe, bei denen die eigentliche Verarbeitung erfolgt, einiges an Zeit sparen.
Die Datei besteht aus einer großen Anzahl gleichartiger Einträge. Es sind immer die gleichen Attribute vorhanden.
Nur am Ende ist noch ein anderes Element enthalten, das einen Timestamp enthält, zu dem die übrigen Daten generiert wurden. Das kann ich ja gesondert verarbeiten.

Was die Ausführungszeit betrifft:
Ich habe noch nicht ausprobiert, ob ich diese verändern darf. In so einer Umgebung würde es mich aber eigentlich wundern, wenn es funktioniert.

__________________
**********************************
Nein, ich bin nicht die Signatur.
Ich putze hier nur.
**********************************

Zergling-new

Probiers aus mit set_time_limit(), dann weißt dus

Wenn du XML bekommst würde ich das auch verwenden. Es dann nochmal in CSV umwandeln, würde ich nur machen, wenn du es gut kapselst und du dich nicht mehr drum kümmern musst, aus was für einem Datenformat die Daten kamen. Ich hatte nur gedacht, du kannst dir dann die XML-Verarbeitung sparen.

Zu deiner ursprünglichen Frage -wie stelle ich sicher, dass die Verarbeitung komplett und schnell ausgeführt wird und ein Feedback an den Benutzer möglichst in Echtzeit ausgeführt wird- kann ich dir jedoch auch keine hilfreichen Tipps geben, zumindest nicht s was du nicht schon weißt.

mkl0815

aber immer nur eine tabelle auf einmal, ausser man hat nur 1:1 beziehungen. bei 1:n oder n:m gehts schon nicht mehr. ausserdem müssen bei xml die einzelnen datensätze von der struktur nicht zwingend homogen sein, sie müssen nur der DTD genügen. es gibt z.b. optionale daten, attribute usw. das kannst du nur sehr schwer per CSV abbilden.

da ich die daten die "Der_Gerhard" verarbeiten muss nicht kenne, kann ich nur vom allgemeinen (also schlimmsten ) Fall ausgehen ud da geht CSV nun mal nicht so einfach.

mario.

__________________
Problems with Windows : REBOOT
Problems with Linux : BE ROOT

Zergling-new

OK ich bin vom Standard-Fall ausgegangen und da phpMyAdmin auch einen CSV-Export und -Import anbietet, bin ich davon ausgegangen, dass sich dann auch alles sauber transformieren lässt.
Mal abwarten was der Pate sagt

Der_Gerhard

Der Pate sagt: "Daaaanke daaaanke meine lieeeben Freuuunde"
(Wie stellt man diese nette Stimme geeignet dar?)

Ausgehend von den Daten, die in der Datei gespeichert werden, würde ich mal annehmen, dass CSV sehr einfach möglich ware.
Bis auf den letzten Wert passt alles recht gut in eine einzige Tabelle.

Als allererste Schätzung aus dem Gedächtnis würde ich mal vermuten, dass ich aus einer 2MB XML-Datei 400kB CSV erhalten würde. (Ansehen kann ich mir das erste wieder heute Abend)
Damit würde ich auch bei deutlich größeren Dateien noch nicht an ein Speicherlimit stoßen. Nur bei der Konvertierung muss natürlich die XML-Datei bzw. die ausgelesenen Werte in den Speicher passen.

Kann ich die CSV-Datei eigentlich zeilenweise lesen (auch aus der Mitte), ohne das ganze Ding in den Speicher zu klatschen? Ich hab hier beim Mitlesen gelegentlich mal von Funktionen/Paketen für CSV-Dateien gelesen, aber noch keine verwendet.

__________________
**********************************
Nein, ich bin nicht die Signatur.
Ich putze hier nur.
**********************************

Zergling-new

Sollte eigentlich mit fseek() performant möglich sein. Wie gesagt ohne Garantie, aber sonst wär die Funktion sinnlos.

Edit: nein das offset ist ja die Anzahl Bytes, die du nicht kennst. Abgesehen davon muss die Datei ja trotzdem bis zu dieser Stelle durchsucht werden. Zumindest aber muss der Rest noch nicht ausgelesen werden! Schonmal etwas
Du könntest die Datei aber splitten.

Der_Gerhard

Mir würde es schon reichen, nicht die anfangs gelesenen Zeilen weiterhin im Speicher behalten zu müssen. Der Rest der Datei wird natürlich auch nicht gelesen.

Mit file() hab ich ja den ganzen Berg auf einmal im Speicher. ~90-95% davon sind Verschwendung. Damit könnte ich aber sofort die gewünschte Zeile rauspicken...

Insegesamt gefällt mir die Vorstellung, eine CSV-Datei zeilenweise zu lesen deutlich besser, als eine wesentlich größere XML-Datei jedesmal komplett zu parsen. Auch wenn ich in der CSV-Datei im Endeffekt natürlich die Daten am Anfang sehr oft lesen muss. Es geht aber zumindest erheblich schneller.

Jetzt muss ich natürlich erst noch ein geeignetes Trennzeichen suchen, das in den Daten nicht vorkommen darf....

__________________
**********************************
Nein, ich bin nicht die Signatur.
Ich putze hier nur.
**********************************

xabbuh

Es zwingt dich keiner file() zu verwenden. :-) PHP kennt ja auch die schöne Funktion fgetcsv().

Das Trennzeichen darf ruhig im Text vorkommen, da der Text selbst nochmal durch ein zweites Zeichen (z.B. ") eingeschlossen wird. Kommt nun innerhalb des Textes auch noch ein " vor, wird dieses durch ein Weiteres " maskiert.

Der_Gerhard

Ja, PHP hat schon hübsche Funktionen.
Wie gesagt, habe ich mit den CSV-Funktionen noch nichts gemacht. Und die Datei müsste ich ja auch erstmal im gewünschten Format erzeugen.
Nicht überall bedeutet CSV ja, dass da Anführungszeichen rum sind, sondern manchmal eben nur, dass die Werte durch ein Komma oder anderes Trennzeichen abgetrennt sind.


Allerdings sieht es aus, als würde sich die ganze Sache so ziemlich erübrigen.
Wider Erwarten ist es tatsächlich auf dem Server möglich, die Ausführungszeit beliebig zu erhöhen.
Naja, mir kann's nur recht sein.


Jetzt muss ich nur noch aufpassen, ob ich an die Speichergröße stoße.
Aus einer 4MB XML-Datei wird eine memory_usage von rund 27MB. Und das ist noch nicht die Obergrenze.
Aber zum Glück geht sogar ein Vergrößern von memory_limit() auf gut 100M. Das gibt noch etwas Sicherheit.


Sollte ich wirklich an das Limit stoßen und es nicht vergrößern können, dann muss ich wohl zuerst auf dem PC die Daten umwandeln. Darauf kann ich ganz gut verzichten. Und momentan ist das ja auch nicht relevant.

Es kann soooo einfach sein
Aber dennoch danke für die Tipps.

__________________
**********************************
Nein, ich bin nicht die Signatur.
Ich putze hier nur.
**********************************