mAy^daY

Hi, ich schreibe gerade eine kleine Auswertung für Apache Logfiles. Soweit komme ich auch damit klar, auslesen und darstellen funktioniert wunderbar, jetzt bin ich an dem Punkt angelangt die großen Logdateien in handlichen Stücken bereits fertig ausgewertet zu speichern damit ich nicht jedesmal die komplette Logdatei parsen muß.

Mein erster Ansatz baut auf XML Dateien auf, ich parse die Apache Logdatei und speichere dann die zusammengefassten und bereits aufbereiteten Daten im XML Format ab. Die Aktualisierung prüft dann einfach nur wo der letzte Eintrag der XML steht und fängt dann dort wieder an die neuen Einträge aus der Apachelogdatei einzutragen. Um die XML Daten zu lesen benutze ich die Funktion xmlize(). (XML => Array)

Jetzt kommt die eigentliche Frage, ich könnte die Daten anstatt im XML Format ja auch als INI abspeichern und die parse_ini_file() Funktion benutzen. Der Vorteil wäre das die ganzen XML Strukturen wegfallen und diese Funktion bereits in PHP integriert ist.

Ist es zu empfehlen oder ist das keine gute Idee?

Mister Ad

dr.e.

Hallo mAy^daY,

ich habe kurz drüber nachgedacht und ich vermute, dass du mit parse_ini_file() schneller an dein Ziel kommst, weil das

a) in C implementiert
und
b) schneller ist, da der XML-Overhead wegfällt.

Nachteil ist jedoch, dass das sicher bei einer gewissen Menge an Daten ineffizient wird, da die beiden Funktionen die komplette Datei in den Speicher läd. Um welche Datenmenge handelt es sich bei deinen Auswertungs-Files?

__________________
Viele Grüße,
Dr.E.

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1. Think about software design before you start to write code!
2. Discuss and review it together with experts!
3. Choose good tools (-> Adventure PHP Framework (APF))!
4. Write clean and reusable software only!
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

mAy^daY

Also ich hatte vor dann für jeden Monat (bzw. am Jahresende für jedes Jahr) eine eigene INI (bzw. XML) Datei anzulegen. Somit sollte die Datenmenge überschaubar sein und die Performance nicht drunter leiden.

(ähnlich wie bei den gängigen stat-scripten webalizer usw.)

Meine größte Webseite hat derzeit ca. 70.000 Hits (aber das wird ja abgearbeitet und zusammengefasst als INI/XML gespeichert).
Ich gehe davon aus das die größte INI/XML die mit den Hosteinträgen wird (t-ipconnect.de, t-mobile.de, pppool.de, usw. ich speichere hier nur die Domainnamen woher die Leute kommen).

Wenn ich mir das so ansehe...
das ist kaum der rede wert (~ 300 verschiedene Domains bei 70.000 Hits)
also wären etwa 300 Datensätze in einer Datei zu speichern.

KingCrunch

Also, hab das jetzt nur überflogen, aber vielleicht solltest du (solltet ihr) überdenken, dass ini- wie xml-Dateien auch "nur" geparst werden und wo dann euer großer Vorteil ist.

Eine andere Überlegung wäre ein Datenbankserver, der bestimmte Anfragen im System schon beschleunigt. Ansonsten seh ich keinerlei Vorteile bestimmte Umgebungen einfach nur umzuschreiben

__________________
Nicht jeder Fehler ist ein Bug.

mAy^daY

Also der Vorteil wäre das die Daten um ein vielfaches kleiner sind und gezielt für einen Zeitraum rausgegriffen werden.

In den INI/XML Dateien stehen die Daten dann etwa in diesem Format
Ich denke diese Datei kann ja nicht größer werden, da der Monat maximal 31 Tage hat und ein Tag 24 Stunden. Also wären nur die Besucherhosts (Domains) eine variable Größe. Diese würde ich dann in einer extra INI/XML Datei speichern.

Das ganze in eine Datenbank packen wäre auch eine gute Idee.

M3g4Star

Also es kommt natürlich immer darauf an inwiefern du diese Statistiken dann benötigst.
Eine DB wäre schon sinnvoll weil du dir dann einfach ein Webinterface zusammenstellen kannst und damit via simplen SQL deine Zeiträume variabel gestellten kannst.

Dann könntest das auch gleich in PDF exportieren usw. aber wie schon gesagt ... Inwiefern du das benötigst ist die andere Frage.

mAy^daY

Ich hätte dann zum Thema noch eine andere Frage, und zwar ist es sinnvoll die IP Adressen mit gethostbyaddr() aufzulösen?

(HostnameLookup in der Apacheconfig hatte ich bisher auf ON, durch Google habe ich erfahren das man dies besser OFF lassen sollte)

Zergling-new

Mit welcher Begründung? Sei vorsichtig bei unbegründeten Vorschlägen, die du irgendwo im Netz findest, es wird auch viel Mist verzapft.

Zum eigentlich Thema:
INI sind ja Konfigurations-Files, vom Sinn her also eigentlich kein Datenspeicher-Typ, wie XML, CSV oder eine Datenbank.

INI:
Vorteil:
simple Datenstrukturen,
schnelles Parsen
Nachteil:
Möglicherweise zu simple Datenstruktur, keine Mehrdimensionalität, wie du sie vielleicht benötigen würdest (für n Tage und m Stunden),
nicht implizit, dass das Format Daten enthält (man könnte diese Daten auch als Konfiguration für die Auswertung sehen, ist aber etwas weit hergeholt finde ich)
Auswertung/Statistik manuell

XML:
Vorteil:
Komplexe Datenstrukturen möglich,
kompatibelstes/universellstes Format
Nachteil:
Großer Overhead (300 Einträge sollten aber verkraftbar sein),
Auswertung/Statistik manuell

CSV:
Vorteil:
kompatibles Format,
simple Datenstrukturen,
schnell zu parsen
Nachteil:
Auswertung/Statistik manuell
nur 2-dimensional wie INI

Datenbank:
Vorteil:
Komplexe Datenstrukturen möglich (JOINs, Sub-SELECTs),
sehr schnell,
Auswertung/Statistik automatisch (das Query musst du natürlich trotzdem noch selbst erstellen)
Nachteil:
Du belastest die Datenbank mit Log-Einträgen


Ich würde mich letztlich für die Datenbank entscheiden. Wenn es darum geht häufig Daten auszuwerten, ist diese letztlich am effektivsten.
Falls du die Daten für weitere externe Tools benötigst, kannst du den Inhalt immernoch in ein XML-File rausparsen.

mAy^daY

Ich werde mal die Lösung mit Datenbank als Speicher in Angriff nehmen. Wenn der Monat vorbei ist werde ich eine Statistik als PDF generieren, diese ändert sich ja nichtmehr, somit wäre die Datenbank hauptsächlich nur mit den aktuellen Daten belastet.

Danke M3g4Star für die PDF Idee, finde ich Klasse!
Danke den anderen für die Hilfe.

Hmm eine Begründung wird fast nie angegeben, das einzige das ich gefunden habe ist das der Apache sich zulange durch Verzögerungen der DNS Anfrage damit aufhält. In wie weit das stimmt kann ich nicht beurteilen (so viele Hits hab ich dann auch wieder nicht).

Zergling-new

Na gut das ist doch schonmal eine plausible Begründung.