notyyy

Hallo,

ich suche nach einem opensource tool welches applikationsspezifische logs verwaltet.

angenommen wir haben etwa 500 unterschiedliche applikationen, alle applikationen erzeugen automatisch logfiles (z.b. gefangene Exceptions u.s.w.). nun wäre es ja sinnvoll alle logs zentral entgegen zu nehmen.

kennt jemand eine lösung für mein vorhaben?

Mister Ad

dreamcatcher

Ein Programm welches applikationsspezifische Logs verwaltet.

Deine Beschreibung hört sich für mich nach einem Cronjob an welche deine Logs zusammenführen soll.

(Geschrieben in welcher Sprache du auch immer möchtest)

Oder sind die Logs nach irgendeinem "Standard" definiert, so dass diese auch nach diesem Standard von dir ausgewertet werden sollen ?

Was willst du eigentlich genau machen ?

Aus deiner Beschreibung "Zentral engegenzunehmen" leite ich ab, dass du alle Logs ausgelesen haben willst und in einer Zentralen Datei gespeichert haben möchtest.

Oder möchtest du, dass die Logs alle aus den Applikationen heraus in eine Datei geschrieben werden ?
Sind alle Applikationen in PHP geschrieben ?

[...]...

notyyy

vielleicht habe ich mich nicht klar ausgedrückt.

angenommen ich habe viele high traffic pages, und bekomme diverse mb/s logs zusammen.

so möchte ich die logs irgendwie auswerten können. besonders interessant wird es wenn man applikationen hat welche man dynamisch in einer cloud skalieren lässt. logs müssen so an eine zentrale stelle.

ob php, java, .net oder was auch immer, ist ja relativ unwichtig.

ich habe keine (opensource?) software gefunden welche dies halbwegs unterstützt. Splunk ging etwas in die richtung.

das logging kann wohl kaum von einem server durchgeführt werden, hier ist sicher auch wieder eine skalierbare lösung a la map & reduce nötig.


vielleicht sind nun die dimensionen in den ich logfiles erschaffen will klar

dsentker

Sowas kann doch nur Sinn machen, wenn die generierten Logdateien immer in dem gleichen Format zur Verfügung stehen?

Was spricht dagegen, sie zu festgelegten Zeitpunkten auszulesen (meinetwegen in PHP und einem Cronjob), und diese dann in einer Datenbank zu speichern? Sowas ist doch ratzfatz gemacht.

__________________

notyyy

ich will keine apache logs oder ähnliches speichern, sondern a la

logger = new de\php\log('APPID', 'SECRETKEY');
logger::log('blubb', logger::high);

events loggen können.

1. welche datenbank frisst auf dauer etliche mb/s. MySql sicher nicht. ich hatte hier eher an hadoop, bigtable (...) gedacht ...
2. cronjobs halte ich für völlig ungeeignet, ist auch unnötig da wohl ein service auf dem loggingserver laufen sollte

dsentker

Möchtest du nun geloggte Daten zum Zeitpunkt der Genierung bereits zentral sammeln, oder bereits gesammelte, dezentralisierte Daten zentral verwalten?

__________________

G.Schuster

Schonmal syslogd-NG angeschaut?
http://www.debianhelp.co.uk/syslog-ng.htm

AFAIK müsste man das mit so ziemlich jeder Sprache bedienen können bzw, es wird ja in der Linux-Welt von sehr vielen Programmen verwendet.

__________________
actra.development - Schwabstr. 2 - 70825 Münchingen
www.actra.de/velopment/ - eMail: php.de@actra.de
Zend Certified Engineer for PHP5

notyyy

das sieht auf den ersten blick nett aus, im Hintergrund läuft jedoch eine mysql datenbank. der einzige weg viele logs zu haben wäre sharding. bin skeptisch ob ich das möchte

auf der Seite steht mit der premium Version wären 24GB/h möglich, dass ist schon eine Hausnummer. Kennt jemand eine Lösung welche vielleicht auf noSql setzt?

zum Zeitpunkt der Genierung bereits zentral sammeln

dreamcatcher

Hast du nach dem wunderbaren Vorschlag vom Schuster mal gegoogelt ?

http://www.google.de/search?sourceid...yslog-ng+nosql

Gleich das erste Ergebnis:
http://asylum.madhouse-project.org/p...og-ng/mongodb/