Fileserver: Aktualisierung Mysql und Ausgabe PHP

tausche · 25.01.2009, 10:59

Hi Leute,

erstmal hallo im Forum, hab schon einige Beiträge bei euch gefunden, die mir sehr weitergeholfen haben, jetzt hab ich eigentlich eher ein prinzipielles Konzept-Problem und hoffe das hier ist das richtige subforum und ihr könnt mir weiterhelfen.

Ich betreibe einen FileServer mit Webzugriff über Apache.
Auf dieser Weboberfläche möchte ich jetzt sagen wir mal alle Dateien die in den letzten 10 Tagen neu dazugekommen sind als "news" auf einer seite ausgeben.

Meine Idee war jetzt per PHP alle Dateien in eine Mysql Datenbank zu schreiben und dann per query die "jüngsten" elemente auszulesen - das funktioniert auch soweit (bin gerade auf Arbeit und kann den Code deshalb nicht posten).

Jetzt stellt sich mir aber die Frage, wie ich die Aktualisierung hinbekomm, also wenn neue Dateien auf den Server hochgeladen werden.

Ist das überhaupt der richtige Ansatz oder könnte man das besser gestalten?
Die Dateien sind gesamt ca. 1TB groß bei schätzungsweise 30.000 dateien, wenn mehr Infos gebraucht werden bitte melden.

Danke schonmal für die Hilfe,

mfg tausche

robo47 · 26.01.2009, 09:46

Jenachdem "woher" die Daten kommen lässt sich das mit einem passenden Hook in diesem System machen. Wenn sie via ftp hochgeladen werden, bieten einige ftp-server hooks an, dass ein script ausgeführt wird nachdem eine neue datei oben ist (kann allerdings problematisch sein wenn daten nicht komplett am stück hochgeladen werden)

Andernfalls ein cronjob der alle XX minuten läuft und schaut ob was neues da ist.

tausche · 26.01.2009, 11:23

Also die Daten werden teils von Usern hochgeladen (über php/ajax filebrowser), teils von root eingespielt.
Bei den Hooks hätte ich ein Problem, wenn ich die Upload-Oberfläche mal wechsel, die Version über den cronjob wär mir da die liebere.

wie kann ich prüfen ob was neues da (bzw. was altes weg) ist und das dann automatisch in der datenbank korrigieren (z.b. per cron)?

danke für die hilfe

cycap · 26.01.2009, 11:39

-> Alle Datensätze in der DB durchgehen und schauen ob File vorhanden oder nicht
-> auf nicht vorhandene reagieren (Eintrag löschen,...), vorhandene Dateien merken (in einem Array)
-> Alle Dateien durchgehen und schauen ob sie unter den "gemerkten" ist, falls nicht dann reagieren (DB-Eintrag,...)

tausche · 26.01.2009, 21:14

Hmm...ich dachte ich komm da irgendwie drum rum, die ganze db immer wieder durchlaufen zu lassen, ich werds dann mal so implementieren, kann den code dann hier rein stellen...

Flor1an · 26.01.2009, 21:22

Ich würde das nicht über einen Cronjob machen. Du kannst ja nicht jedes mal alle Datenbankeinträge überprüfen. Außerdem würde, eine neu hochgeladene Datei erst nach xx Minuten auf der Webseite angzeigt, meistens wollen User ihre Datei aber sofort sehen!

Ich würde einfach beim Upload mit PHP einen neuen DB Eintrag für jede Datei erstellen. Wenn der Admin (root) eine Datei "einspielt" zum Beispiel über FTP dann soll er die in einen speziellen Ordner laden. Über eine Weboberfläche soll er diesen Ordner auslesen können und dann auswählen können welche der dortigen Dateien er ins System einfügen will, dabei wird dann eben die Datei in die entsprechenden Ordner kopiert und ein DB Eintrag angelegt. Somit kannst du leicht die letzten Dateien auslesen.

tausche · 26.01.2009, 23:01

Kingt gut.
Die anzeige der dateien funktioniert derzeit direkt über symlinks auf die verzeichnisse, die könnte so bleiben, dann werden die dateien immer sofort angezeigt, unabhängig von der db.
wenn ich dann eine "news"-box mit den aktuellsten dateien hab, reichts sicher aus die 1x pro tag zu aktualisieren.

Derzeit isses so, dass der Admin Files per SSH oder CIFS/Samba einspielt und dann an den richtigen ort am system verschiebt (direkt, per shell).
Es wär zwar schon denkbar, auch für den Admin eine PHP/sql anbindung zu schreiben, das bedeutet aber auch mehr aufwand und für den admin mehr nach- als vorteile.

Flor1an · 26.01.2009, 23:32

Wie werden denn diese "Symlinks" ins HTML gebracht? Wird das per Hand gemacht oder läuft das über DirectoryListing? Wenn du die Daten per PHP einfügst dann haste halt den Vorteil dass du eben alles mitspeichern kannst. Auch Anzahl der Zugriffe z.b.

Aber wenn du die Dateien direkt hochlädst dann haste halt das Problem dass davon niemand was mitbekommt

Und Cronjob fänd ich jetzt keine gute Lösung bei so vielen Daten.

tausche · 27.01.2009, 09:30

Läuft über directory listing, auf eine hand voll verzeichnisse zeigen die symlinks und die stehen in der db. von der nachvollziehbarkeit wärs sicher besser, alles direkt in php zu machen, damits auch mit den logs klappt - ich bin nur was php anbelangt noch ziemlich unerfahren, somit muss ich mich da erstmal durcharbeiten.

aja: hab gerade nochmal nachgesehen, 39433 dateien sinds momentan.

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
[Erledigt] mysql ausgabe zählen	serious-cool	PHP Tipps 2008	8	09.10.2008 12:35
[Erledigt] mysql Ausgabe als Link	serainam81	Datenbanken	6	05.09.2008 13:46
Zufällige Ausgabe aus MySql		PHP Tipps 2008	6	02.09.2008 02:12
[Erledigt] Folgende Ausgabe mit php und MySQl möglich?	palman	PHP Tipps 2008	66	13.08.2008 13:53
[Erledigt] Datum Ausgabe Mysql	krackmoe	PHP Tipps 2008	9	10.07.2008 20:33
php script keine Ausgabe (mysql)	thecracked	PHP Tipps 2008	3	30.05.2008 09:35
[Erledigt] Php Mysql ausgabe in Tabelle / Gruppentrennung	xitam	PHP Tipps 2008	3	28.05.2008 22:03
Fehlerhafte MySQL Ausgabe mit SELECT	c-bass	Datenbanken	16	23.08.2005 14:49
Prob mit MySql Ausgabe	b++	PHP Tipps 2005	1	01.04.2005 20:58
MySQL Ausgabe durchnummerieren		Datenbanken	3	14.03.2005 09:01
Mysql Ausgabe	CityHubter	Datenbanken	13	11.02.2005 14:11
MySQL Ausgabe in einer If-Anweisung		PHP-Fortgeschrittene	5	09.01.2005 14:20
Auslesen mySQL tabelle und ausgabe als html	Calli	PHP Tipps 2004-2	3	21.12.2004 16:51
[Erledigt] PHP5 &amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;a m p; MySQL		Datenbanken	5	01.08.2004 05:47
mysql ausgabe auf zeichen beschränken - hilfe!!!	niffi	PHP-Fortgeschrittene	16	03.06.2004 14:40

25.01.2009, 10:59
tausche Neuer Benutzer Registriert seit: 25.01.2009 Beiträge: 10	Fileserver: Aktualisierung Mysql und Ausgabe PHP Hi Leute, erstmal hallo im Forum, hab schon einige Beiträge bei euch gefunden, die mir sehr weitergeholfen haben, jetzt hab ich eigentlich eher ein prinzipielles Konzept-Problem und hoffe das hier ist das richtige subforum und ihr könnt mir weiterhelfen. Ich betreibe einen FileServer mit Webzugriff über Apache. Auf dieser Weboberfläche möchte ich jetzt sagen wir mal alle Dateien die in den letzten 10 Tagen neu dazugekommen sind als "news" auf einer seite ausgeben. Meine Idee war jetzt per PHP alle Dateien in eine Mysql Datenbank zu schreiben und dann per query die "jüngsten" elemente auszulesen - das funktioniert auch soweit (bin gerade auf Arbeit und kann den Code deshalb nicht posten). Jetzt stellt sich mir aber die Frage, wie ich die Aktualisierung hinbekomm, also wenn neue Dateien auf den Server hochgeladen werden. Ist das überhaupt der richtige Ansatz oder könnte man das besser gestalten? Die Dateien sind gesamt ca. 1TB groß bei schätzungsweise 30.000 dateien, wenn mehr Infos gebraucht werden bitte melden. Danke schonmal für die Hilfe, mfg tausche Geändert von tausche (25.01.2009 um 11:26 Uhr).


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

26.01.2009, 09:46
robo47 Moderator Registriert seit: 03.09.2004 Beiträge: 11.792 PHP-Kenntnisse: Fortgeschritten	Jenachdem "woher" die Daten kommen lässt sich das mit einem passenden Hook in diesem System machen. Wenn sie via ftp hochgeladen werden, bieten einige ftp-server hooks an, dass ein script ausgeführt wird nachdem eine neue datei oben ist (kann allerdings problematisch sein wenn daten nicht komplett am stück hochgeladen werden) Andernfalls ein cronjob der alle XX minuten läuft und schaut ob was neues da ist. __________________ robo47.net - Blog, Codeschnipsel und mehr \| Caching-Klassen und Opcode Caches in php \| Robo47 Components - PHP Library extending Zend Framework

26.01.2009, 11:23
tausche Neuer Benutzer Registriert seit: 25.01.2009 Beiträge: 10	Also die Daten werden teils von Usern hochgeladen (über php/ajax filebrowser), teils von root eingespielt. Bei den Hooks hätte ich ein Problem, wenn ich die Upload-Oberfläche mal wechsel, die Version über den cronjob wär mir da die liebere. wie kann ich prüfen ob was neues da (bzw. was altes weg) ist und das dann automatisch in der datenbank korrigieren (z.b. per cron)? danke für die hilfe

26.01.2009, 11:39
cycap Moderator Registriert seit: 13.02.2008 Beiträge: 6.816 PHP-Kenntnisse: Fortgeschritten	-> Alle Datensätze in der DB durchgehen und schauen ob File vorhanden oder nicht -> auf nicht vorhandene reagieren (Eintrag löschen,...), vorhandene Dateien merken (in einem Array) -> Alle Dateien durchgehen und schauen ob sie unter den "gemerkten" ist, falls nicht dann reagieren (DB-Eintrag,...)

26.01.2009, 21:14
tausche Neuer Benutzer Registriert seit: 25.01.2009 Beiträge: 10	Hmm...ich dachte ich komm da irgendwie drum rum, die ganze db immer wieder durchlaufen zu lassen, ich werds dann mal so implementieren, kann den code dann hier rein stellen...

26.01.2009, 21:22
Flor1an da schreibt der ElePHPant Registriert seit: 18.06.2008 Beiträge: 8.903 PHP-Kenntnisse: Fortgeschritten	Ich würde das nicht über einen Cronjob machen. Du kannst ja nicht jedes mal alle Datenbankeinträge überprüfen. Außerdem würde, eine neu hochgeladene Datei erst nach xx Minuten auf der Webseite angzeigt, meistens wollen User ihre Datei aber sofort sehen! Ich würde einfach beim Upload mit PHP einen neuen DB Eintrag für jede Datei erstellen. Wenn der Admin (root) eine Datei "einspielt" zum Beispiel über FTP dann soll er die in einen speziellen Ordner laden. Über eine Weboberfläche soll er diesen Ordner auslesen können und dann auswählen können welche der dortigen Dateien er ins System einfügen will, dabei wird dann eben die Datei in die entsprechenden Ordner kopiert und ein DB Eintrag angelegt. Somit kannst du leicht die letzten Dateien auslesen.

26.01.2009, 23:01
tausche Neuer Benutzer Registriert seit: 25.01.2009 Beiträge: 10	Kingt gut. Die anzeige der dateien funktioniert derzeit direkt über symlinks auf die verzeichnisse, die könnte so bleiben, dann werden die dateien immer sofort angezeigt, unabhängig von der db. wenn ich dann eine "news"-box mit den aktuellsten dateien hab, reichts sicher aus die 1x pro tag zu aktualisieren. Derzeit isses so, dass der Admin Files per SSH oder CIFS/Samba einspielt und dann an den richtigen ort am system verschiebt (direkt, per shell). Es wär zwar schon denkbar, auch für den Admin eine PHP/sql anbindung zu schreiben, das bedeutet aber auch mehr aufwand und für den admin mehr nach- als vorteile.

26.01.2009, 23:32
Flor1an da schreibt der ElePHPant Registriert seit: 18.06.2008 Beiträge: 8.903 PHP-Kenntnisse: Fortgeschritten	Wie werden denn diese "Symlinks" ins HTML gebracht? Wird das per Hand gemacht oder läuft das über DirectoryListing? Wenn du die Daten per PHP einfügst dann haste halt den Vorteil dass du eben alles mitspeichern kannst. Auch Anzahl der Zugriffe z.b. Aber wenn du die Dateien direkt hochlädst dann haste halt das Problem dass davon niemand was mitbekommt Und Cronjob fänd ich jetzt keine gute Lösung bei so vielen Daten.

27.01.2009, 09:30
tausche Neuer Benutzer Registriert seit: 25.01.2009 Beiträge: 10	Läuft über directory listing, auf eine hand voll verzeichnisse zeigen die symlinks und die stehen in der db. von der nachvollziehbarkeit wärs sicher besser, alles direkt in php zu machen, damits auch mit den logs klappt - ich bin nur was php anbelangt noch ziemlich unerfahren, somit muss ich mich da erstmal durcharbeiten. aja: hab gerade nochmal nachgesehen, 39433 dateien sinds momentan.