Website Crawler / Migration nach Excel/SQL

proterra · 29.09.2011, 15:50

Hi,

ich habe eine ganz alte stark verschachtelte Webseite noch auf HTML Basis, die ich nun in ein CMS überführen möchte.

Die HTML-Daten bestehen immer aus den Metatags, aus dem Titel und dem Text

Der Ordner-Aufbau ist beispielsweise so:

2011/09/29/12345/index.html

Was ich nun möchte (suche) ist ein Skript oder auch einen Ansatz, wie ich die verschiedenen Daten in entsprechende Felder beispielsweise in Excel importiere, um diese dann später in die Mysql-Datenbank des CMS (Joomla) zu migrieren.

Dabei soll nicht nur der Inhalt der HTML-Seite in die Felder geschrieben werden, sondern auch die Ordner-Struktur, so dass ich hinterher wieder dieselbe URL erhalte.

Hinterher soll das dann so aussehen:

Feld 1: 12345 (ID des Artikels)
Feld 2: /2011/09/29/12345/
Feld 3: Meta Description
Feld 4: Meta Keywords
Feld 5: Titel
Feld 6: Text Inhalt der html-datei

Hat vielleicht jemand ein paar Hinweise, wie ich das am Besten umsetzen kann? Ich habe mich schon wund gegoogelt. Ich weiß natürlich das es nicht die eierlegende Wollmichsau gibt, aber ein paar Tipps wäre super.

Danke im voraus.

Arne Drews · 30.09.2011, 10:15

Ich gehe mal davon aus, daß die Verzeichnisstruktur statisch ist?
Dann bekommst Du die ersten beiden Felder bspw. so:

PHP-Code:

  $url = '2011/09/29/12345/index.html';

$fields = array();

 
$fields['path'] = str_replace( basename( $url ), '', $url );

$folder = array_filter( explode('/', $fields['path']), create_function('$val', 'return trim($val)!="";') );

 
$fields['id'] = $folder[ (count($folder)-1) ];

...was allerdings nur kurz hingekrickelt ist, geht sicher besser/sinnvoller.
Die restliche Felder bekommst Du bspw. über DOMDocument

Alerdings sehe ich da ein Problem bei der Einhaltung Deiner URL´s, denn Joomla behandelt das auf seine eigene Weise.
Mit etwas mehr Erfahrung kannst Du natürlich in den mod_rewrite´s von Joomla tumpfuschen, aber davon würde ich erstmal abraten.

Im großen und Ganzen, gehe ich nciht davon aus, daß das ganze problemlos protiert werden kann...

proterra · 30.09.2011, 14:33

Ja die Ordnerstruktur ist statisch, nur halt weit verzweigt.

Joomla zieht sich die URL aus den Alias und der ID, was hier Feld 2 und Feld 1 ist. Meine Idee ist es diesen Alias und die ID vorzugeben durch diese Migration über die Felder.

Danke aber für deinen ersten Gedankenanstoß.

In Deinem Code "$url = '2011/09/29/12345/index.html'; " ist die URL nun vorgegeben. Ich suche halt ein skipt / lösung, die sich durch die ordner selbständig arbeitet.

Hatte auch schon an einen sitemap crawler gedacht, aber da werden nicht die inhalte mit aufgenommen.

Natürlich nicht umsonst, ist ja klar.

Arne Drews · 30.09.2011, 14:39

Directory rekursiv behandeln

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Website Besucher-Verhältnisse	Synop	PHP Einsteiger	6	10.09.2011 19:19
Website automatisch aktuallisieren wenn jemand Drittes Daten geändert hat.	Kagome	Software-Design	3	05.09.2011 14:08
Website mit Schnittstelle zum Bildhoster?	M1N€R2010	PHP Einsteiger	7	11.03.2011 08:08
Daten von Website abgreifen und in Datenbank einfügen	loci	Datenbanken	10	08.02.2010 17:11
[Erledigt] Konzept für einen PHP Web Crawler	Dark Guardian	Software-Design	10	23.11.2009 16:31
[Tipp?] Website Crawler der..	PatrickXX30	Off-Topic Diskussionen	3	11.11.2009 08:57
[Suche] Freiwilligen für eine Website	Chrisu20	Beitragsarchiv	2	26.05.2009 07:31
[Erledigt] Ermitteln einer eindeutigen Website?	Fruchtzwerk	PHP Tipps 2009	6	19.03.2009 18:10
Daten von Website zu Website übertragen	beta02	PHP Tipps 2009	17	13.01.2009 22:19
[Erledigt] Formulareintrag zur Website verschicken	Blitzo	PHP Tipps 2008	3	25.08.2008 20:24
Idee: Website mit uncrackbarem Serial	Broadcast	PHP Tipps 2007	13	23.02.2007 22:59
[Erledigt] spezielle schrift in der website		HTML, Usability und Barrierefreiheit	23	12.12.2004 12:02
Daten aus einer externen Website lesen via PHP	Locutus007	PHP Tipps 2004	4	29.09.2004 17:20
[Erledigt] Fehlermeldung auf der Website nach dem Veröffentlichen		PHP Tipps 2004	6	10.07.2004 15:03

29.09.2011, 15:50
proterra Neuer Benutzer Registriert seit: 29.09.2011 Beiträge: 5 PHP-Kenntnisse: Anfänger	Website Crawler / Migration nach Excel/SQL Hi, ich habe eine ganz alte stark verschachtelte Webseite noch auf HTML Basis, die ich nun in ein CMS überführen möchte. Die HTML-Daten bestehen immer aus den Metatags, aus dem Titel und dem Text Der Ordner-Aufbau ist beispielsweise so: 2011/09/29/12345/index.html Was ich nun möchte (suche) ist ein Skript oder auch einen Ansatz, wie ich die verschiedenen Daten in entsprechende Felder beispielsweise in Excel importiere, um diese dann später in die Mysql-Datenbank des CMS (Joomla) zu migrieren. Dabei soll nicht nur der Inhalt der HTML-Seite in die Felder geschrieben werden, sondern auch die Ordner-Struktur, so dass ich hinterher wieder dieselbe URL erhalte. Hinterher soll das dann so aussehen: Feld 1: 12345 (ID des Artikels) Feld 2: /2011/09/29/12345/ Feld 3: Meta Description Feld 4: Meta Keywords Feld 5: Titel Feld 6: Text Inhalt der html-datei Hat vielleicht jemand ein paar Hinweise, wie ich das am Besten umsetzen kann? Ich habe mich schon wund gegoogelt. Ich weiß natürlich das es nicht die eierlegende Wollmichsau gibt, aber ein paar Tipps wäre super. Danke im voraus.


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

30.09.2011, 10:15
Arne Drews Erfahrener Benutzer Registriert seit: 22.04.2009 Beiträge: 3.486 PHP-Kenntnisse: Anfänger	Ich gehe mal davon aus, daß die Verzeichnisstruktur statisch ist? Dann bekommst Du die ersten beiden Felder bspw. so: PHP-Code: `$url = '2011/09/29/12345/index.html'; $fields = array(); $fields['path'] = str_replace( basename( $url ), '', $url ); $folder = array_filter( explode('/', $fields['path']), create_function('$val', 'return trim($val)!="";') ); $fields['id'] = $folder[ (count($folder)-1) ];` ...was allerdings nur kurz hingekrickelt ist, geht sicher besser/sinnvoller. Die restliche Felder bekommst Du bspw. über DOMDocument Alerdings sehe ich da ein Problem bei der Einhaltung Deiner URL´s, denn Joomla behandelt das auf seine eigene Weise. Mit etwas mehr Erfahrung kannst Du natürlich in den mod_rewrite´s von Joomla tumpfuschen, aber davon würde ich erstmal abraten. Im großen und Ganzen, gehe ich nciht davon aus, daß das ganze problemlos protiert werden kann... __________________ Phantasie ist wichtiger als Wissen, denn Wissen ist begrenzt. Probleme kann man niemals mit derselben Denkweise lösen, durch die sie entstanden sind. Albert Einstein

30.09.2011, 14:33
proterra Neuer Benutzer Registriert seit: 29.09.2011 Beiträge: 5 PHP-Kenntnisse: Anfänger	Ja die Ordnerstruktur ist statisch, nur halt weit verzweigt. Joomla zieht sich die URL aus den Alias und der ID, was hier Feld 2 und Feld 1 ist. Meine Idee ist es diesen Alias und die ID vorzugeben durch diese Migration über die Felder. Danke aber für deinen ersten Gedankenanstoß. In Deinem Code "$url = '2011/09/29/12345/index.html'; " ist die URL nun vorgegeben. Ich suche halt ein skipt / lösung, die sich durch die ordner selbständig arbeitet. Hatte auch schon an einen sitemap crawler gedacht, aber da werden nicht die inhalte mit aufgenommen. Natürlich nicht umsonst, ist ja klar.

30.09.2011, 14:39
Arne Drews Erfahrener Benutzer Registriert seit: 22.04.2009 Beiträge: 3.486 PHP-Kenntnisse: Anfänger	Directory rekursiv behandeln __________________ Phantasie ist wichtiger als Wissen, denn Wissen ist begrenzt. Probleme kann man niemals mit derselben Denkweise lösen, durch die sie entstanden sind. Albert Einstein