Hallo Leute,

würde gerne einen Webcrawler programmieren, also in die Richtung Seiten durchsuchen sollte es gehen.

gibt es dafür vielleicht auch ein Tutorial.

mfg rotmilan

Mister Ad

nikosch

dann guck doch erstmal, ob du eines findest.

Du wirst es nich glauben,

ich hab schon gesucht nach webcrawler bot rebot spider aber leider zur programmierung sogut wie nichts gefunden, ausser etwas über die robots.txt

also falls mir jemand einen Tipp geben kann oder sich damit auskennt...
immer her damit!

mit besten Grüßen rotmilan

nikosch

also sowohl die suche nach 'crawler' als auch 'seite auslesen' findet in diesem forum ne menge resultate die dich weiterbringen können.

Yo, hat was gebracht.

pcre und fopen ist schonmal ein Anfang

danke soweit.

Sag mal eignet sich php gut für Crawler, im Endeffekt will ich jede Menge Daten sichern und eine Webseite nach der anderen durchsuchen.

Gibts da rechtliches zu beachten, sind ja eine Menge Crawler im Netz unterwegs wie gehen die vor. Soviel weiss ich das die robots.txt den Bereich für die Suche angibt.

Wie sucht sich der bot die Wege von Server zu Server?

mbg rotmilan

GelaMu

Hab sowas zwar noch nie probiert, aber ich würde mal sagen du parst die Ausgaben des Servers nach Hostnamen (oder Bilder, Video, usw...).
Das alles im Speicher zu behalten wäre ja Quatsch, daher: speichere das alles in MySQL o.ä. ab.
Vielleicht wäre es auch gut gleich zu überprüfen ob die Links gültig sind.

Naja... viel Spaß damit

Bei welchem Server fang ich denn z.B an und begrenzen werd ich auch müssen, sagen wir 1000 Seiten?

über fopen kann ich irgendeine url ansprechen aber wie gehts weiter.
über links von der Seite, hatte ich eigentlich nich gedacht.

möchte jeweils 2-3 Daten pro Seite speichern, werd ich wohl über mysql machen.

mbg rotmilan

GelaMu

Was meinst du mit 2-3 Daten? Oder meintest du Dateien?
Oder möchtest du über die Homepages einige Infos sammeln?
Hmmmm... bei welchem Server du anfangen könntest weiss ich auch nicht, vielleicht irgendeine große Homepage? Daraus entsteht dann sicher eine Kette von Seiten.
Soll das einfach ein Experiment sein?

Ich verstehe nicht genau was du machen willst

nikosch

das klingt ja, als wolltest du das ganze web indizieren. kommt drauf an, was es werden soll.
ich würde schon über die links gehen. php ist sicher nicht der geeignetste weg (thema ausführungszeit, cronjobs), aber möglich ists auf jeden fall.

Hi leute,

jo ich würd gern mit der Zeit alle .de domains durchrattern wollen, und es handelt sich um 2 bis 5 Daten pro Seite aber auch nicht von allen.

Ja also welche wäre den die geeignetste Sprache, worauf muss man da achten.

mbg rotmilan