Mutatos

Hallo zusammen, ich möchte ein bischen experimentieren und möchte mir einen kleinen WebSpider basteln, der Seiten nur auf kyrillisch untersuchen soll.

Wie funktioniert eigentlich ein Spider Script. Ich erkläre es mir eigentlich so:

Ich nehme mir eine Seite vor, untersuche diese und speichere alle vorkommenden URL's, und nachher untersuche ich diese und so weiter .... Ist das bis jetzt richtig?

Meine Überlegung ist, soll ich den Inhalt von jede Seite irgendwo Speichern, sagen wir wenn jemand nach einen bestimmten Wort sucht, dass ich das möglicherweise direkt aus der Datenbank raushollen kann und nicht wieder alle gespeicherten URL's wieder zu durchsuchen?

Oder wenn meine Überlegungen falsch sind, kann mir jemand weiterhelfen? Was ich noch wissen möchte ist, wie kann ich die Suchmaschine so bauen, dass Sie nur kyrillische Seiten durchsuchen sollte oder zumindes erkennen kann?

Danke!

Gruß
Nik

Mister Ad

axo

wozu das rad neu erfinden?
...

ja, und dann musst du session-IDs erkennen, mailto-adressen filtern etc...

angesichts der tatsache, dass jeder mensch html-code schreiben kann wie er will, gibt es keinen hundertprozentigen algorithmus.
versuche halt mal, muster zu erkennen - meta tags, typische zeichen, typische formulierungen.

allerdings wird das ganze mit php nicht besonders lustig.

Mutatos

Hi! Ich habe das mit PHP versucht, aber leider bricht er irgendwann ab, wenn viel abgespeichert wird ... -(

Aber kein Problem eine Lösucng kann ich fiden.

Was ich wissen möchte ist wenn ich alle Wörter von einen Dokument als Keywörter abspeichere, wie soll ich die mit der Seite verknüpfen? Ich meine nehmen wir an ein Dokument hat 2000 Wörter und die sind alle als Keywörter abgespeichert, ich kann doch nicht 2000 Einträge zu dieses Dokument machen und jedes Keywort damit verbinden

Wie wäre es klug die Keywörter mit dem Dokument zu verbinden. Wenn jemand auch info irgendwo im Internet kennt wäre ich dankbar, wenn er mir den Link schickt!


Danke!

Thice

Wozu die Keywords? Du kannst doch mit LIKE ganze Texte nach Wörten oder Phrasen durchsuchen.

MfG
Andy

__________________
kintzebros.de | KintzeBros Home Entertainment
2061. Nach dem Frieden | kurzfilm
Paula | spielfilm

axo

Mutatos

Hi!

Es wird aber sehr schwer sein ein Paar Milionen von Einträgen mit LIkE zu durchsuchen, oder?

Die Suche muss sehr leicht und schnell sein

Gruß

freq.9

Man könnte auch die Seite vorher per Tidy durchschauen, ob diese valid ist und dann nur solche Seiten parsen, wobei das den Umfang der Seiten auf ein Minimum begrenzen würde.

Wegen sowas bin ich strikter Anhänger des validen (X)HTML...