Charly Shop Sui

Hallo ich habe mal einige Fragen die mich zur Zeit brennend interessieren und ich hoffe ihr könnt mir mal ein bisschen helfen. :wink:

Also es dreht sich alles um Suchmaschinen:

1. Wie arbeitet eigendlich so ein Suchrobot? Nimmt er nur die Metainformation aus der Seite raus oder den ganzen Inhalt? Und was macht er dann damit?

2. Wie "sucht" ein Robot? Also beginnt er einfach die Suche an einer x-beliebigen Stelle im Internet und hohlt sich da Informationen und geht dann weiter?

3. Wird so ein Robot durch einen Cronjob gesteuert oder ist er sogar einer?

4. (Wie) Kann man einen Robot mit PHP realisieren?

würde mich freuen wenn's mir jemand erklären könnte.

Mister Ad

derHund

1. das kommt auf den bot an, für gewöhnlich wird der gesamte inhalt ausgelesen (wobei das eigentlich total irrelevant ist) - wie fragst du das? der inhalt wird dann ausgewertet, je nach bot werden links, email-adressen oder sonstiges extrahiert.
2. ja, er verfolgt die verlinkungen
3. natürlich kann er durch einen cron gestartet werden, oder auch die ganze zeit laufen ... je nach dem
4. es gibt fertige klassen dafür, selber schreiben ist auch nicht schwer ... fsockopen() + preg_macth_all() .. das wars schon fast

das beachten der robots.txt darfst du nicht vergessen.

__________________

Charly Shop Sui

zu 1: wird dann auch gewöhnlich der gesamte Inhalt in der DB der Suchmaschine abgespeichert?
zu 2: welche verlinkungen?
zu 3: wie kann ein PHP-Script die ganze Zeit einfach so laufen ohne CronJob?

5. Robot.txt?^^

Chr!s

1) Wenn dus brauchst, ja, (solltest du aber nicht)
2) Na die Links auf der Seite
3) Mit einer while-Schleife die quasi erst dann aufhört bis du keinen Link mehr findest (was wohl nicht passieren wird). Denk dabei aber an max_execution_time() ! Außerdem ist PHP für soetwas nicht unbedingt geeignet.
5) http://www.exine.de/suchmaschinen/robots.htm

Charly Shop Sui

sorry aber es geht weiter, bin halt neugierig:

zu 1: also nur metatags bzw. die keywords oder?
zu 2: Und wenn's da eine Links gibt, ist dann schluss? Bzw. wird das immer so gemacht? Und gibt es eine extra Funktion für PHP die die Links aus der Seite rausfiltert?
zu 3: Was wäre dann besser geeignet? Perl?

derHund

1. den keywords/descriptions wird heute bei den großen sumas eh keine große relevanz mehr zugestanden. wenn du eine seite spiderst, kannst du ihren inhalt auf deiner platte ablegen, um ihn später zu analysieren und relevante infos in der db zu speichern.
2. du mußt links extrahieren, um auf weitere seiten zu kommen. so schnell wird da nicht schluß sein. als php-funktion kannst du preg_match_all verwenden.
3. ja, oder c++ oder java ...

__________________

Charly Shop Sui

Okay damit wären meine Fragen alle geklärt, danke an alle.

Charly Shop Sui

Kann mir jemand sagen, woher ich solche Suchklassen bekomme? Hab schon rumgegoogled aber nur seiteninterne Suchmaschinen gefunden.

Chr!s

Schreib dir doch eine selber..?
Ich bin mir nicht sicher ob jemand soetwas 4 free anbietet..

Charly Shop Sui

Hmm, ich werd's probieren. Bin mir aber noch nicht sicher wie genau ich den Inhalt einer Seite (unter Angabe einer URL) auslese. Kann mir da vllt. jemand einen Denkanstoß geben? Ich frag dann auch nicht mehr weiter, versprochen :wink: