solar22

@mentalman: Die Suche als solche soll nicht in Themengebiete gegliedert werden, aber die Websites wollen wir in eine Art Katalog sortieren. (Natürlich nur, wenn der Webmaster das will).
Ersteinmal wird es ein Übungszweck haben, ob es so online gehen wird, muss ich noch sehen.

@nikosch: Selbstverständlich. Was ich von anderen Crawlern erwarte, beachte ich auch selbst.
Im Endeffekt folge ich ja auch nur Links, die auf der Website stehen und indiziere nur den HTML Inhalt, keine sonst. Dateien.

Mister Ad

mermshaus

Vom Prinzip her machen das auch die „Profis“ nicht groß anders. Sowas verschlingt eben derbe Ressourcen.

Es ist wichtig, solche Crawler „skalierbar“ zu schreiben, womit ich erst mal nur meine, dass eine 30 MB HTML-Datei sie nicht abstürzen lassen sollte, weil im Code explode(' ', file_get_contents($url)) steht oder so und das Memory Limit nicht passt.

Falls jemand den Begriff nicht kennt: http://de.wikipedia.org/wiki/Stoppwort

Die konkrete Umsetzung ist wohl eine Wissenschaft für sich. Da geht's dann in Richtung „Meinungsumfrage“.

Ich habe selbst mal an einem Algorithmus geschrieben, der die „Ähnlichkeit“ von Texten berechnet, um einen „Dies könnte Sie auch interessieren“-Bereich zu füllen. Sagen wir mal so: Bei hinreichend langen Texten, die sich thematisch hinreichend ähneln und unterscheiden, waren die Resultate – na ja – hinreichend okay. Das ist aber kein Vergleich zu einer manuellen Kategorisierung über beispielsweise Tags, da schon auffällt, dass ein Algorithmus die Auswahl getroffen hat. Außerdem ist die Berechnung nicht gerade günstig gewesen, obwohl ich jeden Trick im Buch angewendet habe (außer dem, nicht PHP zu verwenden ). Aber gut, sowas kann man cachen.

Ohne Anteilsverhältnisse der Wörter wird es wohl nicht gehen, aber das Problem von Verhältnissen ist dieser SEO-Teufelskreis: Suchmaschine findet heraus, dass der Hauptbegriff optimalerweise jedes 25. Wort auf der Seite sein sollte. Alle Leute füllen ihre thematisch nicht maximal relevanten Seiten so. Die Suchmaschine muss ihren Wertungsalgorithmus anpassen, um diese Seiten abzuwerten. Usw.

Das führt zu diesem schrecklichen Zustand, Seiten für Suchmaschinen zu schreiben und nicht für Nutzer, obwohl die Suchmaschinen alles daran setzen, genau das zu bekämpfen.

Natürlich wird das für deinen Crawler niemand machen, weil es keinen Vorteil bringt, aber was ich sagen will: Diese auf relativen Anteilen basierende Wertung ist mitunter schwierig.

__________________
Blog | Buch | Kaloa

nikosch

Machen alle andere SM auch. Ich frage nur deshalb, weil vielleicht gerade Leute mit fragwürdigen Inhalten vielleicht auch eine entspr. robots.txt verfassen.

__________________
--
One pixel is still too big. Please make it smaller. ASAP.

Initiative Mittelstand.
Die wichtigste Gestaltungsregel im Screendesign ist Pi mal Daumen des Arbeitgebers.
--

solar22

Das stimmt. Dann will ich auch nicht gegen die robots.txt verstoßen.
Aber es wäre ein evtl. Anwendungsgebiet - und sei es nur in einem Intranet.

@mermshaus: Ja, für große Suchmaschinen wäre dies nicht gut. Ich plane wenn das ganze ja nur für einen Websitepool von einer Größe von ca. 200-300 Sites. Ich denke hier wäre das ganze noch überschaubar. Es geht ja nicht um eine Rangordnung.

tr0y

Orientier dich doch an der dMOZ und biete den Hosting-Kunden ( im Falle von dMOZ den Editoren ) die Möglichkeit, die ganze Seite zu indizieren, bestimmte Teilbereiche vom Index zu trennen und/oder nur Teilbereiche eine Page indizieren zu lassen. Welche Technologie du dabei verwendest ( HTML-Meta-Tags, eine eigene .htHostDir, eine Evaluierung der robots.txt oder ein Administratives Panel zum ein- und auschecken von Directory-Funktionalitäten ), liegt in dem Fall dann bei deinen Fähigkeiten.

Schlussendlich würde diese Index-Bibliothek zum Teil-Produkt eures Hostingangebotes das auch jeden eurer Kunden ansprechen kann, wenn man ihm genügend Möglichkeiten lässt. Außerdem hat die Idee ansich schon genügend Potential um sie weiter auszubauen, ihr könntet euren Kunden beispielsweise über so einen Index auch die "Sichtweise von Suchmaschinen" der jeweiligen Webseite aufzeigen, sodas z.b. mehr schlecht als recht entwickelte Seiten auf eurer Hostingplattform direkt beim zusammenklicken der Index-Preferenzen Indexierungshemmenden Quellcode Identifizieren können. Automatische Validitätsprüfung wäre eine zweite Option. Auch "Big Daddy" ( Google ) könntet ihr beim vorbereiten der Index-Einträge fragen wo da überhaupt aufgrund der meta-keywords die Seite bei Suchanfragen auftaucht ( Google Search API for the win ). Was schlussendlich auch Search Engine Optimization im kleinen Stil bedeuten würde.

__________________
Lasse mir ohne Anwendung von Gewalt Dinge schenken, Amazon weiß darüber bald mehr.