fireweasel

Keine Ahnung. In meinem Fall würde ich einfach den RegEx erweitern (oder verallgemeinern). Den Rest könnte man so umbauen, dass beliebige Regel-Namen akzeptiert werden können, selbst die, die derzeit noch nicht existieren.

Für einen richtigen Spider würde ich auf eine fertige Lösung zurückgreifen, die auch Wildcards richtig versteht, also nicht nur '*' für alle User-Agent-Typen ergänzt, sondern auch so Zeug wie 'Mozilla/*' auf die Untertypen richtig anwendet.

Welche Spider die unbeliebtesten sind, ändert sich jeden Tag (Auch ein Googlebot ist bei mir schonmal Amok gelaufen). Der Trick ist, dass ein Websitebetreiber, der das ernsthaft betreibt, gar nicht erst Allow- und Disallow-Listen für sämtliche obskuren Bots vorhält, sondern einfach keine entsprechenden Ressourcen herausgibt. Und dass die trickreichen Cloaking betreiben, ist dir sicher auch bekannt. Aus dem Studium von unzähligen robots.txt-Dateien wirst du höchstens herausbekommen, dass es ...

... erstens Idioten (unter den Webmastern) gibt, die glauben, Regeln in der robots.txt würden wirken (das erinnert ein wenig an das Meta-Tags-Vodoo in HTML), ...

... und zweitens, dass jede Menge dieser Dateien Fehler enthalten, um die ein anständiger Spider irgendwie herumarbeiten muss.

Ich kann mir spannendere Freizeitbeschäftigungen vorstellen (Beruflich wird man so was kaum machen müssen, oder?).

Ich habe, ehrlich gesagt, keine Ahnung, was ein Backlinkchecker mit robots.txt-Angaben anfangen sollte. (Externe) Links würde ich üblicherweise im HTML-Quelltext vermuten ...

Nein, das ist eben kein Standard, sondern nur eine Sammlung von Angaben, auf die sich die größten Suchmaschinenbetreiber geeinigt haben. Und selbst die interpetieren diverse Regeln ganz unterschiedlich (Einige Infos dazu findest du auf robotstxt.org. "Böse" Bots halten sich sowieso nicht daran. Das würden sie nichtmal tun, wenn es Standard wäre.[/quote]

__________________
Wir schreiben schließlich Code und malen keine ASCII-Bilder.

Mister Ad

hjw-kunstwerk

@fireweasel, ich habe bevor ich hier diesen Thread eröffnete auch Google bemüht und leider kein entsprechenden robots.txt parser in PHP für mein spezielles Vorhaben gefunden, wo ich zum einen ein Array erhalten kann welches für die weitere Verarbeitung entsprechend des jeweiligen möglichen vorhandenen User-agent mit seinen Werten wie Allow, Disallow, Sitemap und evtl. Crawl-Delay um es auf dem Server in irgendeiner Weise zu speichern. Dies abspeichern hat den Hintergrund, das ich nicht bei jedem Aufruf mir die robots.txt neu laden und parsen muss, ich gucke ob die filetime von der robots.txt mit der Hinterlegeten noch übereinstimmt und ansonsten würde es zum erneuten parsen kommen. Zum anderen auch Wildcards richtig versteht, dies geht zwar momentan noch nicht kann nun aber mir mehrere reg. Ausdrücke erstellen, welche diese Verhalten von Wildcards erkennen sollen und entsprechend verarbeiten sollen. Bin um Anregungen, Erfahrungen und Tipps sehr dankbar und aufgeschlossen.

Andere Ansätze, falls es jmd als Referentz zu diesem Thread interessiert:
http://forums.devshed.com/php-develo...hp-261878.html
http://www.the-art-of-web.com/php/parse-robots/
http://www.sphider.eu/forum/read.php?3,2740
http://www.juust.org/index.php/php-c...-parser-class/
http://www.webmasterworld.com/forum93/37.htm
http://scripts.ringsworld.com/web-se...class.php.html

Leider ja!): Ich versuche dieses mit mehreren verschiedenen IP Adressen zu Umgehen und besuche die Seite einmal mit einer header Angabe zwecks der $_SERVER['HTTP_REFERER'] Superglobalenvariablen wie sie von einem neueren Browserhersteller mitgesendet wird und sekunden spräter mit der eigentlichen header Ausgabe meines Backlinkcheckers, die zwei Ergebnisse werden mittels eines sha1 Hashes verglichen und somit bei Erfolg TRUE ausgeben. Noch fehlt natürlich ein CSS Parser der mir evtl. 'versteckten Quellcode' also sprich nicht in der vom Browser angezeigten Ausgabe erscheint. Naja, auch da nehme ich Vorschläge gerne an.

Ist vielleicht etwas Umständlich aber meiner Meinung nach doch von Bedeutung, ich suche selbstverständlich im HTML-Quelltext nach dem Link, zudem untersuche ich ob möglicherweise ein Attribut 'rel' mit dem Wert 'nofollow' gesetzt wurde und ich gucke auch nach ob sich da ein 'möchtegern' META-Tag robots mit den Werten 'nofollow' des Attributes 'content' vorhanden ist bzw. vielmehr nicht vorhanden ist und zuguter letzt überprüfe ich die robots.txt, ob nicht evtl. der Link dort als Disallow steht.

Ok, super danke für deinen Hinweis. Doch selbst wenn die 'großen' Suchmaschinenbetreiber darauf Rücksicht nehmen ist es für mich schon von Bedeutung.

Nochmals, ich bin sehr dankbar über jede Anregung.
Beste Grüße.

fireweasel

Dann ist anscheinend entweder PHP ungeeignet für diese Aufgabe oder PHP-Entwickler haben keinen Bedarf an solchen Werkzeugen. Wenn deine PHP-Kenntnisse sowieso ausbaufähig sind, kannst du auch eine andere (Script-)Sprache lernen, die sowas besser unterstützt. Den weiter oben erwähnten LWP-Client hat wahrscheinlich jeder schonmal im Webserver-Accesslog gesehen. Jede Python-Installation hat einen robots.txt-Parser serienmäßig eingebaut. Ruby hat einen Spider in seiner Standard-Library. Selbst in C gibts Spider, wie den Methabot, dessen Quellcode offen vorliegt. Wenn das nicht reicht, tuts vielleicht ein Blick auf die Liste der Open-Source-Web-Crawler in der WP.

Siehe oben. In der Liste ist sicher mindestens ein Crawler dabei, der das kann.

Unter Cloaking verstehe ich, dass der Webserver jedem Client (ob Browser oder Spider ist egal) etwas passendes ausliefert (das gilt auch für die robots.txt selbst), bei unerwünschten Spidern auch schon mal eine 404-Statusmeldung. Das kannst du mit Referrer-Tricks nicht verhindern. Dazu müsstest du schon Methoden anwenden, wie sie der MSN-Spider (heute Bing) vor einiger Zeit versuchte: Der Spider kam als Browser getarnt vorbei (konnte aber an Hand der IP-Adresse trotzdem identifiziert werden). Das kam bei Websitebetreibern und SEO-Spezialexperten gar nicht gut an. Daher weiß ich nicht, ob sie sich das immer noch trauen.

Prüfsummen halte ich für wenig hilfreich. Es gibt genügend "dynamisch generierte" Web-Seiten, die bei jedem Abfruf andere Inhalte haben -- und sei es nur der aktuelle Datums-und-Zeit-Stempel irgendwo im HTML.

Puhh, da nimmst du dir ja was vor. An solchen Aufgaben haben selbst die großen Suchmaschinenbetreiber zu knabbern. Und wenn dein CSS-Parser fertig ist, schaltet die Webpage Teile des angezeigten Textes per JavaScript an oder aus. Das erinnert mich irgendwie an Hase und Igel.