Suchrobots ausfiltern

22.05.2005, 11:05

Moin

Ich bin am erstellen eines eigenen logfile.

Nun habe ich dies eine Woche getestet und dabei gesehen, dass etwa jeder vierte Eintrag von einer Suchmaschine stammt.

Da es mich aber nicht Wunder nimmt, welche dieser Suchmaschine wie viel mal täglich bei mir vorbeikommt, möchte ich einen Suchrobotfilter erstellen.

Doch wie kann ich Robots von normalen usern unterscheiden?

robo47 · 22.05.2005, 11:11

robots.txt

den bots den zugriff damit verbieten ? auf das dokument?

22.05.2005, 11:20

Ich glaube er will die Robots aus seinen Logfiles filtern.
Ich hab mal ein Array mit allenmöglichen Robots aus bbclone kopiert:
http://woltersware.dyndns.org/space/robots.txt
Das musst du einfach abfragen ob der Regex darin in $_SERVER['HTTP_HOST'] drin ist

22.05.2005, 13:13

Danke für die Datei.

Aber für was sind diese vielen Arrays?
Würde da nicht einfach ein Array reichen mi allen Robotsnamen oder haben die Begriffe icon, title und rule noch eine bestimme Funktion?

22.05.2005, 13:18

Wenn du von mir erwartest das ich dir die 400 Robots in ein eindimensionales Array umschreibe hast du dich geschnitten.

22.05.2005, 13:36

Natürlich habe ich dies nicht erwartet, aber mich nimmt es Wunder, welche dieser vier Möglichkeiten(array-name, icon, rule, title) dann auch in $_SERVER['HTTP_HOST'] vorkommen.
Also welche array-teile ich löschen kann und welche ich für mein Filtersystem benötige?

22.05.2005, 13:42

rule ist ein Regex der in $_SERVER['HTTP_HOST'] vorkommen sollte wenn es ein Robot ist. icon ist nur ein Bildsche dat BBclone für ihre Darstellung braucht. Und Title ist der Name.

Im grunde reicht es aber auch schon wenn du einfach HTTP_HOST auf
so Schlüsselwörter wie "crawler", "bot" und "spider" überprüfst.

iRadiaX · 11.07.2006, 08:15

@ Du-weisst-schon-wer: Die Datei existiert nicht mehr, aber ich bräuchte sie nochmal.. hast du sie noch?

Danke im Voraus,
iRadiaX

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
HTML-Tags ausfiltern -> PLAIN Text für Weiterverarbeitung	sponer	PHP Tipps 2006	2	16.02.2006 16:50
Dateiendung ausfiltern	Mano	PHP Tipps 2004-2	10	30.12.2004 20:48

22.05.2005, 11:05
Gast Beiträge: n/a	Suchrobots ausfiltern Moin Ich bin am erstellen eines eigenen logfile. Nun habe ich dies eine Woche getestet und dabei gesehen, dass etwa jeder vierte Eintrag von einer Suchmaschine stammt. Da es mich aber nicht Wunder nimmt, welche dieser Suchmaschine wie viel mal täglich bei mir vorbeikommt, möchte ich einen Suchrobotfilter erstellen. Doch wie kann ich Robots von normalen usern unterscheiden?


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

22.05.2005, 11:11
robo47 Moderator Registriert seit: 03.09.2004 Beiträge: 11.792 PHP-Kenntnisse: Fortgeschritten	robots.txt den bots den zugriff damit verbieten ? auf das dokument? __________________ robo47.net - Blog, Codeschnipsel und mehr \| Caching-Klassen und Opcode Caches in php \| Robo47 Components - PHP Library extending Zend Framework

22.05.2005, 11:20
Gast Beiträge: n/a	Ich glaube er will die Robots aus seinen Logfiles filtern. Ich hab mal ein Array mit allenmöglichen Robots aus bbclone kopiert: http://woltersware.dyndns.org/space/robots.txt Das musst du einfach abfragen ob der Regex darin in $_SERVER['HTTP_HOST'] drin ist

22.05.2005, 13:13
Gast Beiträge: n/a	Danke für die Datei. Aber für was sind diese vielen Arrays? Würde da nicht einfach ein Array reichen mi allen Robotsnamen oder haben die Begriffe icon, title und rule noch eine bestimme Funktion?

22.05.2005, 13:18
Gast Beiträge: n/a	Wenn du von mir erwartest das ich dir die 400 Robots in ein eindimensionales Array umschreibe hast du dich geschnitten.

22.05.2005, 13:36
Gast Beiträge: n/a	Natürlich habe ich dies nicht erwartet, aber mich nimmt es Wunder, welche dieser vier Möglichkeiten(array-name, icon, rule, title) dann auch in $_SERVER['HTTP_HOST'] vorkommen. Also welche array-teile ich löschen kann und welche ich für mein Filtersystem benötige?

22.05.2005, 13:42
Gast Beiträge: n/a	rule ist ein Regex der in $_SERVER['HTTP_HOST'] vorkommen sollte wenn es ein Robot ist. icon ist nur ein Bildsche dat BBclone für ihre Darstellung braucht. Und Title ist der Name. Im grunde reicht es aber auch schon wenn du einfach HTTP_HOST auf so Schlüsselwörter wie "crawler", "bot" und "spider" überprüfst.

11.07.2006, 08:15
iRadiaX Erfahrener Benutzer Registriert seit: 18.07.2005 Beiträge: 154	@ Du-weisst-schon-wer: Die Datei existiert nicht mehr, aber ich bräuchte sie nochmal.. hast du sie noch? Danke im Voraus, iRadiaX __________________ Quedilo - Downloads schneller finden