Hallo,

ich möchte ein kleines Tool vorstellen, was sich für Webmaster als sehr nützlich erweist.

Problemstellung:
Neben nützlichen Bots, wie die Spider von Google, Yahoo usw., gibt es auch Bots, die sogar schädlich sein können. Einige klauen Inhalte und andere erzeugen unnötig Traffic. Besonders wenn eine Seite für Suchmaschinen optimiert wurde, tummeln sich zahlreiche unerwünschte Bots.
Wie kann ein Bot der Seite schaden?

- Contentklau
- Bilderklau
- E-Mail Collector
- Spams in Gästebüchern oder Foren
- defekte Bots, die unnötig Traffic verursachen
- Bots von ausländischen Suchmaschinen, die nicht relevant sind
- ...

Problemlösung:
Jeder Bot hat seine eigene "Signatur", den UserAgent. Darüber lassen sie sich eindeutig identifizieren. Über Ausschlußregeln in einer .htaccess lassen sich diese Bots sperren.
Vorraussetzung: Der Webspace unterstützt eine eigene .htaccess

Das s.e.o. Tool
Die Anzahl der Bots ist sehr groß und nicht jeder Webmaster ist in der Lage die richtige .htaccess selbst anzulegen.
Hier hilft das s.e.o. Tool, welches anhand einer Botliste die .htaccess erstellen kann. Später kann man überprüfen, ob Bots von der Seite ausgesperrt werden oder nicht. Dazu kann man entweder den UserAgent selber eingeben oder unsere Botliste benutzten.
Das Tool bringt auch noch weitere Funktionen mit, wie z.B. Metataggenerator oder Erzeugung einer .htaccess gegen Trafficklau (externe Verlinkung).

Achtung: Das Tool ist noch eine Betaversion, funktioniert soweit aber schon vollständig. Die Botliste kann später direkt aus dem Internet aktualisiert werden, weitere Funktionen werden folgen.

zum Download

Gruß, CN-Techniker

Mister Ad

Zergling-new

Hm gibts wirklich so blöde Klau-Bots, die sagen wer sie sind?
Das wär ja, wie wenn ein Dieb sich erstmal beim Verkäufer mit Ausweis vorstellen würde...

Einige tarnen sich ganz gut, in dem sie z.B. einen veränderten Mozilla UserAgent benutzen. Die sind jetzt in der BotListe noch nicht mit eingepflegt.
Da wir die Botliste von Hand erstellen, dauert das eine gewisse Zeit.

Wie schon geschrieben, dass Tool ist noch in der Betaphase. Später soll die Botliste über das Internet aktualisierbar sein. Ich selbst verwende die erstellte htaccess aber bereits mit erfolg. Webseitengrabber sind auch schon mit dabei.

Gruß, CN-Techniker

Buhmann

und warum sollten die Bots nicht einfach den ganz normalen ff/ie/ns agenten angeben?

Man wird nie alle Bots ausschließen können. Aber die, die immer den gleichen UserAgent benutzen sind schon eine ganze Menge.

Flor1an

Also die Bots die wirklich Schaden anrichten haben entweder alle einen Useragent wie IE/FF/Opera etc. oder sie verwenden einfach bei jedem Aufruf einen anderen Useragent.

Also aussperren durch angeben von Useragents bringt glaub ich relativ wenig. Bzw. hört sich dein Tool so an als wenn es fast alle Bots aussperren würde. Im Gegenteil kann es eigentlich nur gute Bots aussperren wie Google etc. die einen eindeutigen Namen verwenden.