[Erledigt] Spider/bot Namen

Hallo

Ich habe ein kleines Script erstellt was mir anzeigt wer/wann auf meiner webseite war. Darunter auch 2 Listen die Anzeigen
wannn ein Googlebot und MSNbot da waren.

Nun so weit ich weiß gibt es ja noch mehr Bots/spider wie man will. Meine Frage, wie heißen die,
also google und msn müssen so heißen "googlebot" und "msnbot".

Kann ich einfach zB das so machen?: aolbot oder yahoobot ?
Oder weiß jemand die Namen die dafür stimmen könnten?

[Manko10]

Hi,

ich denke, das sollte dir weiterhelfen: Search Engine Spiders List

[Nokes]

Jo danke dir. Ich denke mal das ist dass richtige.

[XLB]

Die Liste ist uralt: "Last updated: August 25, 1999"

In der SuMa-Landschaft hat sich seit dem einiges getan. Die "großen" der Branche haben die einzelnen Bots, deren Sinn und Zweck jeweils irgendwo gelistet. Ansonsten wirf mal einen Blick in deine Log-Files.

Google empfiehlt per reverse DNS lookup zu prüfen, ob es sich tatsächlich um die jeweiligen Bots/Crawler handelt,... zu viele Wölfe im Schafspelz

[Manko10]

Das stimmt zwar (die habe ich irgendwo aus den Tiefen meiner Bookmarks ausgegraben) aber man kann sie wenigstens grundlegend noch ganz gut als Referenz nehmen, welche Bots es überhaupt gibt. Bei den Großen sollte man immer in deren Docs nachschauen, das ist klar, aber allgemein hat die Anzahl der Bots eher abgenommen, weil die großen Konzerne die kleineren Firmen mit der Zeit alle geschluckt haben oder denen die User abgewandert sind. Lediglich die Web-Marketing-2.0-Ganz-Toll-Dinger sind mehr geworden, aber bei denen muss man sich eh fragen, ob man die auf der Seite haben will.