[Erledigt] Spider/bot Namen

16.07.2010, 21:40

Hallo

Ich habe ein kleines Script erstellt was mir anzeigt wer/wann auf meiner webseite war. Darunter auch 2 Listen die Anzeigen
wannn ein Googlebot und MSNbot da waren.

Nun so weit ich weiß gibt es ja noch mehr Bots/spider wie man will. Meine Frage, wie heißen die,
also google und msn müssen so heißen "googlebot" und "msnbot".

Kann ich einfach zB das so machen?: aolbot oder yahoobot ?
Oder weiß jemand die Namen die dafür stimmen könnten?

Manko10 · 16.07.2010, 21:42

Hi,

ich denke, das sollte dir weiterhelfen: Search Engine Spiders List

16.07.2010, 22:05

Jo danke dir. Ich denke mal das ist dass richtige.

XLB · 17.07.2010, 16:34

Die Liste ist uralt: "Last updated: August 25, 1999"

In der SuMa-Landschaft hat sich seit dem einiges getan. Die "großen" der Branche haben die einzelnen Bots, deren Sinn und Zweck jeweils irgendwo gelistet. Ansonsten wirf mal einen Blick in deine Log-Files.

Google empfiehlt per reverse DNS lookup zu prüfen, ob es sich tatsächlich um die jeweiligen Bots/Crawler handelt,... zu viele Wölfe im Schafspelz

Manko10 · 18.07.2010, 02:09

Das stimmt zwar (die habe ich irgendwo aus den Tiefen meiner Bookmarks ausgegraben) aber man kann sie wenigstens grundlegend noch ganz gut als Referenz nehmen, welche Bots es überhaupt gibt. Bei den Großen sollte man immer in deren Docs nachschauen, das ist klar, aber allgemein hat die Anzahl der Bots eher abgenommen, weil die großen Konzerne die kleineren Firmen mit der Zeit alle geschluckt haben oder denen die User abgewandert sind. Lediglich die Web-Marketing-2.0-Ganz-Toll-Dinger sind mehr geworden, aber bei denen muss man sich eh fragen, ob man die auf der Seite haben will.

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
[Erledigt] Namen in Gruppen verschieben Mootools	unglaublich	JavaScript, Ajax und mehr	5	10.04.2010 23:09
Namen ändern beim Upload	Benshy	PHP Tipps 2009	1	13.11.2009 16:51
[Erledigt] Direktorie namen automatisch nach Prinzip erstellen...	djscaleo	PHP Tipps 2009	19	21.02.2009 20:35
txt datei editieren und unter anderen namen speichern	hugo25m	Scriptbörse	10	07.11.2008 12:37
eine txt datei mit dem selben namen wie ein bild auslesen???	bona	PHP Tipps 2006	18	20.02.2006 16:14
[Erledigt] Durch den namen an die ID?		Datenbanken	5	23.09.2005 21:05
bild datei namen aus verzeichnis auslesen		PHP Tipps 2005-2	3	04.09.2005 13:36
LDAP Namen in normale Namen umwandeln		PHP Tipps 2005-2	6	01.08.2005 12:07
[Erledigt] Namen die durch Kommas gerennt sind in Links umwandeln		PHP Tipps 2005-2	3	14.07.2005 20:29
mysql nach namen suchen		Datenbanken	1	28.03.2005 08:24
mysql nach Namen durchsuchen		PHP Tipps 2005	7	27.03.2005 22:34
Bilder nach Namen anzeigen		PHP Tipps 2005	11	06.03.2005 15:41
Eingegebenen Namen auch auf Umlaute prüfen		PHP Tipps 2004	3	23.09.2004 19:27
[Erledigt] Suche einen coolen eBay Namen!		Off-Topic Diskussionen	17	19.09.2004 09:31

16.07.2010, 21:40
Nokes Gast Beiträge: n/a	[Erledigt] Spider/bot Namen Hallo Ich habe ein kleines Script erstellt was mir anzeigt wer/wann auf meiner webseite war. Darunter auch 2 Listen die Anzeigen wannn ein Googlebot und MSNbot da waren. Nun so weit ich weiß gibt es ja noch mehr Bots/spider wie man will. Meine Frage, wie heißen die, also google und msn müssen so heißen "googlebot" und "msnbot". Kann ich einfach zB das so machen?: aolbot oder yahoobot ? Oder weiß jemand die Namen die dafür stimmen könnten?


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

16.07.2010, 21:42
Manko10 Supermoderator HD Registriert seit: 16.03.2008 Beiträge: 8.706 PHP-Kenntnisse: Fortgeschritten	Hi, ich denke, das sollte dir weiterhelfen: Search Engine Spiders List __________________ Refining Linux Advent Calendar series “24 Outstanding ZSH Gems”

16.07.2010, 22:05
Nokes Gast Beiträge: n/a	Jo danke dir. Ich denke mal das ist dass richtige.

17.07.2010, 16:34
XLB Erfahrener Benutzer Registriert seit: 31.07.2005 Beiträge: 1.126 PHP-Kenntnisse: Fortgeschritten	Die Liste ist uralt: "Last updated: August 25, 1999" In der SuMa-Landschaft hat sich seit dem einiges getan. Die "großen" der Branche haben die einzelnen Bots, deren Sinn und Zweck jeweils irgendwo gelistet. Ansonsten wirf mal einen Blick in deine Log-Files. Google empfiehlt per reverse DNS lookup zu prüfen, ob es sich tatsächlich um die jeweiligen Bots/Crawler handelt,... zu viele Wölfe im Schafspelz

18.07.2010, 02:09
Manko10 Supermoderator HD Registriert seit: 16.03.2008 Beiträge: 8.706 PHP-Kenntnisse: Fortgeschritten	Das stimmt zwar (die habe ich irgendwo aus den Tiefen meiner Bookmarks ausgegraben) aber man kann sie wenigstens grundlegend noch ganz gut als Referenz nehmen, welche Bots es überhaupt gibt. Bei den Großen sollte man immer in deren Docs nachschauen, das ist klar, aber allgemein hat die Anzahl der Bots eher abgenommen, weil die großen Konzerne die kleineren Firmen mit der Zeit alle geschluckt haben oder denen die User abgewandert sind. Lediglich die Web-Marketing-2.0-Ganz-Toll-Dinger sind mehr geworden, aber bei denen muss man sich eh fragen, ob man die auf der Seite haben will. __________________ Refining Linux Advent Calendar series “24 Outstanding ZSH Gems”