Bestimmten Referer blocker via htaccess?

Kori · 08.09.2007, 19:40

Hi,

meine Seite kriegt die ganze Zeit Traffic von Bots die wild auf meiner Seite rumklicken, alle kommen von ner bestimmten Seite, gibt es ne möglichkeit via htaccess diese von der Seite kommenden auf eine andere Seite weiterzuleiten?

Hab mal was probiert:

.htaccess file:

deny from domain.com
redirect anderedomain.com

klappt aber nicht. :/

Gruß,
Kori

Göke · 08.09.2007, 20:06

Die Art und Weise mal ausprobiert?

Code:

order allow,deny
deny from domain.com
allow from all

Zusätzlich dazu mal die "evil-Bots" per robots.txt aussperren:

Code:

#
#Despictable and evil robots to keep out :) 

User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: RMA
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: asterias
Disallow: /

User-agent: httplib
Disallow: /

User-agent: turingos
Disallow: /

User-agent: spanner
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Microsoft URL Control - 5.01.4511
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: WebmasterWorldForumBot
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: moget
Disallow: /

User-agent: hloader
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Szukacz/1.4 
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Openfind data gathere
Disallow: /

User-agent: Openfind 
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Oracle Ultra Search
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: PerMan
Disallow: /

User-agent: searchpreview
Disallow: /

08.09.2007, 20:09

Zitat:

Bots die wild auf meiner Seite rumklicken

Bots folgen nur deinen Links

Wenn man weis, welche Bots das sind gäbe es diese htaccess-Möglichkeit:

Code:

# Sperre nach Agent 
SetEnvIfNoCase user-agent "blogsearchbot.*" bad_bot=1

# Sperre nach IP 
SetEnvIfNoCase Remote_Addr "^195.131.*" bad_bot=1

<FilesMatch "(.*)"> 
Order Allow,Deny 
Allow from all 
Deny from env=bad_bot 
</FilesMatch>

(ist nur ein Beispiel)
htaccess deshalb, weil einige Bots sich nicht an robots.txt halten.

Kori · 08.09.2007, 20:22

Also es sind Hitbots, wenn euch das was sagt, ich habe auf meiner Seite CJOverkill, damit verwalte ich meine Partnerlinks, wer wieviele Hits usw bekommt, und diese Bots klicken dann halt auf die out links und faken meine Statistik und die Partner kriegen nur noch nen Bruchteil und wundern sich warum, und ich seh halt das die über 100% zurück kriegen, ist das mit diesen Robots auch gelöst? oder kann man sich dagegen noch anders wehren? Also die htaccess die du da oben gepostet hast, kann man da noch nen redirect rein haun, das man dann stattdessen auf ne andere Seite weitergeleitet wird?

Gruß, und danke schonmal!

Kori

Kori · 08.09.2007, 20:46

Hab nun

.htaccess File gemacht und reingeschrieben

order allow,deny
deny from partnerseite.net
allow from all

dann hab ich bei partnerseite ma ne seite von mir genommen, und angeklickt so das ich den ref hatte, der eigl verboten sein sollte, aber ich kom trotzdem auf die Seite

warum?

08.09.2007, 22:12

Wozu ich wohl ein Beispiel gemacht habe ?
Und dort wird der User_Agent ermittelt, nichts mit ref etc...

Adminator · 08.09.2007, 22:32

die Übermittlung des Ref's kann unterdrückt werden, die des User_Agent auch.
Am besten/sichersten ist es die IP des Bots per htaccess zu sperren (falls es eine feste ist).
Du könntest jedoch auch die maximal klickzahl pro ip begrenzen (dann könntest du jedoch probleme bei usern hinter proxy's haben)

08.09.2007, 23:56

Also die meisten Bots haben User-Agent. Mit IPs ist allerdings eine ziehmliche "fummelei" und kann auch nach hinten los gehen.
Aber du kannst gerne über 1300 IPs z.B. von Yahoo sperren

Aber bevor man rumbastelt, sollte man sich zuerst die eigenen Logs anschauen, und darauf wird dann die Sperre aufgebaut.
Wenn nichts gelogt wird sind alle Maßnahmen für die Katze.

Kori · 09.09.2007, 10:41

die haben nen Ref, jedesmal, ich müsste also nur source dafür haben, aber wie gesagt der da oben, für htaccess funktioniert leider nicht.

Mein Trade Script hat schon nen paar Settings drin mit "repeated ips max" und "max clicks" usw, und kickt ja auch schon ordentlich ips, aber er hat anscheind unendlich ips, oder lässt normale besucher javascript ausführen oder sonst was.

Also mitlerweile würds mir auch reichen wenn der source da oben

order allow,deny
deny from partnerseite.net
allow from all

funktionieren würde, aber ist der so nun schon korrekt? weil klappt bei mir halt nicht, oder was mach ich falsch?

Best Grüße,
Kori

robo47 · 09.09.2007, 11:12

deny from partnerseite.net würde bedeutet, dass wenn der user die IP hat die der server hat unter der partnerseite.net läuft, dann dürfte er nicht zugreifen.

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Referer und Umleitung	GSJLink	PHP Tipps 2008	16	12.05.2008 14:22
htaccess: Bestimmte IP oder Passwortabfrage	webbi	Server, Hosting und Workstations	2	19.10.2006 10:57
Referer in HTML-Dateien mitloggen - img src/script?		PHP Tipps 2007	6	02.11.2005 22:03
Referer via img-Tag an PHP übertragen		PHP Tipps 2005-2	7	04.08.2005 07:19
htaccess Weiterleitung bei Subdomains		Beitragsarchiv	2	02.08.2005 15:09
[Erledigt] htaccess 2 Zugänge => Weitergabe an PHP^		PHP-Fortgeschrittene	2	23.07.2005 13:29
Bestimmte elemente nur zu bestimmten Daten anzeigen lassen		PHP Tipps 2005-2	3	14.07.2005 14:05
Einen bestimmten Button in einer Radio Group ansprechen		HTML, Usability und Barrierefreiheit	2	12.04.2005 16:31
bestimmten string aus spalte auslesen	aircrash	PHP Tipps 2005	3	01.02.2005 18:07
.htaccess - require valid-user und trotzdem referer zulassen	pixelcut	Server, Hosting und Workstations	2	05.01.2005 10:56
[Erledigt] Referer und GD Library		PHP-Fortgeschrittene	4	28.11.2004 16:08
PDF Generator mit htaccess Problem	imported_dex	PHP Tipps 2004-2	1	25.11.2004 10:47
automatischer htaccess login		PHP Tipps 2004	0	12.09.2004 17:09
htaccess und redirect mit IF verzweigung	Novan	Server, Hosting und Workstations	1	11.09.2004 18:00
[Erledigt] PHP + htaccess		PHP-Fortgeschrittene	6	28.08.2004 19:23

08.09.2007, 19:40
Kori Erfahrener Benutzer Registriert seit: 16.03.2004 Beiträge: 170	Bestimmten Referer blocker via htaccess? Hi, meine Seite kriegt die ganze Zeit Traffic von Bots die wild auf meiner Seite rumklicken, alle kommen von ner bestimmten Seite, gibt es ne möglichkeit via htaccess diese von der Seite kommenden auf eine andere Seite weiterzuleiten? Hab mal was probiert: .htaccess file: deny from domain.com redirect anderedomain.com klappt aber nicht. :/ Gruß, Kori


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

08.09.2007, 20:22
Kori Erfahrener Benutzer Registriert seit: 16.03.2004 Beiträge: 170	Also es sind Hitbots, wenn euch das was sagt, ich habe auf meiner Seite CJOverkill, damit verwalte ich meine Partnerlinks, wer wieviele Hits usw bekommt, und diese Bots klicken dann halt auf die out links und faken meine Statistik und die Partner kriegen nur noch nen Bruchteil und wundern sich warum, und ich seh halt das die über 100% zurück kriegen, ist das mit diesen Robots auch gelöst? oder kann man sich dagegen noch anders wehren? Also die htaccess die du da oben gepostet hast, kann man da noch nen redirect rein haun, das man dann stattdessen auf ne andere Seite weitergeleitet wird? Gruß, und danke schonmal! Kori

08.09.2007, 20:46
Kori Erfahrener Benutzer Registriert seit: 16.03.2004 Beiträge: 170	Hab nun .htaccess File gemacht und reingeschrieben order allow,deny deny from partnerseite.net allow from all dann hab ich bei partnerseite ma ne seite von mir genommen, und angeklickt so das ich den ref hatte, der eigl verboten sein sollte, aber ich kom trotzdem auf die Seite warum?

08.09.2007, 22:12
CIX88 Gast Beiträge: n/a	Wozu ich wohl ein Beispiel gemacht habe ? Und dort wird der User_Agent ermittelt, nichts mit ref etc...

08.09.2007, 22:32
Adminator Benutzer Registriert seit: 22.02.2007 Beiträge: 51	die Übermittlung des Ref's kann unterdrückt werden, die des User_Agent auch. Am besten/sichersten ist es die IP des Bots per htaccess zu sperren (falls es eine feste ist). Du könntest jedoch auch die maximal klickzahl pro ip begrenzen (dann könntest du jedoch probleme bei usern hinter proxy's haben) __________________ Ich würd so gern die Welt verändern, aber Gott gibt mir den Quellcode nicht. - ALGOPIA.

08.09.2007, 23:56
CIX88 Gast Beiträge: n/a	Also die meisten Bots haben User-Agent. Mit IPs ist allerdings eine ziehmliche "fummelei" und kann auch nach hinten los gehen. Aber du kannst gerne über 1300 IPs z.B. von Yahoo sperren Aber bevor man rumbastelt, sollte man sich zuerst die eigenen Logs anschauen, und darauf wird dann die Sperre aufgebaut. Wenn nichts gelogt wird sind alle Maßnahmen für die Katze.

09.09.2007, 10:41
Kori Erfahrener Benutzer Registriert seit: 16.03.2004 Beiträge: 170	die haben nen Ref, jedesmal, ich müsste also nur source dafür haben, aber wie gesagt der da oben, für htaccess funktioniert leider nicht. Mein Trade Script hat schon nen paar Settings drin mit "repeated ips max" und "max clicks" usw, und kickt ja auch schon ordentlich ips, aber er hat anscheind unendlich ips, oder lässt normale besucher javascript ausführen oder sonst was. Also mitlerweile würds mir auch reichen wenn der source da oben order allow,deny deny from partnerseite.net allow from all funktionieren würde, aber ist der so nun schon korrekt? weil klappt bei mir halt nicht, oder was mach ich falsch? Best Grüße, Kori

09.09.2007, 11:12
robo47 Moderator Registriert seit: 03.09.2004 Beiträge: 11.792 PHP-Kenntnisse: Fortgeschritten	deny from partnerseite.net würde bedeutet, dass wenn der user die IP hat die der server hat unter der partnerseite.net läuft, dann dürfte er nicht zugreifen. __________________ robo47.net - Blog, Codeschnipsel und mehr \| Caching-Klassen und Opcode Caches in php \| Robo47 Components - PHP Library extending Zend Framework