7Style

Hallo leute,
habe folgendes Problem:

ich habe einen Pageranking script programmiert die Google Webseite parst und mir die Position der Seite zurückliefert.

aber leider speert google nach bestimmten Abfragen meine IP.

meine Frage ist :
kann man die Google IP-Sperre umgehen ?
wenn ja wie Legal ist das überhaupt.

wenn nicht gibts eine alternative Lösung meines Problems ?

Danke ...

Mister Ad

lstegelitz

Caching?

Nur einmal pro Tag (pro Stunde) den Rang abrufen... Google sperrt dich, weil du zuviele Anfragen in zu kurzer Zeit machst.

__________________
Über 90% aller Gewaltverbrechen passieren innerhalb von 24 Stunden nach dem Konsum von Brot.

7Style

hmmm, aber die Webseite hat ca. 50 unterseiten. und ich wollte alles aufeinmal abfragen. es dauert nichtmnal 2 MINUTEN. aber google Sperrt die IP schon ab 10'en abfrage ?

würde eine sleep(10) odersowas helfen ?

lstegelitz

Prinzipiell ja (wobei die Dauer von Google abhängt, kenne die Limits nicht). Fragt sich noch: willst du 50 * 10 Sekunden warten, bevor alle Informationen endlich da sind?
Was ist mit "data on demand" - ruf nicht alles auf einmal ab, sondern nur dort (und nur dann) wo/wenn du es brauchst (wenn es aktuell abgefragt wird). In diesem Zuge kannst du dann auch einen Cache einbauen:
- gibt es einen Cacheeintrag?
- wenn ja, ist der noch aktuell?
- wenn nicht (oder nicht aktuell) -> Daten von Google holen und in Cache packen.

Wie rufst du die Daten aus Google ab? Benutzt du eine der zahlreichen Google API's?

__________________
Über 90% aller Gewaltverbrechen passieren innerhalb von 24 Stunden nach dem Konsum von Brot.

ChrisB

Nutze die vorgesehenen APIs.
Dass Google es nicht mag, wenn seine Webseite dilettantisch gespidert wird, sollte wohl verständlich sein.

*close*

__________________
RGB is totally confusing - I mean, at least #C0FFEE should be brown, right?

nikosch

http://www.google.de/accounts/TOS?loc=DE
http://www.google.de/robots.txt
Sollte alle Fragen beantworten.

__________________
--
One pixel is still too big. Please make it smaller. ASAP.

Initiative Mittelstand.
Die wichtigste Gestaltungsregel im Screendesign ist Pi mal Daumen des Arbeitgebers.
--

nikosch

Ich hab keinen Bock auf private Mauschelein betr. dieses Themas:
Zwischen dürfen, machen und öffentlich drüber diskutieren ist ein Unterschied. Genau wie zwischen denken und wissen. Was Du im Kämmerlein machst, ist uns herzlich egal. Die Konsequenzen trägst Du. Aber hier werden wir nichts illegales empfehlen, schon gar nicht eine Bauanleitung geben und erst recht nicht, wenn Du schon selbst fragst, ob das überhaupt legal ist.
Andere machen es auch warübrigens auch noch nie eine Legitimation für irgend ein falsches Verhalten.

http://de.wikipedia.org/wiki/Broken-Windows-Theorie

PS: Ich bin weder Ihr, noch Forumbetreiber.

__________________
--
One pixel is still too big. Please make it smaller. ASAP.

Initiative Mittelstand.
Die wichtigste Gestaltungsregel im Screendesign ist Pi mal Daumen des Arbeitgebers.
--