Datenbock

Hallo zusammen,

ich habe da ein paar Fragen:

Ich versuche gerade eine Suchmaschine zu erstellen, mit deren Hilfe mit nur einer Eingabe von Suchbegriffen die Ergebnisse von mehrer Seiten speziellen Seiten bekommt.

Ich muss dazu die URLs der jeweiligen Seiten analysieren und die entsprechenden GET Variablen dran hängen.

Bis jetzt funktioniert es auch einwandfrei jedoch folgendes:

Zeitweise kommt es vor, dass ich als Rückmeldung einiger Seiten die Meldung bekomme, dass die Anfrage auf der Gegenseite abgelehnt wurde. Ich gehe davon aus, dass die automatisierte Anfragen unterdrücken. Ist es nun möglich der Gegenseite bei jeder Anfrage andere Clients vorzugauckeln?

Ist es vielleicht anders herum möglich die jeweilige Suche in meiner Suchmaschine gar nicht über meinen Server sondern eher über den Client des Suchenden ablaufen zu lassen (Javascript oder ähnliches)?

Und eine Frage die kaum hierher gehört ich aber dreister Weise dennoch mal stelle:

Kann ein Betreiber einer öffentlichen Seite es verbieten, dass man auf die ohnehin zugänglichen Daten mittels eines solchen Skriptes zugreift? Google macht es doch auch, behaupte ich jetzt mal, nur, dass Google lediglich bestehenden Links folgt und nicht direkt Suchanfragen in die Masken der Betreiberseiten abschießt.

Ich bin gespannt.


MFG


Dennis

Mister Ad

robo47

Warum ? Inhalte sind doch im normalfall verlinkt ? Und dann nimmt man die verlinkten Seiten und liest die aus und immer so weiter

Bewußt gegen das Blocken der Seite verstoßen die nicht will dass du hier inhalte rausschauffelst ohne dass es gewünscht ist ? ... Sorry aber dabei sollte dir keiner helfen.

dass also die Zugriffe vom Client kommen und der dann vielleicht von der Seite geblockt wird und in "echtzeit" im hintergrund ein javascript von dir fremde seiten durchsucht ? ... jedes mal wieder ? Das ist traffic und resourcen-verschwendung ^3 und das würde ich weder als webseitenbetreiber wollen das so jemand bei mir sucht, noch als user der suchmaschine dass über meine ip eine komplette seite erst ausgelesen wird.


Natürlich kann man bots blocken, dafür gibt es 1) die robots.txt an die sich ein bot halten sollte, sonst würde ich ihn gleich als bösen bot ansehen 2) Bot-Trap.de Spamschutz fuer Webmaster mit sowas und anderen tools hält man böse bots von seiner Seite fern, sperrt sie aus etc

Klar kann man als Webseiten Betreiber nicht wollen das der eine million und erste sinnlose bot für eine randgruppen suchmaschine unnötig seine Server-Resourcen, Traffic und Co verschwendet. Ich sperre auch regelmäßig via robots.txt, anhand von IPs (teilweise IP-Bereiche) oder über den verwendeten User_Agent Bots aus, teilweise weil sie MIR einfach keinen mehrwert bringen, teilweise weil ich weis dass über die suchmaschine in 20 Jahren vielleicht 3 Nutzer kommen, teilweise weil es halt einfach irgendeine Form von bösen Bots ist, sei es welche die Inhalte klauen, Emailadressen suchen oder was auch immer.



So nach viel bösen Text, mal zurück zur Suchmaschine:

Wenn du ernsthaft vorhast in irgendeiner Form eine Suchmaschine aufzubauen, die ja auf die Inhalte anderer angewiesen ist, dann solltest du auch nach deren Regeln spielen. Halte dich an die robots.txt, ruf nicht ein paar tausend seiten innerhalb weniger minuten auf, nutze inhalte die offen zugänglich sind (nen bot der bei mir anfängt selbst GET-Parameter zu mainpulieren oder am ende noch POST-requests sendet, wird bei mir klar sofort ausgesperrt).
Bei allem anderen musst du damit rechnen dass früher oder später du unter umständen auch Ärger bekommst, weil von irgendeiner IP aus musst dein Bot ja laufen und die ist entweder die eines Servers oder eines Internet-Anschlusses und es geht eine Abuse-Mail an ISP/Hoster raus.

__________________
robo47.net - Blog, Codeschnipsel und mehr
| Caching-Klassen und Opcode Caches in php | Robo47 Components - PHP Library extending Zend Framework

Datenbock

Also ich glaube, es ist da einiges falsch herübergekommen.

Es geht nicht darum tausende Seiten innerhalb von Minuten/Tagen zu crawlen, sondern das Ergebnis der Suchanfrage expliziet erst dann zu holen, wenn ein suchender danach fragt.

Beispiel:

Es gibt sagen wir mal 10 Branchenbücher. Alle Branchenbücher haben eine Suchmaske alla "WAS" und "WO".

Nun kann der Besucher in mein Suchfenster "WAS" und "WO" eingeben und anstatt jedes Branchenbuch einzeln anzulaufen bekommt er hier das Ergebnis vieler Branchenbücher auf einmal.

MEHRWERT DER SEITENBETREIBER
Damit die Seitenbetreiber nicht leer ausgehen, erhält der Suchende eben nicht die vollständigen Einträge sondern nur einen Hinweis alla "in diesem Branchenbuch bist du und diesem und in diesem und in diesem....hier klicken (Verweis auf branchenbuch) für mehr Details.


BRANCHENBUCH IST NUR EIN BEISPIEL, bevor einige mosern, wer braucht sowas.

robo47

Naja wenn das alles seriös und so ist, dann frag doch einfach bei den Seiten an ?
Wenn sie ein Interesse haben, gibt es vielleicht sogar ne API, weil so wie das für mich bisher aussah willst du ja deren komplette inhalte auslesen und da die bei den unternehmen teilweise unter gewissen lizenzen gekauft sind, nur für eigene verwendung etc, ist das auch rechtlich dann ein problem wenn du inhalte darstellst die das unternehmen nur auf seiner Seite anzeigen darf.

Weil bisher kam das ganze noch zumindest für mich nicht sonderlich seriös rüber:

__________________
robo47.net - Blog, Codeschnipsel und mehr
| Caching-Klassen und Opcode Caches in php | Robo47 Components - PHP Library extending Zend Framework