strgg

Hallo zusamme

Verständnisfrage Ajax/JS

Durch Firebug ist mir schon lange aufgefallen, dass der Quelltext/Browser einer Webseite markant reduziert ist im Vergleich zu der Darstellung im Firefox bezogen auf Javascript & Ajax-Elemente.

Als konkretes Beispiel JS-timed div's: im Sourcecode vom Browser sind diese versteckt bis zum Eventtrigger. Nimmt man hingegen den Firebug und analysiert/bearbeitet den kompletten body, so kriegt man bereits eine Voransicht der faktisch im "Sourcecode-Browser" inhärent lauernden Prozesse/Schnippsel.

Warum denke ich, dass dies in gewissen Fällen von Bedeutung ist?
Ich frage mich nun, welche Ansicht unser Crawler vorgesetzt bekommt oder ob diese gar, das richtige Know-how vorausgesetzt, der vollumfänglichen Ansicht von Firebug nahe kommt. Ich für meinen Teil konnte bisher noch nie solche Elemente vorzeitig inspizieren/crawlen

Theoretisch sollte man ja die Trigger oder Events mit PH-CURL/Xpath ansprechen können oder gar überschreiben, nur befürchte ich das dies wahrscheinlich extrem kompliziert werden wird.

Wäre interessant zu erfahren, ob dieser Bereich ev. gar nich so schlimm ist (für Anfänger) und wie sich die Abgrenzung Ajax/JS-Crawling zu PHP-Crawling, falls überhaupt, vollzieht.

Grüsse

Mister Ad

mepeisen

Sortiere bitte deine Gedanken und stelle deine Fragen nochmal. Der Crawler sieht das, was du siehst. Firebug zeigt dir immer den aktuellen Stand an inklusive aller potentieller Änderungen über JavaScript. Der Crawler sieht das nur, wenn er das JavaScript ausführt bzw. sich um dieses JavaScript verstehen würde.

__________________
www.php-maven.org PHP und Maven vereint: Build/Deploy/Produktion/Konfiguration, Projekt Management, CI, PHPUnit, zahlreiche Frameworks
Twitter @ https://twitter.com/#!/mepeisen und Facebook @ http://t.co/DZnKSUih

Dark Guardian

Der Crawler sieht das was du siehst wnen du in dienem Browser auf "Quelltext anzeigen" klcikst.

Außer er führt das JavaScript aus...

__________________
"Alles im Universum funktioniert, wenn du nur weißt wie du es anwenden musst".

strgg

Und eine Library/Module das wie ein Browser JS interpretiert existiert für einen Crawler nicht?

Ich denke nur, dass es einfacher wäre wenn der Crawler, anstatt die Events einzeln zu laden, die ganze Umgebung bereits wie ein Browser, welcher Javascript interpretiert, präsentiert kriegt. Da sollte es doch was geben wie ein Javainterpetierendes Modul/Webbrowser für PHP. Zumindest jedoch eine Library welche alle nur bekannten Javascript-triggers automatisch durchgeht und auslöst.

Oder etwa nicht??

Ist in Planung


Thanks

nikosch

Welchen Sinn sollte das haben? Javascript wird vorwiegend verwendet, um Nutzeraktionen und zeitlich versetzte Aktionen zu steuern. Beides macht für eine Maschine, die Plaintext abgreift keinen Sinn. Oder wie lange soll der Crawler denn bitte warten, bis etwas passiert?

__________________
--
One pixel is still too big. Please make it smaller. ASAP.

Initiative Mittelstand.
Die wichtigste Gestaltungsregel im Screendesign ist Pi mal Daumen des Arbeitgebers.
--

robo47

wie welcher browser ? in welcher version ? es gibt durchaus standalone-implementierungen von javascript wie mozillas rhino. Und was hindert einen via z.b. Selenium oder ähnlichem einen echten browser fernzusteuern ? :P
Und wo ist für einen crawler eigentlich das problem ? der hat doch den kompletten html-quelltext vor sich, den interessiert display: none; doch in keinster weise oder ? Und alles weitere was via ajax durch klicks und so reinkommt, da muss man vorsichtig sein wenn der crawler nicht weis was er da tut beim ausführen


JAVA != JavaScript !!
Und was ist ein "bekannter Javascript-trigger" ?

Ein crawler der einfach alle javascript-funktionen die er findet , on-click/submit-events und soweiter ausführt ? sehr schön wenn dann z.b. post-requests dadurch getriggert werden in form von kontaktanfragen, suchen, anträge zum sperren von beiträgen oder sonstwas ... so einen crawler wollte ich auf meiner seite nicht, um sowas umzusetzen bräuchte der wohl ne gute KI die erkennen kann was sie da macht und ich denke das ist aktuell noch sehr unrealistisch

__________________
robo47.net - Blog, Codeschnipsel und mehr
| Caching-Klassen und Opcode Caches in php | Robo47 Components - PHP Library extending Zend Framework

strgg

Die Entwicklung scheint klar dahin zu gehen, dass Ajax und Javascript zunehmende Verwendung bei Webprojekten findet/finden wird (GoogleA, Web2.0).

Ich stimme zu, dass der grösste Nutzen wenigen "Randdisziplinen" wie z.B. dem Crawlen vorbehalten ist, ansonsten dafür keine Notwendigkeit besteht.
Stichwort Tabs & Slides, Google Maps, Onclickevents, etc. halten in bedeutendem Masse Content für Crawler zurück in sofern dieser nicht mühsam mit den einzelnen Triggern mühsam interagiert.

Wundert mich halt, hinsichtlich der Segnung von komfortablen Klassen und Modulen für PHP, ob hier nicht auch welche für existieren. Wäre natürlich schön

mepeisen

Robots.txt ist das Stichwort, das du suchst. Ansonsten gibt es für dererlei Dienste immer gut dokumentierte XML-Schnittstellen und eigenständige PHP-Bibliotheken.

__________________
www.php-maven.org PHP und Maven vereint: Build/Deploy/Produktion/Konfiguration, Projekt Management, CI, PHPUnit, zahlreiche Frameworks
Twitter @ https://twitter.com/#!/mepeisen und Facebook @ http://t.co/DZnKSUih

Dark Guardian

Selbst wenn sie existieren würden wäre das alles andere als "schön". Grund genug per Robots.txt alle Crawler auszuschließen die so etwas tun.

Google hat in Zukunft vor, Ajax Anfragen mit in die Crawler einzubeziehen, aber nur speziell solche die dafür gekennzeichnet sind. Wie robo47 schon bemerkt hat würd eein Crawler der blind jedes JS durchläuft eher Probleme auslösen als "helfen".


Demnächst kommen Crawler die einfach alle Formular 200 mal abschicken um zu sehen ob sie auf einer Seite mit "wertvollem" Content landen......

__________________
"Alles im Universum funktioniert, wenn du nur weißt wie du es anwenden musst".

strgg

Muss zugeben, kenne ich bisher nur im Zusammenhang mit Crawlern aussperren mittels disallow.
Klingt gut, Danke mepeisen. In XML und Xpath hab ich mich bereits eingelesen, falls Du jedoch Links oder Literatur, auch zu anderen XML-Schnittstellen, hast freue ich mich sehr darüber.

Links zu PHP-Bibliotheken sehr gerne falls möglich, genau was ich gesucht habe

Irgendwie fasziniert mich halt dieses Teilgebiet. Danke für alle Hinweise

Grüsse


Da hast Du mich klar auf Deiner Seite. Denoch bin ich der Überzeugung, dass KI bei der Selektion von programmierten Triggern dem Menschen nicht viel nachstehen sollte. Schlussendlich durchforsten wir selbst ja auch den Code nach vorgelegten Mustern und selbst die Namensgebung der div's dient nicht der Interpretation sondern allein der Identifikation.

Beim Crawlen gibt es sehr viele Gebiete die vom Anbieter erwünscht sind (API) z.B. finanzdaten excerpt von google-finance, yahoo-finance, pokerhistories, datamining im allgemeinen, Indizierungen von Branchen, anonymisierte Statistiken, Youtube-embedding.

Ist halt faszinierend was mit PHP alles möglich ist auch wenn Crawling effizienterweise i.m.o in anderen EU wie Perl oder Ruby stattfinden sollte.