Hallo,
ich habe - wie diverse andere hier im Forum - einen Crawler zusammengebastelt. Der Crawler durchsucht Webseiten nach Links. Ich habe jetzt das Problem, dass der Crawler für eine Webseite mit 20 Links ca. 30-60 Sekunden benötigt. Bei größeren Webseiten kommt manchmal sogar kein Ergebnis. Das Ergebnis sieht dann so aus, dass er alle gefundenen Links auflistet.
Nach eigenen Recherchen habe ich nun gelesen, dass der Prozess des Crawlens im Arbeitsspeicher stattfindet. Diese Variante soll nicht die schnellste und beste sein. Daher soll es die Möglichkeit geben, für den Prozess die Variante mit SQLite Database zu nutzen.
Ich würde gern diese Möglichkeit ausprobieren. Jedoch habe ich die Erwartung, dass ihr mir bitte keine fertige Lösung auf dem Silbertablett liefert (sofern es sowas gibt). Am liebsten wäre eine Anleitung, damit ich jeden Schritt auch nachvollziehen und es selber machen kann. Wie und wo muss ich das Script umschreiben, damit es funktioniert.
ich habe - wie diverse andere hier im Forum - einen Crawler zusammengebastelt. Der Crawler durchsucht Webseiten nach Links. Ich habe jetzt das Problem, dass der Crawler für eine Webseite mit 20 Links ca. 30-60 Sekunden benötigt. Bei größeren Webseiten kommt manchmal sogar kein Ergebnis. Das Ergebnis sieht dann so aus, dass er alle gefundenen Links auflistet.
Nach eigenen Recherchen habe ich nun gelesen, dass der Prozess des Crawlens im Arbeitsspeicher stattfindet. Diese Variante soll nicht die schnellste und beste sein. Daher soll es die Möglichkeit geben, für den Prozess die Variante mit SQLite Database zu nutzen.
Ich würde gern diese Möglichkeit ausprobieren. Jedoch habe ich die Erwartung, dass ihr mir bitte keine fertige Lösung auf dem Silbertablett liefert (sofern es sowas gibt). Am liebsten wäre eine Anleitung, damit ich jeden Schritt auch nachvollziehen und es selber machen kann. Wie und wo muss ich das Script umschreiben, damit es funktioniert.
Kommentar