Kölner

Hallo an die Coder,

Aufgabenstellung ist:

es liegen einige Mio. an URL / TLD's in einer Datenbank die leider lange nicht mehr
vom Inhaber verwaltet worden ist (hatte Metaspidersystem) da sich der Laden
aufgelöst hat. Nun spricht er mich an ob und wie man per MySQL und PHP oder
so diese TXT daten einlesen und prüfen lassen kann.

Hintergrund, der hat wieder ne Software am Start (sowas wie Google) und will
die Datenbank / den Spider damit füttern. Leider kann der Spider da wohl keine
URL anfahren und ein 404 erkennen und listet dann eine tote TLD auf und der
Kunde versaut sich damit schon direkt die Datenbestände.

Nun sucht er ein Script oder ne JS oder so wo er da mal eben 3 Mio. URL's
reinbomben kann per Upload und die dann prüfen lassen kann.

Die ACK sind sollen drin bleiben und als TXT wieder exportierbar sein.

Die NACK toten sollen in Blacklist kommen die er ebenfalls als TXT haben will.

Das alles aber online, da er wohl in USA die USA links prüfen lässt und die
DE irgendwo bei 1&1 oder (warum auch immer).

Also ne Sache in PHP die er einfach installen kann und dann Liste lädt und
dann nach entsprechender Zeit wieder abloaden kann.


Hat da schonmal einer was in der Art gesehen ??? oder sogar griffbereit ???

Einfach mal Link posten, ich gebe das nur weiter. JAJAJA ich hab schon gut
gegoogelt um was zu findne wo passt, aber alles nur so Spielzeuge wie eine
eigenes Minigoogle oder so...


Gruss in die Runde

Mister Ad

robo47

Was steht denn zur Verfügung ? Eigene(r) Server ? Mit Webspace und php+mysql ist das nämlich nicht sinnvoll umsetzbar.

Ich würde auch mal behaupten php ist für sowas eigentlich eher das falsche.

Gehen wir mal von 1 Sekunde / Seite aus sind wir bei einer Millionen Urls schon bei ~ 11 Tagen die so ein Script braucht wenn es seriel arbeitet.

Während der normale Request wohl keine Sekunde dauern sollte (jenachdem was du ausser header überprüfen machst), wirst du bei der Anzahl an Urls auch einige dabei haben die nicht oder schwer erreichbar sind, jenachdem wie hoch du dafür das Timeout einstellst bedeutet das dann XX Sekunden für jede dieser Urls wo dein script nichts macht ausser warten.

Da man wenn man nur wissen will ob die Seite nen 404 auspuckt keine GET-Requests machen muss, sondern nur HEAD-Requests, sollte der Traffic eigentlich recht gering sein.

Bei normalen Webspace hat man 15 - 60 Sekunden Laufzeit für die Scripte und zwischen 8 und 16MB RAM ... nicht wirklich effektiv, noch dazu sehen die wenigsten Hoster es gerne wenn man dauerlaufende Scripte hat die Massen an Performance fressen.

Was man sich mal anschauen könnte wäre wohl vielleicht PHP: curl_multi_init - Manual , ich weis allerdings nicht wie gut das nach oben hin skaliert.

Alles in allem würde ich sagen, das ist kein Job für PHP.

Wäre vielleicht sinnvoller hier anzusetzen, ein Spider der nichtmal Basics wie HTTP-Status-Codes kann ... klingt nach Müll

__________________
robo47.net - Blog, Codeschnipsel und mehr
| Caching-Klassen und Opcode Caches in php | Robo47 Components - PHP Library extending Zend Framework

Kölner

Danke für deine ausführung, hab dem eine Desktop-Lösung angeboten wo er
unter windows seine DSL Strippe ausnudeln kann zum Flatrate Preis. Der Server
bei dem raucht eh heut oder morgen total ab bei den Massen an Daten.

Der reichert die ja noch mit Metadaten aus den Webseiten an, also mal Faktor
20 der ganze Salat und deshalb will oder kann er die Domains nicht ohne Vorprüfung
reinholen.

Hab das mal mit Arelis probiert und W2k, importieren, prüfen auf 10 Threads
und tote löschen. Ne Sache die man über Nach brummen lassen kann und
recht günstig ist. Nun muss ich n ur noch ne Windows App finden die genau
NUR sowas kann und dann soll er sich eine Windows-Büchse anmieten und da
kann er das dann drauf machen.
Du bist nicht der erste der da Bedenken angemeldet hat, sicher alles machbar,
aber dann sollen die auch die Rechnungen kennen lernen wenn immer alles extra
für die Leute gecoded werden soll und da brennen den meisten die Gesichtszüge
schnell ab.

Ich suche z.B. eine PHP System welches Webseiten überwacht, nicht auf
Verfügbarkeit, sonder ob sich der Inhalt geändert hat, finde da aber auch nur
Material für Windows wie den WebSiteWatcher.
Service Scripte sind echt Mangelware, aber die würden vielen nützen. wenn
wer sowas mal als PHP coden sollte bin ich dabei. falls es einer habeen sollte
so einfach mal melden, das juckt mich persönlich sehr... Alter Hut, aber auch
nix wirklich brauchbares zu bekommen oder zu ergoogeln...

Gruss und danke