Inhalt von einer webseite kopieren

indian · 02.05.2008, 00:24

Hi

ich suche schon seit monaten nach solch einer loesung.

Auf der folgenden webseite ist eine liste von filmen
The movie starting with AA toALL

Wenn man auf denn link des jeweiligen Filmes clickt bekommt folgende daten

AA AB LAUT CHALEN (1999)
Aakshey Khanna, Rajesh Khanna, Aishwarya Rai
Suman Ranganathan, Navin Nischol, Satish Kaushik
Directed By: Rishi Kapoor
Produced By: Randhir Kapoor, Rishi Kapoor, RajivKapoor
Music By: Nadeem Shravan

1. Zeile: titel in der klammer () das release jahr
2-3. Zeile: Schauspieler liste
4. Regisseur
5. Produzent
6. Musik Regiseur

jedoch sind das zuviele links und ich moechte das nicht als eintippen ueber 12000 filme. Dauert monate. Ich schaffe es einfach nicht ein script zu schreiben welches einfach denn jweiligen link durchgeht und denn inhalt in die mysql datenbank schreibt

ist das irgendwie ueberhaupt moeglich ?? Gibt es evtl schon ein script welches das kann und ich es modifizieren kann ?

bitte dringend um hilfe

Indian

agrajag · 02.05.2008, 01:23

Ja das ist technisch möglich.

Das ist aber nicht nur eine technische Frage sondern auch 'ne rechtliche oder moralische

Darfst du die Liste kopieren? Falls ja, einfach mal fragen, ob sie das auch in einem einfacher kopierbaren Format haben. (CSV, MySQL-Dump...).

Falls kein einfacheres Format zur Verfügung steht:
Seite einlesen (fopen(), fread() oder file_get_contents()) entsprechende Links mit z.b. preg_match(), scanf oder strpos() rausparsen und wiederum deren Inhalte öffnen, parsen und speichern...

indian · 02.05.2008, 22:00

thanks

aber meine php kentnisse sind nicht so gut.. dachte es gibt etwas aehnliches was ich modifizieren kann

hab das was du aufgezaehlt hast probiert bekomme es leider nicht hin

David · 02.05.2008, 22:20

Und die Betreiber der Site bieten Dir kein geeignetes Datenformat für einen Export an?

indian · 03.05.2008, 00:03

nein... die haben selbst kein datenformat angelegt sondern jeden film in eine eigene html seite gespeichert (ca 6000 dateien) und die weitere Entwicklung eingestellt.

phpler · 03.05.2008, 12:00

Zitat:

Zitat von indian

nein... die haben selbst kein datenformat angelegt sondern jeden film in eine eigene html seite gespeichert (ca 6000 dateien) und die weitere Entwicklung eingestellt.

Das ist wohl selbsterklärend

pacey · 05.05.2008, 13:29

Das sind sehr spezielle Anforderungen. Migrationsskripte wie dieses sind eigentlich immer grundlegende Arbeit. Da wirst du um die Einarbeitung nicht drum rum kommen glaube ich.

So etwas vorgefertigt zu finden und dann auch noch etwas beisammen haben das dir zeitersparnis bringt (im Gegensatz zum selber programmieren) halte ich für schwierig.

indian · 05.05.2008, 18:39

mist dachte das es irgendwas aehnliches schon gibt

ich weiss nicht mal wo ich anfangen soll.. da ich fast null information habe wie ich das realisieren soll

naja danke fuer die Info.

Indian

lazydog · 09.05.2008, 12:47

Hier ein kleiner Anfang:

PHP-Code:

  $adr = 'http://faculty.ist.unomaha.edu/pdasgupta/allmovies/movies_aa.htm';
if ($fp = fopen($adr, 'r')){
    $txt = '';
    while (!feof($fp)) {
        $txt .= fgets($fp, 128);
    }
    fclose($fp);
//    echo $txt;
    $txt = preg_replace('|<body>(.+)</body>|i', "\$1", $txt); 
    $adr_txt = preg_match_all('|.*<a\s*href=[\'"]?(http.+)[\'"]>.*|iU', $txt, $found);
$i = 0;
    echo "<table border='1'>\n";
    echo "<tr><th>Title</th><th>Artists</th><th>Dircted by</th><th>Produced By</th><th>Music By</th></tr>";
    foreach ($found[1] as $link){
        echo "$link<br>";
        $prod = $dir = $music = '';
        echo "<tr>";
        $lar = file($link);
        $title = strip_tags($lar[5]);
        echo "<td>$title</td>";
        $artists = strip_tags($lar[11]);
        for ($i = 12;strpos($lar[$i], ' By') === false;$i ++){
            $artists .= strip_tags($lar[$i]);
        }
        echo "<td>$artists</td>";
        for (;$i < count($lar);$i ++){
            if (stripos($lar[$i], 'Produced By') !== false){
                $prod = trim(str_replace('Produced By:', '', strip_tags($lar[$i])));
            }
            elseif(stripos($lar[$i], 'Directed By') !== false){
                $dir = trim(str_replace('Directed By:', '', strip_tags($lar[$i])));
            }
            elseif(stripos($lar[$i], 'Music By') !== false){
                $music = trim(str_replace('Music By:', '', strip_tags($lar[$i])));
            }
        }
        echo "<td>$dir</td><td>$prod</td><td>$music</td></tr>\n";
    }
    echo "</table>\n";
}

Musst du natürlich noch weiter entwickeln. Zuerst muss wahrscheinlich als oberste Ebene http://faculty.ist.unomaha.edu/pdasg...llmovies/index.html analysiert werden. usw.

Chriz · 11.05.2008, 02:47

Probier doch mal die Amazon API, da hast du auch Zugriff auf Filmdaten.

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Bild verschafft sich platz		HTML, Usability und Barrierefreiheit	14	11.08.2008 23:45
Variable mit externen Inhalt setzen?	errox	PHP Tipps 2008	7	30.05.2008 21:39
Inhalt aus URL in ein Formular kopieren	Andyh	PHP Tipps 2008	6	12.05.2008 17:31
Komplette Webseite bleibt "stehen"	crazyhead	PHP-Fortgeschrittene	4	01.09.2007 17:58
JS: Inhalt von Hiddenfeld in Textfeld kopieren.	Bronks	HTML, Usability und Barrierefreiheit	5	23.05.2006 14:50
Inhalt zentrieren trotz Scrolleiste	max-dhom	HTML, Usability und Barrierefreiheit	5	20.05.2006 17:24
Webseite auslesen	Katrin	PHP Tipps 2006	6	21.04.2006 20:43
[Erledigt] Frage zu Webseite		PHP Tipps 2005-2	1	26.10.2005 21:18
Problem: Text von einer Webseite mit PHP kopieren		PHP Tipps 2005-2	6	05.09.2005 19:20
Mehrsprachige Webseite		PHP Tipps 2005-2	4	08.07.2005 08:19
ZIP Datei auf Server kopieren, entpacken und Inhalt in DB		PHP-Fortgeschrittene	40	06.06.2005 23:33
DB Inhalt vom host zum host kopieren	MadCro	Datenbanken	4	30.11.2004 16:49
komplette Webseite per Formmailer verschicken		Beitragsarchiv	2	11.08.2004 21:59
Inhalt einer Datei einbinden ohne Inhalt anzuzeigen	Corvin	PHP Tipps 2004	4	22.07.2004 09:24

02.05.2008, 00:24
indian Neuer Benutzer Registriert seit: 02.05.2008 Beiträge: 4	Inhalt von einer webseite kopieren Hi ich suche schon seit monaten nach solch einer loesung. Auf der folgenden webseite ist eine liste von filmen The movie starting with AA toALL Wenn man auf denn link des jeweiligen Filmes clickt bekommt folgende daten AA AB LAUT CHALEN (1999) Aakshey Khanna, Rajesh Khanna, Aishwarya Rai Suman Ranganathan, Navin Nischol, Satish Kaushik Directed By: Rishi Kapoor Produced By: Randhir Kapoor, Rishi Kapoor, RajivKapoor Music By: Nadeem Shravan 1. Zeile: titel in der klammer () das release jahr 2-3. Zeile: Schauspieler liste 4. Regisseur 5. Produzent 6. Musik Regiseur jedoch sind das zuviele links und ich moechte das nicht als eintippen ueber 12000 filme. Dauert monate. Ich schaffe es einfach nicht ein script zu schreiben welches einfach denn jweiligen link durchgeht und denn inhalt in die mysql datenbank schreibt ist das irgendwie ueberhaupt moeglich ?? Gibt es evtl schon ein script welches das kann und ich es modifizieren kann ? bitte dringend um hilfe Indian


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

02.05.2008, 01:23
agrajag Moderator Registriert seit: 02.10.2006 Beiträge: 3.820 PHP-Kenntnisse: Fortgeschritten	Ja das ist technisch möglich. Das ist aber nicht nur eine technische Frage sondern auch 'ne rechtliche oder moralische Darfst du die Liste kopieren? Falls ja, einfach mal fragen, ob sie das auch in einem einfacher kopierbaren Format haben. (CSV, MySQL-Dump...). Falls kein einfacheres Format zur Verfügung steht: Seite einlesen (fopen(), fread() oder file_get_contents()) entsprechende Links mit z.b. preg_match(), scanf oder strpos() rausparsen und wiederum deren Inhalte öffnen, parsen und speichern... __________________ Today you...Tomorrow me.

02.05.2008, 22:00
indian Neuer Benutzer Registriert seit: 02.05.2008 Beiträge: 4	thanks aber meine php kentnisse sind nicht so gut.. dachte es gibt etwas aehnliches was ich modifizieren kann hab das was du aufgezaehlt hast probiert bekomme es leider nicht hin

02.05.2008, 22:20
David Erfahrener Benutzer Registriert seit: 05.09.2007 Beiträge: 5.044	Und die Betreiber der Site bieten Dir kein geeignetes Datenformat für einen Export an?

03.05.2008, 00:03
indian Neuer Benutzer Registriert seit: 02.05.2008 Beiträge: 4	nein... die haben selbst kein datenformat angelegt sondern jeden film in eine eigene html seite gespeichert (ca 6000 dateien) und die weitere Entwicklung eingestellt.

05.05.2008, 13:29
pacey Benutzer Registriert seit: 11.04.2008 Beiträge: 64	Das sind sehr spezielle Anforderungen. Migrationsskripte wie dieses sind eigentlich immer grundlegende Arbeit. Da wirst du um die Einarbeitung nicht drum rum kommen glaube ich. So etwas vorgefertigt zu finden und dann auch noch etwas beisammen haben das dir zeitersparnis bringt (im Gegensatz zum selber programmieren) halte ich für schwierig.

05.05.2008, 18:39
indian Neuer Benutzer Registriert seit: 02.05.2008 Beiträge: 4	mist dachte das es irgendwas aehnliches schon gibt ich weiss nicht mal wo ich anfangen soll.. da ich fast null information habe wie ich das realisieren soll naja danke fuer die Info. Indian

09.05.2008, 12:47
lazydog Erfahrener Benutzer Registriert seit: 02.04.2008 Beiträge: 4.032	Hier ein kleiner Anfang: PHP-Code: $adr = 'http://faculty.ist.unomaha.edu/pdasgupta/allmovies/movies_aa.htm'; if ($fp = fopen($adr, 'r')){ $txt = ''; while (!feof($fp)) { $txt .= fgets($fp, 128); } fclose($fp); // echo $txt; $txt = preg_replace('\|<body>(.+)</body>\|i', "\$1", $txt); $adr_txt = preg_match_all('\|.<a\shref=[\'"]?(http.+)[\'"]>.*\|iU', $txt, $found); $i = 0; echo "<table border='1'>\n"; echo "<tr><th>Title</th><th>Artists</th><th>Dircted by</th><th>Produced By</th><th>Music By</th></tr>"; foreach ($found[1] as $link){ echo "$link<br>"; $prod = $dir = $music = ''; echo "<tr>"; $lar = file($link); $title = strip_tags($lar[5]); echo "<td>$title</td>"; $artists = strip_tags($lar[11]); for ($i = 12;strpos($lar[$i], ' By') === false;$i ++){ $artists .= strip_tags($lar[$i]); } echo "<td>$artists</td>"; for (;$i < count($lar);$i ++){ if (stripos($lar[$i], 'Produced By') !== false){ $prod = trim(str_replace('Produced By:', '', strip_tags($lar[$i]))); } elseif(stripos($lar[$i], 'Directed By') !== false){ $dir = trim(str_replace('Directed By:', '', strip_tags($lar[$i]))); } elseif(stripos($lar[$i], 'Music By') !== false){ $music = trim(str_replace('Music By:', '', strip_tags($lar[$i]))); } } echo "<td>$dir</td><td>$prod</td><td>$music</td></tr>\n"; } echo "</table>\n"; } Musst du natürlich noch weiter entwickeln. Zuerst muss wahrscheinlich als oberste Ebene http://faculty.ist.unomaha.edu/pdasg...llmovies/index.html analysiert werden. usw. __________________ Gruss L

11.05.2008, 02:47
Chriz Moderator Registriert seit: 11.05.2008 Beiträge: 6.268	Probier doch mal die Amazon API, da hast du auch Zugriff auf Filmdaten.