cURL: Webseite einlesen

13.07.2004, 20:29

Hallo zusammen,

Ziel:
Mit einem PHP-Skript eine url aufrufen, der Server hinter der url soll denken das Skript von meinem Server wär kein Skript ohne ref. etc. sondern mein lokaler Browser!

Ich habe mich ein wenig mit cURL befasst und möchte mit dieser Bibliothek eine Seite einlesen. Es wird die Möglichkeit gegeben einen Timeout zu setzen und man bekommt mit der Fkt. curl_errno oder curl_error eine aussagekräftige Fehlernummer und -meldung. Man hat halt viel mehr Möglichkeiten.

Nun habe ich folgendes Skript, das die Spiegel-Seite einliest. Allerdings werden in der Browser-Ausgabe keine Bilder angezeigt und die Links "falsch" sind. D.h. statt z.B. http://www.spiegel.de/wirtschaft/0,1...2,00.htmlsteht http://192.xxx.x.xxx/wirtschaft/0,1518,308402,00.html drin, also die IP meines internen Webservers.

=> Da die bei Spiegel relative URLs verwenden, die dann von meinem Browser falsch interpretiert werden, weil das für ihn ja "relativ zum Server 192.xxx" heißt.

PHP-Quellcode:

<?php
$string = download("http://www.spiegel.de");

echo $string;

function download($url) {
$ch = curl_init($url);
curl_setopt ($ch, CURLOPT_URL, $url);
curl_setopt ($ch, CURLOPT_HEADER, 0);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec ($ch);
curl_close ($ch);
return $result;
}
?>

==> Hmm, ich will wirklich "nur" die Seite einlesen "as is", also so wenn ich die Seite in meinem Browser anschaue. Ich will ja nicht die Links extra anpassen!

==> Kann ich mit cURL einen lokalen Browser "vorgaukeln", damit er mir die Seite so ausgibt, wenn ich diese direkt im Browser aufrufe?

Danke!

tapferesschneiderlein · 14.07.2004, 00:17

Hallo,

ich nehme an, es hat seinen Sinn, daß Du die Seite nicht einfach direkt aufrufst oder in einen Frame packst ...

Ich würde dem eingelesenen String mit preg_replace() zuleibe rücken; dabei könnte parse_url() hilfreich sein.

Es gibt aber auch ein(en) HTML-Tag, der <base-url> oder so ähnlich heißt, dann beziehen sich die relativen Links auf der Seite auf diesen URL.

PS: Wenn Du das Ziel mit curl_init($url) bestimmst, brauchst Du curl_setopt($ch, CURLOPT_URL, $url) nicht mehr.

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
[Erledigt] Textarea: Einlesen - Problem..	Softyx	PHP Tipps 2008	2	05.07.2008 12:49
änderung einer konfiguration mit curl	emmi	PHP Tipps 2008	12	08.02.2008 09:46
Quelltext einer Webseite in Variable einlesen	DJ Nuno	PHP Tipps 2008	6	14.10.2007 05:05
Komplette Webseite bleibt "stehen"	crazyhead	PHP-Fortgeschrittene	4	01.09.2007 17:58
einlesen und verarbeiten		PHP Tipps 2006	4	28.11.2006 16:04
Datei Upload mit curl?	R.E.M.	PHP Tipps 2006	1	18.09.2006 20:44
Webseite auslesen	Katrin	PHP Tipps 2006	6	21.04.2006 20:43
rss/xml Feeds auf Webseite einbinden		PHP Tipps 2005-2	2	29.10.2005 13:44
[Erledigt] Frage zu Webseite		PHP Tipps 2005-2	1	26.10.2005 21:18
Seite einlesen \|\| file()		PHP Tipps 2005-2	16	07.10.2005 20:32
Mehrsprachige Webseite		PHP Tipps 2005-2	4	08.07.2005 08:19
statt http_request über curl ?	seven-12	PHP Tipps 2005-2	2	12.06.2005 22:47
Zufalls IP per Curl mitgeben	Flor1an	PHP Tipps 2005	4	04.05.2005 22:38
[Erledigt] PHP nachträglich mit CURL Support ausstatten		PHP-Fortgeschrittene	2	20.12.2004 16:19

13.07.2004, 20:29
Gast Beiträge: n/a	cURL: Webseite einlesen Hallo zusammen, Ziel: Mit einem PHP-Skript eine url aufrufen, der Server hinter der url soll denken das Skript von meinem Server wär kein Skript ohne ref. etc. sondern mein lokaler Browser! Ich habe mich ein wenig mit cURL befasst und möchte mit dieser Bibliothek eine Seite einlesen. Es wird die Möglichkeit gegeben einen Timeout zu setzen und man bekommt mit der Fkt. curl_errno oder curl_error eine aussagekräftige Fehlernummer und -meldung. Man hat halt viel mehr Möglichkeiten. Nun habe ich folgendes Skript, das die Spiegel-Seite einliest. Allerdings werden in der Browser-Ausgabe keine Bilder angezeigt und die Links "falsch" sind. D.h. statt z.B. http://www.spiegel.de/wirtschaft/0,1...2,00.htmlsteht http://192.xxx.x.xxx/wirtschaft/0,1518,308402,00.html drin, also die IP meines internen Webservers. => Da die bei Spiegel relative URLs verwenden, die dann von meinem Browser falsch interpretiert werden, weil das für ihn ja "relativ zum Server 192.xxx" heißt. PHP-Quellcode: <?php $string = download("http://www.spiegel.de"); echo $string; function download($url) { $ch = curl_init($url); curl_setopt ($ch, CURLOPT_URL, $url); curl_setopt ($ch, CURLOPT_HEADER, 0); curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); $result = curl_exec ($ch); curl_close ($ch); return $result; } ?> ==> Hmm, ich will wirklich "nur" die Seite einlesen "as is", also so wenn ich die Seite in meinem Browser anschaue. Ich will ja nicht die Links extra anpassen! ==> Kann ich mit cURL einen lokalen Browser "vorgaukeln", damit er mir die Seite so ausgibt, wenn ich diese direkt im Browser aufrufe? Danke!


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

14.07.2004, 00:17
tapferesschneiderlein Erfahrener Benutzer Registriert seit: 30.06.2004 Beiträge: 619	Hallo, ich nehme an, es hat seinen Sinn, daß Du die Seite nicht einfach direkt aufrufst oder in einen Frame packst ... Ich würde dem eingelesenen String mit preg_replace() zuleibe rücken; dabei könnte parse_url() hilfreich sein. Es gibt aber auch ein(en) HTML-Tag, der <base-url> oder so ähnlich heißt, dann beziehen sich die relativen Links auf der Seite auf diesen URL. PS: Wenn Du das Ziel mit curl_init($url) bestimmst, brauchst Du curl_setopt($ch, CURLOPT_URL, $url) nicht mehr.