Problem mit CURL über Proxyserver

Kerigen · 03.10.2011, 14:42

Hallo Zusammen,

ich beschäftige mich z.Z. zum ersten mal mit der Curl Funktion. Nun bin ich auf folgendes Problem gestoßen.

1. Ich stelle eine Anfrage an die Webseite X.
1.1. Von meinem lokalen Server (Xampp/Apache)aus, klappt dies wunderbar.
2. Ich möchte diese Anfrage über ein Proxyserver stellen.
2.2. Es klappt nicht.

Der funktionierene Code über meinen lokalen Server:

PHP-Code:

  $ch= curl_init();

curl_setopt($ch, CURLOPT_URL, "www.webseite.de");
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FILETIME, true);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.1; de; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8" );

$curl_content = curl_exec($ch);

echo $curl_content; 
curl_close($ch);

Der nicht funktionierene Code über den Proxyserver:

PHP-Code:

  $proxy_ip="XXX.X.XXX.XXX";
$proxy_port="XX";
    
$ch= curl_init();
 
curl_setopt($ch, CURLOPT_URL, "www.webseite.de");
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, true);
curl_setopt($ch, CURLOPT_PROXY,$proxy_ip); 
curl_setopt($ch, CURLOPT_PROXYPORT,$proxy_port);
curl_setopt($ch, CURLOPT_FILETIME, true);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2");*/

$curl_content = curl_exec($ch);

echo $curl_content; 
curl_close($ch);

Hierbei habe ich zwei verschiedene Fehlermeldungen:

1. Wenn ich HTTPPROXYTUNNEL auf true setze bekomme ich überhaupt keine Rückmeldung

2. Wenn ich HTTPPROXYTUNNEL auf false setze bekomme ich die Fehlermeldung:

HTTP/1.1 403 Forbidden Date: Mon, 03 Oct 2011 12:01:19 GMT Server: Apache X-Content-Type-Options: nosniff Expires: Tue, 27 Apr 1971 19:44:06 GMT Cache-Control: no-cache X-Frame-Options: SAMEORIGIN Content-Length: 0 Content-Type: text/html; charset=utf-8

Und hier stehe ich nun auf dem Schlauch.
Ich habe versucht aus der Fehlermeldung schlau zu werden. Ohne Erfolg!

Was habe ich dafür schon probiert:
1. PHP Doku über Curl durchgelesen.
2. Nach der Bedeutung für die Fehlermeldung gesucht. Die Bedeutung von 403 Forbidden ist mir bekannt. Ich habe nur nicht den passenden Zusammenhang zu meinem Problem gefunden.
3. Rumgooglen hat auch nichts genützt.

Meine evtl. Vermutung war:
Der einzige Unterschied zwischen der Lokalen- und Proxyanfrage ist das mitsenden von Cookies. (Denke ich zumindest

)

Daher habe ich folgendes probiert (Hat auch nicht geklappt):

PHP-Code:

  $proxy_ip="XXX.X.XXX.XXX";
$proxy_port="XX";
    
$ch= curl_init();
 
curl_setopt($ch, CURLOPT_URL, "www.webseite.de");
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, true);
curl_setopt($ch, CURLOPT_PROXY,$proxy_ip); 
curl_setopt($ch, CURLOPT_PROXYPORT,$proxy_port);
curl_setopt($ch, CURLOPT_COOKIEJAR, "cookies/cookie.txt");
curl_setopt($ch, CURLOPT_COOKIEFILE, "cookies/cookie.txt");
curl_setopt($ch, CURLOPT_FILETIME, true);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2");

$curl_content = curl_exec($ch);

echo $curl_content; 
curl_close($ch);

Den gewünschten Inhalt des Cookies habe ich mit Wireshark abgefangen:

HTTP/1.1
Host: www.webseite.de
User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: de-de,de;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip, deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Connection: keep-alive
Cookie: "Die Cookie Information"

Das ist auch der einzige Text in meiner Cookie.txt (Ist das so korrekt? habe ich noch nie gemacht)

Ich hoffe Die Beschreibung meines Problems war so inordnung.
schon einmal vielen, vielen, vielen Dank im vorraus.

Gruß
Kerigen

php1704 · 03.10.2011, 15:38

Bist du sicher, dass das Forbidden nicht vom Proxy kommt?

Grüße.

Kerigen · 03.10.2011, 23:52

Hi,

vielen Dank für die schnelle Antwort!

Sicher bin ich mir nicht von welchem Server aus die Meldung kommt. Wie könnte ich dies denn feststellen?

Gruß
Kerigen

php1704 · 04.10.2011, 15:22

Könntest dir die den Header anschauen den du bekommst.

Oder den Proxy mit dem Browser testen.

Grüße.

tr0y · 05.10.2011, 00:45

Zitat:

Zitat von CURLdocs

--proxytunnel

When an HTTP proxy is used (-x, --proxy), this option will cause non-HTTP protocols to attempt to tunnel through the proxy instead of merely using it to do HTTP-like operations. The tunnel approach is made with the HTTP proxy CONNECT request and requires that the proxy allows direct connect to the remote port number curl wants to tunnel through to.

403 vom Proxy -> Falsches Login(?) / gesperrte IP
403 vom Zielhost -> gesperrte Proxy-IP

Kerigen · 13.10.2011, 17:26

Hallo zusammen,

ich bin leider noch zu keiner Lösung gekommen. Das 404 Forbidden kommt definitiv nicht vom Proxy.

viele Grüße
Kerigen

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
[Erledigt] Timestamp Problem bei PHP-Script über Cronjob	hoffmann	PHP-Fortgeschrittene	1	16.06.2010 13:29
[Erledigt] Benutzerabfrage über .csv Datei Problem	drproof	PHP Tipps 2010	2	31.05.2010 10:53
[Erledigt] MySQL count(distinct) über mehrere Spalten mit GROUP BY Problem	DJwebdesign	Datenbanken	6	06.03.2010 16:05
[Erledigt] Problem bei delete über 2 tables	fulltilt	PHP Tipps 2009	3	24.02.2009 22:29
[Erledigt] curl post problem	Screeze	PHP Tipps 2009	5	31.01.2009 10:01
Problem mit SQL-Abfrage über 2 Tabellen	lamp	Datenbanken	1	26.01.2009 13:09
Problem über Variableübergabe zwischen Views	waldsee	PHP Tipps 2009	7	12.01.2009 11:06
Curl mehrere URLs öffnen in einer Curl Session.	Buschdieb	PHP Tipps 2008	8	20.12.2008 13:01
HTTP Request über Proxyserver leiten	blaus	PHP-Fortgeschrittene	4	04.04.2008 07:59
Problem: Include-Befehl über Usemap	TheDevilOfArt	PHP Tipps 2006	4	19.04.2006 18:58
Problem mit Updatescript über Cronjob	SSJ4Vegeta	PHP Tipps 2006	17	29.03.2006 15:19
[Erledigt] Problem mit dem Füllen einer Tabelle über Formular		PHP Tipps 2006	18	10.01.2006 12:51
über PHP Daten in MySQL Tabellen updaten -- Problem		PHP Tipps 2004	4	27.09.2004 21:34

03.10.2011, 14:42
Kerigen Neuer Benutzer Registriert seit: 03.10.2011 Beiträge: 8 PHP-Kenntnisse: Fortgeschritten	Problem mit CURL über Proxyserver Hallo Zusammen, ich beschäftige mich z.Z. zum ersten mal mit der Curl Funktion. Nun bin ich auf folgendes Problem gestoßen. 1. Ich stelle eine Anfrage an die Webseite X. 1.1. Von meinem lokalen Server (Xampp/Apache)aus, klappt dies wunderbar. 2. Ich möchte diese Anfrage über ein Proxyserver stellen. 2.2. Es klappt nicht. Der funktionierene Code über meinen lokalen Server: PHP-Code: $ch= curl_init(); curl_setopt($ch, CURLOPT_URL, "www.webseite.de"); curl_setopt($ch, CURLOPT_HEADER, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_FILETIME, true); curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.1; de; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8" ); $curl_content = curl_exec($ch); echo $curl_content; curl_close($ch); Der nicht funktionierene Code über den Proxyserver: PHP-Code: $proxy_ip="XXX.X.XXX.XXX"; $proxy_port="XX"; $ch= curl_init(); curl_setopt($ch, CURLOPT_URL, "www.webseite.de"); curl_setopt($ch, CURLOPT_HEADER, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, true); curl_setopt($ch, CURLOPT_PROXY,$proxy_ip); curl_setopt($ch, CURLOPT_PROXYPORT,$proxy_port); curl_setopt($ch, CURLOPT_FILETIME, true); curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2");/ $curl_content = curl_exec($ch); echo $curl_content; curl_close($ch); Hierbei habe ich zwei verschiedene Fehlermeldungen:* 1. Wenn ich HTTPPROXYTUNNEL auf true setze bekomme ich überhaupt keine Rückmeldung 2. Wenn ich HTTPPROXYTUNNEL auf false setze bekomme ich die Fehlermeldung: HTTP/1.1 403 Forbidden Date: Mon, 03 Oct 2011 12:01:19 GMT Server: Apache X-Content-Type-Options: nosniff Expires: Tue, 27 Apr 1971 19:44:06 GMT Cache-Control: no-cache X-Frame-Options: SAMEORIGIN Content-Length: 0 Content-Type: text/html; charset=utf-8 Und hier stehe ich nun auf dem Schlauch. Ich habe versucht aus der Fehlermeldung schlau zu werden. Ohne Erfolg! Was habe ich dafür schon probiert: 1. PHP Doku über Curl durchgelesen. 2. Nach der Bedeutung für die Fehlermeldung gesucht. Die Bedeutung von 403 Forbidden ist mir bekannt. Ich habe nur nicht den passenden Zusammenhang zu meinem Problem gefunden. 3. Rumgooglen hat auch nichts genützt. Meine evtl. Vermutung war: Der einzige Unterschied zwischen der Lokalen- und Proxyanfrage ist das mitsenden von Cookies. (Denke ich zumindest ) Daher habe ich folgendes probiert (Hat auch nicht geklappt): PHP-Code: $proxy_ip="XXX.X.XXX.XXX"; $proxy_port="XX"; $ch= curl_init(); curl_setopt($ch, CURLOPT_URL, "www.webseite.de"); curl_setopt($ch, CURLOPT_HEADER, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, true); curl_setopt($ch, CURLOPT_PROXY,$proxy_ip); curl_setopt($ch, CURLOPT_PROXYPORT,$proxy_port); curl_setopt($ch, CURLOPT_COOKIEJAR, "cookies/cookie.txt"); curl_setopt($ch, CURLOPT_COOKIEFILE, "cookies/cookie.txt"); curl_setopt($ch, CURLOPT_FILETIME, true); curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2"); $curl_content = curl_exec($ch); echo $curl_content; curl_close($ch); Den gewünschten Inhalt des Cookies habe ich mit Wireshark abgefangen: HTTP/1.1 Host: www.webseite.de User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8 Accept-Language: de-de,de;q=0.8,en-us;q=0.5,en;q=0.3 Accept-Encoding: gzip, deflate Accept-Charset: ISO-8859-1,utf-8;q=0.7,;q=0.7 Connection: keep-alive Cookie: "Die Cookie Information" Das ist auch der einzige Text in meiner Cookie.txt (Ist das so korrekt? habe ich noch nie gemacht) Ich hoffe Die Beschreibung meines Problems war so inordnung. schon einmal vielen, vielen, vielen Dank* im vorraus. Gruß Kerigen Geändert von Kerigen (03.10.2011 um 14:49 Uhr).


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

03.10.2011, 15:38
php1704 Erfahrener Benutzer Registriert seit: 13.05.2011 Beiträge: 188 PHP-Kenntnisse: Fortgeschritten	Bist du sicher, dass das Forbidden nicht vom Proxy kommt? Grüße.

03.10.2011, 23:52
Kerigen Neuer Benutzer Registriert seit: 03.10.2011 Beiträge: 8 PHP-Kenntnisse: Fortgeschritten	Hi, vielen Dank für die schnelle Antwort! Sicher bin ich mir nicht von welchem Server aus die Meldung kommt. Wie könnte ich dies denn feststellen? Gruß Kerigen

04.10.2011, 15:22
php1704 Erfahrener Benutzer Registriert seit: 13.05.2011 Beiträge: 188 PHP-Kenntnisse: Fortgeschritten	Könntest dir die den Header anschauen den du bekommst. Oder den Proxy mit dem Browser testen. Grüße.

13.10.2011, 17:26
Kerigen Neuer Benutzer Registriert seit: 03.10.2011 Beiträge: 8 PHP-Kenntnisse: Fortgeschritten	Hallo zusammen, ich bin leider noch zu keiner Lösung gekommen. Das 404 Forbidden kommt definitiv nicht vom Proxy. viele Grüße Kerigen