PHP Script als Browser ausgeben

drieling · 08.08.2007, 11:53

Folgendes Problem, ich rufe mit "file_get_contents" Ergebisseiten von Suchmaschinen auf und filtere die Links heraus.

Klappt alles Wunderbar, nur Yahoo erkennt, das es kein Browser ist und liefert mir komplett andere Ergebnisse als mit Browser.

Codeausschnitt:

Code:

<?php

$strSuchmaschinenUrl = file_get_contents("http://de.search.yahoo.com/search?p=baumschule"); 
$strSuchmaschinenUrl = str_replace(array("<b>", "</b>"), "", $strSuchmaschinenUrl);    

$suchUrl = "www.baumschule.de";

preg_match_all("@<em class=yschurl>(.*)<@isU", $strSuchmaschinenUrl, $arrYahooIndex); 

echo 'Yahoo Index<br><pre>'.print_r($arrYahooIndex[1], TRUE).'</pre>';

?>

Ich möchte nun quasi mitsenden, dass es sich bei dem script um einen Browser handelt und nicht um ein script.

Hat da jemand eine einfache und schnelle Lösung?

mfg
drieling

Ambience · 08.08.2007, 12:11

hmm ich hab sowas noch nie gemacht, aber ich glaube da musst du einen header mitsenden... evtl. hilft dir eine suche bei google nach: http header senden oder http request senden...

vllt. ist auch php.net der richtige anlaufweg...

drieling · 08.08.2007, 14:23

hmm ja es wird sich wohl nicht ganz so einfach machenlassen, ich werde wohl mit Curl arbeiten müssen...

pixelkoenig · 09.08.2007, 08:16

Oder mit ein paar Tricks (naja, einem) rausfinden, welche Header Dein Browser mitsendet (z.B. einfach hier nachlesen: HTTP Header Viewer ) und die gleichen Header in Deiner PHP Datei mitsenden. Wichtig dabei, dass Header immer vor jeglichem HTML Content (also auch vor eventuellen Leerzeichen vor dem ersten php Tag) losgeschickt werden müssen. Kann ich mir alles nicht so schwierig vorstellen.

Viel Erfolg!

Ambience · 09.08.2007, 11:53

Hallo,

demnach sollten die headers dann so aussehen:

PHP-Code:

  header('connection', 'Keep-Alive');
header('accept-language', 'de');
header('accept-encoding', 'gzip, deflate');
header('user-agent', 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322)');

Hatte es aber mit drielings Script ausprobiert, aber es scheint nicht zu funktionieren.

Ambience

drieling · 09.08.2007, 17:52

nein, das scheint nicht zu funktionieren, da file_get_contents wohl einen eigenen header sendet. werd mich morgen nochmal dran setzen, wenn ich ne Lösung habe, dann werde ich es hier posten

badmoon2049 · 10.08.2007, 00:58

in PHP gibt es ne Konstante wo man das einstellen kann, was genau gesendet wird, aber ich weiß nicht mehr welche. Mir ist es nur mal beim Drüberlesen bei php.net aufgefallen

Schau dir mal die Logfiles (des Ziels) an und dort sollte dann was drin stehen wie "php 4....." so haste nen Ansatz

drieling · 10.08.2007, 09:07

hey das hört sich vielversprechend an, ich mach mich mal auf die suche

BERSIM · 18.10.2007, 14:46

Weiß jemand von euch wie man Google oder andere Suchmaschinen-Ergebnisse ausliest?

Papst · 19.10.2007, 09:41

header() funktioniert nicht, weil du mit der header() Funktion headers an den Client sendest (also an denjenigen, der dein script aufruft).
Vom Prinzip müsste es so funktionieren:

PHP-Code:

  <?php
$socket = fsockopen('de.search.yahoo.com', 80, $errno, $errstr)
if (!$socket)
 die($errstr);
 
$send_headers = array();
$send_headers[] = "GET /search?p=baumschule HTTP/1.1\r\n";
$send_headers[] = "Host: de.search.yahoo.com\r\n";
 
foreach ($send_headers as $header) {
  fputs($socket, $header);
}
 
$string = '';
while (!feof($socket)) {
  $string .= fgets($socket);
}
 
fclose($socket);
 
echo $string;
 
?>

Welche Header du genau senden musst, musst halt schauen (Firefox Plugin "Live HTTP HEaders" kann da gut helfen

)

Zitat:

Zitat von Ambience

PHP-Code:

  header('connection', 'Keep-Alive');
header('accept-language', 'de');
header('accept-encoding', 'gzip, deflate');
header('user-agent', 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322)');

die header müssten wenn dann auch so aussehen:

PHP-Code:

  <?php
header('accept-encoding: gzip, deflate');
?>

die 2. Variable von header() sagt der funktion ob vorher gesetzte headers überschrieben werden sollen oder nicht

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Aufrufe von externer Script mittels FSOCKOPEN	phpuser	PHP-Fortgeschrittene	6	04.11.2007 13:47
Diverses aus meinem Apache Logs	robo47	Server, Hosting und Workstations	5	25.05.2007 22:45
Script beendet sich ohne Fehlermeldung	Zahl	PHP Tipps 2006	6	04.06.2006 20:41
Suche coder für script	infiltrate	Trash	7	27.03.2006 08:42
[Erledigt] Hilfe bei Download Verwaltungs Script		PHP Tipps 2005	8	04.05.2005 10:29
Fehler bei Script, welches Ordner erstellt	PsychoEagle	PHP Tipps 2005	3	23.04.2005 16:03
brauche kleine hilfe bei php script	djrace	PHP Tipps 2005	35	21.03.2005 16:17
[Erledigt] Script systemabhängig?		PHP Tipps 2005	8	15.03.2005 09:45
Perl Script von PHP aus aufrufen?		PHP Tipps 2005	9	11.03.2005 01:39
kurze frage zu script im script		PHP Tipps 2005	4	04.02.2005 08:53
PHP Script aus PHP aufrufen	Stümper	PHP Tipps 2004	5	26.09.2004 08:15
"das" Script oder "der" Script??	Simbo	Off-Topic Diskussionen	31	16.09.2004 17:04
Problem beim Ausgeben vom Script		PHP Tipps 2004	9	12.09.2004 15:51
[Erledigt] php script in linux console selbstaufrufen		PHP-Fortgeschrittene	2	07.09.2004 15:36
[Erledigt] PHP Script von Windows auf Linux		PHP-Fortgeschrittene	7	15.06.2004 13:23

08.08.2007, 11:53
drieling Erfahrener Benutzer Registriert seit: 08.08.2007 Beiträge: 549 PHP-Kenntnisse: Fortgeschritten	PHP Script als Browser ausgeben Folgendes Problem, ich rufe mit "file_get_contents" Ergebisseiten von Suchmaschinen auf und filtere die Links heraus. Klappt alles Wunderbar, nur Yahoo erkennt, das es kein Browser ist und liefert mir komplett andere Ergebnisse als mit Browser. Codeausschnitt: Code: <?php $strSuchmaschinenUrl = file_get_contents("http://de.search.yahoo.com/search?p=baumschule"); $strSuchmaschinenUrl = str_replace(array("<b>", "</b>"), "", $strSuchmaschinenUrl); $suchUrl = "www.baumschule.de"; preg_match_all("@<em class=yschurl>(.*)<@isU", $strSuchmaschinenUrl, $arrYahooIndex); echo 'Yahoo Index<br><pre>'.print_r($arrYahooIndex[1], TRUE).'</pre>'; ?> Ich möchte nun quasi mitsenden, dass es sich bei dem script um einen Browser handelt und nicht um ein script. Hat da jemand eine einfache und schnelle Lösung? mfg drieling


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

08.08.2007, 12:11
Ambience Erfahrener Benutzer Registriert seit: 30.07.2007 Beiträge: 162	hmm ich hab sowas noch nie gemacht, aber ich glaube da musst du einen header mitsenden... evtl. hilft dir eine suche bei google nach: http header senden oder http request senden... vllt. ist auch php.net der richtige anlaufweg... __________________ Ich gebe gerne ICQ-Support gegen ein kleines Endgelt.

08.08.2007, 14:23
drieling Erfahrener Benutzer Registriert seit: 08.08.2007 Beiträge: 549 PHP-Kenntnisse: Fortgeschritten	hmm ja es wird sich wohl nicht ganz so einfach machenlassen, ich werde wohl mit Curl arbeiten müssen...

09.08.2007, 08:16
pixelkoenig Neuer Benutzer Registriert seit: 08.08.2007 Beiträge: 3	Oder mit ein paar Tricks (naja, einem) rausfinden, welche Header Dein Browser mitsendet (z.B. einfach hier nachlesen: HTTP Header Viewer ) und die gleichen Header in Deiner PHP Datei mitsenden. Wichtig dabei, dass Header immer vor jeglichem HTML Content (also auch vor eventuellen Leerzeichen vor dem ersten php Tag) losgeschickt werden müssen. Kann ich mir alles nicht so schwierig vorstellen. Viel Erfolg!

09.08.2007, 11:53
Ambience Erfahrener Benutzer Registriert seit: 30.07.2007 Beiträge: 162	Hallo, demnach sollten die headers dann so aussehen: PHP-Code: `header('connection', 'Keep-Alive'); header('accept-language', 'de'); header('accept-encoding', 'gzip, deflate'); header('user-agent', 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322)');` Hatte es aber mit drielings Script ausprobiert, aber es scheint nicht zu funktionieren. Ambience __________________ Ich gebe gerne ICQ-Support gegen ein kleines Endgelt.

09.08.2007, 17:52
drieling Erfahrener Benutzer Registriert seit: 08.08.2007 Beiträge: 549 PHP-Kenntnisse: Fortgeschritten	nein, das scheint nicht zu funktionieren, da file_get_contents wohl einen eigenen header sendet. werd mich morgen nochmal dran setzen, wenn ich ne Lösung habe, dann werde ich es hier posten

10.08.2007, 00:58
badmoon2049 Neuer Benutzer Registriert seit: 10.08.2007 Beiträge: 1	in PHP gibt es ne Konstante wo man das einstellen kann, was genau gesendet wird, aber ich weiß nicht mehr welche. Mir ist es nur mal beim Drüberlesen bei php.net aufgefallen Schau dir mal die Logfiles (des Ziels) an und dort sollte dann was drin stehen wie "php 4....." so haste nen Ansatz

10.08.2007, 09:07
drieling Erfahrener Benutzer Registriert seit: 08.08.2007 Beiträge: 549 PHP-Kenntnisse: Fortgeschritten	hey das hört sich vielversprechend an, ich mach mich mal auf die suche __________________ ---> Abitur in Bremen nachholen - Ich schreibe drüber! <--- Drieling IT - IT Dienstleistungen von Christian Drieling ---> Immobilien in derTürkei <---

18.10.2007, 14:46
BERSIM Neuer Benutzer Registriert seit: 18.10.2007 Beiträge: 10	Geht das auch mit Google oder sonstigen Suchmaschinen? Weiß jemand von euch wie man Google oder andere Suchmaschinen-Ergebnisse ausliest?