robots.txt auswerten

Hallo

ich hab eine Suchfunktion geschrieben die die ganze HP durchsucht. Leider durchsucht Sie wirklich alles, auch Sachen die nicht durchsucht werden solle. Nun war mein Gedanke die robots.txt auszulesen und nach den Vorgaben dort zu durchsuchen. Leider finde ich hier irgendwie keinen Unterschied zwischen Files und Directories.
z.B.
User-agent: *
Disallow: /cgi-bin
Disallow: /faq
Disallow: /angebot/file.html

Ausser natürlich die Extension.
1. Ist es korrekt wenn ich nach der Extension Entscheide ob Verzeichnis oder File?
2. kann ich als nicht zu durchsuchendes Verzeichnis z.B. /cgi_bin rausholen?

Peter

Re: robots.txt auswerten

Suchfunktion:

Leider finde ich hier irgendwie keinen Unterschied zwischen Files und Directories.

is_dir() und is_file()

Sorry

das ist das absolut einfachste. Danke

Peter

wenn ich das wie unten durchlaufen lasse kommt

$verz = "cgi-bin";


if(is_dir($verz))  
	echo "Bei $verz handelt es sich um ein Verzeichnis";
else  
	echo "Bei $verz handelt es sich nicht um ein Verzeichnis";
echo "
";

kommt raus
"Bei cgi-bin handelt es sich nicht um ein Verzeichnis raus."
Sonst läuft alles richtig.



Peter

$verz = "cgi-bin";

kommt raus
"Bei cgi-bin handelt es sich nicht um ein Verzeichnis raus."
Sonst läuft alles richtig.

Stimmt.

cgi-bin

ist kein Verzeichnis.

./cgi-bin

oder

/pfad/zum/cgi-bin

wäre ein Verzeichnis.