Ankündigung

Einklappen
Keine Ankündigung bisher.

robots.txt auswerten

Einklappen

Neue Werbung 2019

Einklappen
X
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

  • robots.txt auswerten

    Hallo

    ich hab eine Suchfunktion geschrieben die die ganze HP durchsucht. Leider durchsucht Sie wirklich alles, auch Sachen die nicht durchsucht werden solle. Nun war mein Gedanke die robots.txt auszulesen und nach den Vorgaben dort zu durchsuchen. Leider finde ich hier irgendwie keinen Unterschied zwischen Files und Directories.
    z.B.
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /faq
    Disallow: /angebot/file.html

    Ausser natürlich die Extension.
    1. Ist es korrekt wenn ich nach der Extension Entscheide ob Verzeichnis oder File?
    2. kann ich als nicht zu durchsuchendes Verzeichnis z.B. /cgi_bin rausholen?

    Peter


  • #2
    Re: robots.txt auswerten

    Suchfunktion:
    Zitat von peterkh
    Leider finde ich hier irgendwie keinen Unterschied zwischen Files und Directories.
    is_dir() und is_file()

    Kommentar


    • #3
      Sorry

      das ist das absolut einfachste. Danke

      Peter

      Kommentar


      • #4
        wenn ich das wie unten durchlaufen lasse kommt

        Code:
        $verz = "cgi-bin";
        
        
        if(is_dir($verz))  
        	echo "Bei $verz handelt es sich um ein Verzeichnis";
        else  
        	echo "Bei $verz handelt es sich nicht um ein Verzeichnis";
        echo "
        ";
        kommt raus
        "Bei cgi-bin handelt es sich nicht um ein Verzeichnis raus."
        Sonst läuft alles richtig.



        Peter

        Kommentar


        • #5
          Zitat von peterkh
          Code:
          $verz = "cgi-bin";
          kommt raus
          "Bei cgi-bin handelt es sich nicht um ein Verzeichnis raus."
          Sonst läuft alles richtig.
          Stimmt.
          Code:
          cgi-bin
          ist kein Verzeichnis.
          Code:
          ./cgi-bin
          oder
          Code:
          /pfad/zum/cgi-bin
          wäre ein Verzeichnis.

          Kommentar

          Lädt...
          X