Ankündigung

Einklappen
Keine Ankündigung bisher.

"robots.txt": Blocken ALLER Unterverzeichnisse?

Einklappen

Neue Werbung 2019

Einklappen
X
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

  • SvenLittkowski
    hat ein Thema erstellt "robots.txt": Blocken ALLER Unterverzeichnisse?.

    "robots.txt": Blocken ALLER Unterverzeichnisse?

    Weihnachtliche eiskalt-feuchte Grüße an alle!

    Danke für's Vorbeischauen. in meiner Suchrobot-Anweisungsdatei "robots.txt" habe ich den folgenden Code:

    Code:
    User-agent: *
    Disallow:/d/
    Disallow:/p/
    Disallow: /v/
    Disallow: /*/
    Disallow: /~/
    
    User-agent: EmailCollector
    Disallow: /
    
    User-agent: GagaRobot
    Disallow: /
    Unter anderem versuche ich mit der Benutzung des Stern- und des Tildezeichens ("*", "~") mit einem Mal ALLE Unterverzeichnisse zu sperren, ohne sie zu nennen. Geht das?

    Ich möchte vermeiden, bestimmte Unterverzeichnisse zu nennen, da ja auch Hacker ohne weiteres die "robots.txt" einsehen können, und damit strategische Informationen über vorhandene Verzeichnisnamen erhalten.

  • Gast-Avatar
    Ein Gast antwortete
    Re: "robots.txt": Blocken ALLER Unterverzeichnisse

    Zitat von SvenLittkowski
    Unter anderem versuche ich mit der Benutzung des Stern- und des Tildezeichens ("*", "~") mit einem Mal ALLE Unterverzeichnisse zu sperren, ohne sie zu nennen. Geht das?
    Soweit ich weiß, können hier keine Wildcards verwendet werden.

    Einen Kommentar schreiben:

Lädt...
X