Webseiten kopieren mit robots.txt

04.09.2004, 05:11

Hi,

also, ich hab ein Prog, das Webseiten kopiert. Doch wenn eine Site eine robots.txt hat, dann lässt sich diese nicht kopieren.

Gibts da eine Möglichkeit, das zu umgehen?

Guradia · 04.09.2004, 09:03

> Welches Programm?
> "nicht kopieren" ... bezieht sich auf robots.txt oder auf die Site?

Beispiel: HTTrack ist per default darauf geeicht, robots.txt zu beachten. Lässt sich abstellen.

04.09.2004, 18:05

hi,

danke, ich verwende HTTrack

werds gleich mal ausprobieren...

(Ich meinte die Seite zu kopieren, ohen auf robots.txt zu achten)

---------------
Achja, noch eine Frage, wo kann ich das einstellen?

Guradia · 04.09.2004, 18:31

Zitat:

Zitat von Benutzer

Achja, noch eine Frage, wo kann ich das einstellen?

HTTrack 3.30

-> Projekt öffnen / erstellen
-> Namen bestätigen
-> Set Options
-> Spider
-> 2. DropDownbox

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Daten kopieren		PHP Tipps 2006	14	09.06.2006 20:35
Problem beim Kopieren von Dateien	Smiley	PHP Tipps 2006	5	04.02.2006 00:11
Frage zu robots.txt	Klaus	PHP Tipps 2006	1	24.01.2006 10:36
Webseiten werden bei Linux nicht richtig angezeigt		Server, Hosting und Workstations	13	16.10.2005 13:39
Verzechnisse kopieren		PHP Tipps 2005-2	2	14.08.2005 15:17
PHP - Webseiten dynamisch programmieren		PHP Tipps 2005-2	4	31.07.2005 16:36
ZIP Datei auf Server kopieren, entpacken und Inhalt in DB		PHP-Fortgeschrittene	40	06.06.2005 23:33
[Javascript] mehrere Textfelder kopieren		HTML, Usability und Barrierefreiheit	3	08.05.2005 14:49
Sound für Webseiten		Off-Topic Diskussionen	16	26.01.2005 15:39
Datensatz kopieren		Datenbanken	1	03.01.2005 11:55
Webseiten aufruf über Webserver?		PHP Tipps 2004-2	8	30.11.2004 18:00
DB Tabelle kopieren und anschliessend löschen	test022	PHP Tipps 2004-2	15	25.11.2004 10:40
bild von einer Seite kopieren		PHP-Fortgeschrittene	7	09.11.2004 18:37
Ordner und Datein auf lokalen Rechner kopieren...	18inch	PHP Tipps 2004	4	29.06.2004 16:53
Wie funktionieren die Webseiten heute?	NetLook	PHP Tipps 2004	3	06.06.2004 22:44

04.09.2004, 05:11
Gast Beiträge: n/a	Webseiten kopieren mit robots.txt Hi, also, ich hab ein Prog, das Webseiten kopiert. Doch wenn eine Site eine robots.txt hat, dann lässt sich diese nicht kopieren. Gibts da eine Möglichkeit, das zu umgehen?


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

04.09.2004, 09:03
Guradia Erfahrener Benutzer Registriert seit: 21.05.2008 Beiträge: 2.150	> Welches Programm? > "nicht kopieren" ... bezieht sich auf robots.txt oder auf die Site? Beispiel: HTTrack ist per default darauf geeicht, robots.txt zu beachten. Lässt sich abstellen.

04.09.2004, 18:05
Gast Beiträge: n/a	hi, danke, ich verwende HTTrack werds gleich mal ausprobieren... (Ich meinte die Seite zu kopieren, ohen auf robots.txt zu achten) --------------- Achja, noch eine Frage, wo kann ich das einstellen?