[Erledigt] Konzept Newssammler

larsemann · 03.03.2009, 16:20

Hallo,

ich bin gerade dabei mir eine Klasse auszudenken, mit der ich News von verschiedenen Seiten einfach "klauen" kann. Natürlich nur solche News, die dazu gedacht sind übernommen zu werden, sprich von Presseagenturen oder derartigen Einrichtungen.

Neben einer schlichten Klasse, die Text, Datum, Autor und Titel speichert, ist das schwierigste wohl eine vernünftige Klasse zum Suchen neuer News zu erstellen.

Die Seiten, wo die News herzuholen sind, sind vorgegeben und werden vorher eingelesen.

Jetzt der kniffelige Teil.
Da viele der Seiten ja RSS-Feeds anbieten würde ich darüber abfangen, welche News neu sind. Dann kann ich mir eine Einleseprozedur über eine ganze Homepage sparen.
RSS-Feeds sind ja mit einem Link ausgestattet, mit dem ich zu der vollen News komme.

Da würde ich dann Ansetzen wollen, die News mit einem regulären Ausdruck abfangen und speichern.

Das Handwerkszeug für diese Lösung bietet mir PHP ja , aber gibt es vielleicht eine elegantere Lösung oder hat jemand eine bessere Idee, wie man sowas nachrichtenverlustfrei realisieren kann?

Vielen Dank fürs Lesen

nikosch · 03.03.2009, 16:23

Die Frage ist: Wozu die News, die gut als Feed aufbereitet sind überhaupt komplett auslesen? Wieso nicht das Feed XML nutzen und mit der xml Datei arbeiten? Du willst doch hoffentlih nur die Reader "klauen", nicht die kompletten Inhalte?

larsemann · 03.03.2009, 16:25

Ne, es geht um die Inhalte.
Und meistens sind die Feeds ja nur mit Links bestückt, damit man auch die Seiten besucht.

Das ganze läuft schon Rechtens ab, also es geht nicht um Inhalteklau in dem Sinne.

robo47 · 03.03.2009, 17:00

Wenn die Anbieter wollen dass ihre Inhalte genutzt werden, bieten sie das doch entweder als full-feed (rss, atom) an oder bieten eine api dafür an.

Weil mit nem einheitlichen regex wirst du es wohl nicht schaffen die inhalte aus verschiedenen Seiten zu extrahieren, vor allen was ist mit werbung und co ? Willst du die auch einfach übernehmen ? inkusive markup und so ?

Irgendwie kann ich mir nicht vorstellen, dass wenn die Inhalte so wie du es sagst genutzt werden dürfen, sie nicht auch in einem passenden Format zur Verfügung gestellt werden. Weil wenn du die inhalte selbst extrahieren willst, heißt das für JEDE seite anpassungen und es heißt auch wenn der anbieter irgendwas an seinem layout/markup ändert, dass dein automatisiertes Tool unter umständen nicht mehr funktioniert, mist ausliest etc.

larsemann · 03.03.2009, 17:07

Warum wird hier eigentlich über die Rechtmäßigkeit diskutiert.
Wenn ich sage, dass ich hier nichts Illegales vorhabe, dann ist das auch so.

nikosch · 03.03.2009, 17:11

Das heißt
1. nicht, dass Du Dich gleich aufregen mußt
2. nicht zwingend, dass das stimmt
3. nicht, dass das deswegen rechtlich ok ist.

Wenn ich urheberrechtl. geschützte Filme kopiere(n würde), muß ich auch nichts unrechtes damit vorhaben und begehe trotzdem eine Rechtsverletzung.
Und wenn Du bspw. die Inhalte irgendwo im Netz anbietest, wäre das in jedem Fall problematisch.

robo47 · 03.03.2009, 17:12

Weil es hier genug Leute schon gab die sowas behauptet haben, ich es meistens nicht überprüfen kann und ich nicht dem xten Content-Dieb helfen will.

Es stellt sich eben bei sowas einfach die logische Frage warum Content der für den Zweck genutzt werden soll nicht auf einem vernünftigen und vor allem einheitlichen weg weitergegeben wird.

larsemann · 03.03.2009, 17:19

Okay, dann brauch ich deine Hilfe nicht und mach es auf meine Art.
Schönen Tag noch.

tomtaz · 03.03.2009, 17:20

Dann bitte noch das Thema als [Erledigt] markieren. Danke.

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
kleines DB Konzept	Tomte	Datenbanken	21	23.08.2008 10:22
dynamische Webseiten - Sitemap: Konzept	dh1sbg	PHP-Fortgeschrittene	4	14.08.2007 13:23
Konzept Frage (2), DB Package	greg	PHP-Fortgeschrittene	0	15.07.2006 14:19
Überdenken des Konzept: Eigene Bildergalerien für User	pixelcut	PHP-Fortgeschrittene	3	16.01.2006 18:40
Konzept GFX-Community		PHP Tipps 2005-2	2	22.08.2005 10:22
[Erledigt] Selectanfrage an eine Datenbank,aber aus mehreren Tabellen		Datenbanken	2	26.10.2004 07:23
[Erledigt] Probleme beim Umsetzen von alten Konzept in Smarty		PHP-Fortgeschrittene	4	13.09.2004 01:43
[Erledigt] Multigaming Warscript Konzept		PHP-Fortgeschrittene	6	30.08.2004 20:56

03.03.2009, 16:20
larsemann Neuer Benutzer Registriert seit: 26.05.2008 Beiträge: 6	[Erledigt] Konzept Newssammler Hallo, ich bin gerade dabei mir eine Klasse auszudenken, mit der ich News von verschiedenen Seiten einfach "klauen" kann. Natürlich nur solche News, die dazu gedacht sind übernommen zu werden, sprich von Presseagenturen oder derartigen Einrichtungen. Neben einer schlichten Klasse, die Text, Datum, Autor und Titel speichert, ist das schwierigste wohl eine vernünftige Klasse zum Suchen neuer News zu erstellen. Die Seiten, wo die News herzuholen sind, sind vorgegeben und werden vorher eingelesen. Jetzt der kniffelige Teil. Da viele der Seiten ja RSS-Feeds anbieten würde ich darüber abfangen, welche News neu sind. Dann kann ich mir eine Einleseprozedur über eine ganze Homepage sparen. RSS-Feeds sind ja mit einem Link ausgestattet, mit dem ich zu der vollen News komme. Da würde ich dann Ansetzen wollen, die News mit einem regulären Ausdruck abfangen und speichern. Das Handwerkszeug für diese Lösung bietet mir PHP ja , aber gibt es vielleicht eine elegantere Lösung oder hat jemand eine bessere Idee, wie man sowas nachrichtenverlustfrei realisieren kann? Vielen Dank fürs Lesen


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

03.03.2009, 16:23
nikosch moderatives Dielektrikum Registriert seit: 21.05.2008 Beiträge: 34.170 PHP-Kenntnisse: Fortgeschritten	Die Frage ist: Wozu die News, die gut als Feed aufbereitet sind überhaupt komplett auslesen? Wieso nicht das Feed XML nutzen und mit der xml Datei arbeiten? Du willst doch hoffentlih nur die Reader "klauen", nicht die kompletten Inhalte? __________________ -- One pixel is still too big. Please make it smaller. ASAP. Initiative Mittelstand. Die wichtigste Gestaltungsregel im Screendesign ist Pi mal Daumen des Arbeitgebers. --

03.03.2009, 16:25
larsemann Neuer Benutzer Registriert seit: 26.05.2008 Beiträge: 6	Ne, es geht um die Inhalte. Und meistens sind die Feeds ja nur mit Links bestückt, damit man auch die Seiten besucht. Das ganze läuft schon Rechtens ab, also es geht nicht um Inhalteklau in dem Sinne.

03.03.2009, 17:00
robo47 Moderator Registriert seit: 03.09.2004 Beiträge: 11.798 PHP-Kenntnisse: Fortgeschritten	Wenn die Anbieter wollen dass ihre Inhalte genutzt werden, bieten sie das doch entweder als full-feed (rss, atom) an oder bieten eine api dafür an. Weil mit nem einheitlichen regex wirst du es wohl nicht schaffen die inhalte aus verschiedenen Seiten zu extrahieren, vor allen was ist mit werbung und co ? Willst du die auch einfach übernehmen ? inkusive markup und so ? Irgendwie kann ich mir nicht vorstellen, dass wenn die Inhalte so wie du es sagst genutzt werden dürfen, sie nicht auch in einem passenden Format zur Verfügung gestellt werden. Weil wenn du die inhalte selbst extrahieren willst, heißt das für JEDE seite anpassungen und es heißt auch wenn der anbieter irgendwas an seinem layout/markup ändert, dass dein automatisiertes Tool unter umständen nicht mehr funktioniert, mist ausliest etc. __________________ robo47.net - Blog, Codeschnipsel und mehr \| Caching-Klassen und Opcode Caches in php \| Robo47 Components - PHP Library extending Zend Framework

03.03.2009, 17:07
larsemann Neuer Benutzer Registriert seit: 26.05.2008 Beiträge: 6	Warum wird hier eigentlich über die Rechtmäßigkeit diskutiert. Wenn ich sage, dass ich hier nichts Illegales vorhabe, dann ist das auch so.

03.03.2009, 17:11
nikosch moderatives Dielektrikum Registriert seit: 21.05.2008 Beiträge: 34.170 PHP-Kenntnisse: Fortgeschritten	Das heißt 1. nicht, dass Du Dich gleich aufregen mußt 2. nicht zwingend, dass das stimmt 3. nicht, dass das deswegen rechtlich ok ist. Wenn ich urheberrechtl. geschützte Filme kopiere(n würde), muß ich auch nichts unrechtes damit vorhaben und begehe trotzdem eine Rechtsverletzung. Und wenn Du bspw. die Inhalte irgendwo im Netz anbietest, wäre das in jedem Fall problematisch. __________________ -- One pixel is still too big. Please make it smaller. ASAP. Initiative Mittelstand. Die wichtigste Gestaltungsregel im Screendesign ist Pi mal Daumen des Arbeitgebers. --

03.03.2009, 17:12
robo47 Moderator Registriert seit: 03.09.2004 Beiträge: 11.798 PHP-Kenntnisse: Fortgeschritten	Weil es hier genug Leute schon gab die sowas behauptet haben, ich es meistens nicht überprüfen kann und ich nicht dem xten Content-Dieb helfen will. Es stellt sich eben bei sowas einfach die logische Frage warum Content der für den Zweck genutzt werden soll nicht auf einem vernünftigen und vor allem einheitlichen weg weitergegeben wird. __________________ robo47.net - Blog, Codeschnipsel und mehr \| Caching-Klassen und Opcode Caches in php \| Robo47 Components - PHP Library extending Zend Framework

03.03.2009, 17:19
larsemann Neuer Benutzer Registriert seit: 26.05.2008 Beiträge: 6	Okay, dann brauch ich deine Hilfe nicht und mach es auf meine Art. Schönen Tag noch.

03.03.2009, 17:20
tomtaz Erfahrener Benutzer Registriert seit: 17.06.2008 Beiträge: 1.762 PHP-Kenntnisse: Fortgeschritten	Dann bitte noch das Thema als [Erledigt] markieren. Danke. __________________ Mfg Tomtaz "Es soll jetzt diese Erfindung geben.... Kugel oder so heißt die. Ist so eine Art Suchmaschine..."