Daten von Website abgreifen und in Datenbank einfügen

loci · 25.01.2010, 11:10

Hallo!

Ich würde gerne Daten von einer Website abgreifen und diese in eine Tabelle einfügen. Ziel ist es, eine Datenbank in einem System laufen zu haben, welche immer einen Datenabgleich mit unserer Website macht und somit stets die aktuellen Daten der Mitarbeiter im System zu haben. Sollte sich also zB jemand umsetzen oder die Telefonnummer wechseln aufgrund eines Büroumzugs, und korrigiert jmd das auf der Website, soll auch die Datenbank (mit einem Cronjob zB) die aktuellen Daten aus der Website lesen und eintragen, falls sich was ändert.

Zwar habe ich vor einiger Zeit mal was mit Datenbanken gemacht, ich weiß auch wie man von Hand etwas einträgt etc., nur dieser automatische Prozess stellt für mich ein Problem dar. Wie kann ich mysql dazu bringen, Daten von einer Website zu lesen und in die Tabelle "Mitarbeiter" einzutragen? Oder einen Abgleich zu machen und dann zu aktualisieren wenns Not tut?

draco88 · 25.01.2010, 11:24

Das was du machen willst wird ziemlich schwierig. Einfacher würde es gehen, wenn du auf die Firmen-DB zugreifen könntest, dann könntest du einfach eine Kopie der Firmen-DB bei dir speichern. Eine komplette DB über das Crawlen einer Website zu erstellen ist aber so ziemlich unmöglich.

loci · 25.01.2010, 13:06

Das ist aber sehr ungünstig. Es geht nur um eine spezielle Abteilung, und das RZ rückt natürlich keine Daten raus, Server etc., das ist nicht möglich. Wie kann ich denn sonst die Daten in der DB aktuell halten? Ansonsten wäre auch eine Oberfläche, in welcher die Mitarbeiten die Daten akutalisieren, ok. Dann sind sie eben nur selbst für verantwortlich. Wie könnte ich denn das realisieren? Eine einfache Website mit einer DB dahinter, welche die Daten aufnimmt und dann in einer Seite anzeigt? Oder gibt es eine bessere Lösung?

Wolla · 25.01.2010, 13:31

Mach mal folgendes:

PHP-Code:

  $webseite = 'http://deinewebseite.de/seite.html';

$html = file_get_contents($webseite);

echo $html;

In $html hast du dann den kompletten HTML-Code der Seite. Hier musst du nur noch die relevanten Teile mit einer geeigneten Regex rausfiltern.

Einfacher ist es allerdings, wenn euer RZ eine unformatierte Liste ausgeben kann, die so aussieht:
4711;Hans;Meier;234567
(Mitarbeiternummer, Vorname, Name, Telefon)
Die kannst du dann ebenfalls so auslesen wie oben beschrieben, aber einfacher weiterverarbeiten.

loci · 27.01.2010, 12:02

Das ganze mit Regex rauszufiltern ist schonmal eine gute Idee. Ich kann ja auch sicher $html2 $html3... etc. anlegen, richtig? Es geht um mehrere Seiten. Dummerweise hat jeder Mitarbeiter eine eigene Seite, und dann hat man zusätzlich noch eine Art "Stundenplan", der abgebildet werden muss. Der Quelltext sieht zB so aus:

Code:

 id="basic_3">Veranstaltungsnummer</th>
		<td class="mod_n_basic" headers="basic_3">20212</td>

Das heißt, die Veranstaltungsnummer ist nicht direkt hinter dem Wort "Veranstaltungsnummer". Sondern erst danach in einer Zeichenkette. Wie kann ich denn dieses "Paar" zusammen ausgeben lassen?

Ich suche nach einer Möglichkeit, Daten von einer Website eben einmal täglich abzurufen, ggf. zu aktualisieren und dann eben am Bildschirm nach Wunsch auszugeben. Diese "Umgebung" wo dieses ausgeben werden soll, ist quasi zu erstellen. Ich dachte da an eine Datenbank im Hintergrund wo alles aktualisiert wird etc. und eine PHP-Seite. Nur wie ich alles in die Datenbank gestopft bekomme, ist das Problem.

EDIT:
====
Hier noch ein Beispiel wie ich nicht weiß wie ich es "in Verbindung" bekommen soll:

Code:

<th scope="col" class="mod">Bemerkung</th>
				<th scope="col" class="mod">f&auml;llt aus am</th>
				<th scope="col" class="mod">Max. Teilnehmer</th></tr>
			<tr>
			<td class="mod_n_odd">
			</td>
<td class="mod_n_odd">
-.
</td>
<td class="mod_n_odd">
&nbsp;bis&nbsp;    
</td>
<td class="mod_n_odd">
woch
</td>
<td class="mod_n_odd">
</td>
<td class="mod_n_odd">
&nbsp;
</td>
<td class="mod_n_odd">&nbsp;</td>
<td class="mod_n_odd">&nbsp;</td>
<td class="mod_n_odd">
nach Vereinbarung
</td>

Dabei gehört zB "Bemerkung" und "nach Vereinbarung" zusammen... Wie bekomme ich das denn "zusammen"?

Wenn ich allerdings ein paar PHP Seiten erstelle wo man die Sachen eintragen kann, ist das ganze wieder zu statisch.

Die Website durch eine (php) Funktion anzeigen zu lassen, wäre auch noch eine Idee, also in einer Seite oder so etwas ähnlichem die Seite anzeigen zu können, wäre praktisch. Dann braucht man die Datenbank nicht wirklich. Aber ich weiß nicht wo man so einen integrierten Browser herbekommt. In Java gibts sowas wohl.

Harry_X · 27.01.2010, 22:47

Das Abgreifen von Daten von Webseiten läßt sich gut mit dem Teil von Kapow machen.
Kapow Technologies

nikosch · 02.02.2010, 00:06

Zitat:

Das ganze mit Regex rauszufiltern ist schonmal eine gute Idee.

Ist es nicht, wie in #2 bereits gesagt.

Wenn das wirklich eine offizielle Unternehmensanwendung ist, dann ist es wohl nicht zuviel verlangt, ein kleines Interface zu schreiben. Bspw. über csv, wie oben dargestellt, oder JSON -Export.

loci · 08.02.2010, 11:24

Der "Kunde" wünscht aber ausdrücklich eine vollautomatische Lösung, kein Interface (falls jetzt eine Eingabe der Daten darüber erfolgen soll). Es existiert keine Datenbank über die Institution, da habe ich bereits nachgefragt. Mir wurde nur eine leere DB angeboten, die ich selbst mit Inhalten befüllen soll.

Warum ist es btw nicht "gut", das mit regex zu machen? Ich habe nur gelesen dass es schwierig wird, aber wieso?

Zitat:

Zitat von Wolla

Mach mal folgendes:

PHP-Code:

  $webseite = 'http://deinewebseite.de/seite.html';

$html = file_get_contents($webseite);

echo $html;

In $html hast du dann den kompletten HTML-Code der Seite. Hier musst du nur noch die relevanten Teile mit einer geeigneten Regex rausfiltern.

Einfacher ist es allerdings, wenn euer RZ eine unformatierte Liste ausgeben kann, die so aussieht:
4711;Hans;Meier;234567
(Mitarbeiternummer, Vorname, Name, Telefon)
Die kannst du dann ebenfalls so auslesen wie oben beschrieben, aber einfacher weiterverarbeiten.

Leider wird mir nur der Text der Datei angezeigt, trotz dem Echo wird der Quelltest der Website leider nicht ausgegeben.

nikosch · 08.02.2010, 11:45

Ein Interface bedeutet, dass Daten in einer definierten Form (Schnittstelle) angeboten werden. Bspw. kann man JSON verwenden, womit die Daten vielfältig verarbeitbar sind (PHP, Ajax...). Gegenüber irgendwelchen kruden Output-Parsern bleibt man damit unabhängig vom verwendeten Layout, kann man Abfragen parameterisieren, werden nur benötigte Daten übertragen, hat man eine nachhaltige Lösung geschaffen. Alles andere ist Basteln. Zudem kann man über ein Interface mehr Daten anbieten, als man vielleicht im öffentlichen Kontext anbieten möchte.

loci · 08.02.2010, 12:47

Naja, das Projekt ist sehr klein und intern. Nix großes. Es müssen lediglich 10 Seiten oder so abgegriffen werden. Mit dem JSON etc. kenne ich mich nicht aus, das ist das Problem.

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Daten von Website zu Website übertragen	beta02	PHP Tipps 2009	17	13.01.2009 22:19
[Erledigt] Bestimmte Daten aus Datenbank löschen	MasterChief	Datenbanken	3	09.01.2009 12:52
Problem mit Formular, Daten an datenbank senden	Aurec	PHP Tipps 2008	11	20.11.2008 18:17
Daten in Datenbank übergeben	Bebre	PHP Tipps 2008	2	11.02.2008 11:41
Neuen Datensatz in Datenbank einfügen	Bebre	PHP Tipps 2008	9	09.02.2008 18:51
Daten aus Datenbank sinnvoll speichern		PHP Tipps 2006	15	02.02.2006 19:54
Daten in SQL Datenbank einfügen		Datenbanken	0	24.10.2005 18:31
Formular Daten in die Datenbank schreiben…	sunset	PHP Tipps 2005-2	3	26.08.2005 11:49
[Erledigt] Variable Links mit daten aus SQL Datenbank		PHP Tipps 2005-2	8	05.08.2005 13:10
Daten von einem Datenbank in eine anderes überspielen...		PHP Tipps 2005-2	2	17.06.2005 11:49
[Erledigt] MySQL Datenbank wieder einfügen		Datenbanken	13	06.05.2005 23:39
Mysql daten in Selct element einfügen		PHP Tipps 2005	5	08.03.2005 16:48
Viele Daten in die Datenbank eintragen.	sunset	PHP Tipps 2005	10	11.01.2005 19:32
Excel Daten einfügen		PHP Tipps 2004	3	08.07.2004 09:44
daten in datenbank übertragen		PHP Tipps 2004	17	23.06.2004 15:40

25.01.2010, 11:10
loci Neuer Benutzer Registriert seit: 25.01.2010 Beiträge: 5 PHP-Kenntnisse: Anfänger	Daten von Website abgreifen und in Datenbank einfügen Hallo! Ich würde gerne Daten von einer Website abgreifen und diese in eine Tabelle einfügen. Ziel ist es, eine Datenbank in einem System laufen zu haben, welche immer einen Datenabgleich mit unserer Website macht und somit stets die aktuellen Daten der Mitarbeiter im System zu haben. Sollte sich also zB jemand umsetzen oder die Telefonnummer wechseln aufgrund eines Büroumzugs, und korrigiert jmd das auf der Website, soll auch die Datenbank (mit einem Cronjob zB) die aktuellen Daten aus der Website lesen und eintragen, falls sich was ändert. Zwar habe ich vor einiger Zeit mal was mit Datenbanken gemacht, ich weiß auch wie man von Hand etwas einträgt etc., nur dieser automatische Prozess stellt für mich ein Problem dar. Wie kann ich mysql dazu bringen, Daten von einer Website zu lesen und in die Tabelle "Mitarbeiter" einzutragen? Oder einen Abgleich zu machen und dann zu aktualisieren wenns Not tut?


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

25.01.2010, 11:24
draco88 Erfahrener Benutzer Registriert seit: 01.12.2009 Beiträge: 645 PHP-Kenntnisse: Fortgeschritten	Das was du machen willst wird ziemlich schwierig. Einfacher würde es gehen, wenn du auf die Firmen-DB zugreifen könntest, dann könntest du einfach eine Kopie der Firmen-DB bei dir speichern. Eine komplette DB über das Crawlen einer Website zu erstellen ist aber so ziemlich unmöglich.

25.01.2010, 13:06
loci Neuer Benutzer Registriert seit: 25.01.2010 Beiträge: 5 PHP-Kenntnisse: Anfänger	Das ist aber sehr ungünstig. Es geht nur um eine spezielle Abteilung, und das RZ rückt natürlich keine Daten raus, Server etc., das ist nicht möglich. Wie kann ich denn sonst die Daten in der DB aktuell halten? Ansonsten wäre auch eine Oberfläche, in welcher die Mitarbeiten die Daten akutalisieren, ok. Dann sind sie eben nur selbst für verantwortlich. Wie könnte ich denn das realisieren? Eine einfache Website mit einer DB dahinter, welche die Daten aufnimmt und dann in einer Seite anzeigt? Oder gibt es eine bessere Lösung?

25.01.2010, 13:31
Wolla Moderator Registriert seit: 06.06.2008 Beiträge: 4.945 PHP-Kenntnisse: Fortgeschritten	Mach mal folgendes: PHP-Code: `$webseite = 'http://deinewebseite.de/seite.html'; $html = file_get_contents($webseite); echo $html;` In $html hast du dann den kompletten HTML-Code der Seite. Hier musst du nur noch die relevanten Teile mit einer geeigneten Regex rausfiltern. Einfacher ist es allerdings, wenn euer RZ eine unformatierte Liste ausgeben kann, die so aussieht: 4711;Hans;Meier;234567 (Mitarbeiternummer, Vorname, Name, Telefon) Die kannst du dann ebenfalls so auslesen wie oben beschrieben, aber einfacher weiterverarbeiten. __________________ Warum denkt mein Hund eigentlich immer dann, wenn es an der Tür klingelt, es sei für ihn?

27.01.2010, 12:02
loci Neuer Benutzer Registriert seit: 25.01.2010 Beiträge: 5 PHP-Kenntnisse: Anfänger	Das ganze mit Regex rauszufiltern ist schonmal eine gute Idee. Ich kann ja auch sicher $html2 $html3... etc. anlegen, richtig? Es geht um mehrere Seiten. Dummerweise hat jeder Mitarbeiter eine eigene Seite, und dann hat man zusätzlich noch eine Art "Stundenplan", der abgebildet werden muss. Der Quelltext sieht zB so aus: Code: id="basic_3">Veranstaltungsnummer</th> <td class="mod_n_basic" headers="basic_3">20212</td> Das heißt, die Veranstaltungsnummer ist nicht direkt hinter dem Wort "Veranstaltungsnummer". Sondern erst danach in einer Zeichenkette. Wie kann ich denn dieses "Paar" zusammen ausgeben lassen? Ich suche nach einer Möglichkeit, Daten von einer Website eben einmal täglich abzurufen, ggf. zu aktualisieren und dann eben am Bildschirm nach Wunsch auszugeben. Diese "Umgebung" wo dieses ausgeben werden soll, ist quasi zu erstellen. Ich dachte da an eine Datenbank im Hintergrund wo alles aktualisiert wird etc. und eine PHP-Seite. Nur wie ich alles in die Datenbank gestopft bekomme, ist das Problem. EDIT: ==== Hier noch ein Beispiel wie ich nicht weiß wie ich es "in Verbindung" bekommen soll: Code: <th scope="col" class="mod">Bemerkung</th> <th scope="col" class="mod">fällt aus am</th> <th scope="col" class="mod">Max. Teilnehmer</th></tr> <tr> <td class="mod_n_odd"> </td> <td class="mod_n_odd"> -. </td> <td class="mod_n_odd">  bis  </td> <td class="mod_n_odd"> woch </td> <td class="mod_n_odd"> </td> <td class="mod_n_odd">   </td> <td class="mod_n_odd"> </td> <td class="mod_n_odd"> </td> <td class="mod_n_odd"> nach Vereinbarung </td> Dabei gehört zB "Bemerkung" und "nach Vereinbarung" zusammen... Wie bekomme ich das denn "zusammen"? Wenn ich allerdings ein paar PHP Seiten erstelle wo man die Sachen eintragen kann, ist das ganze wieder zu statisch. Die Website durch eine (php) Funktion anzeigen zu lassen, wäre auch noch eine Idee, also in einer Seite oder so etwas ähnlichem die Seite anzeigen zu können, wäre praktisch. Dann braucht man die Datenbank nicht wirklich. Aber ich weiß nicht wo man so einen integrierten Browser herbekommt. In Java gibts sowas wohl. Geändert von loci (27.01.2010 um 12:28 Uhr).

27.01.2010, 22:47
Harry_X Erfahrener Benutzer Registriert seit: 08.10.2009 Beiträge: 681 PHP-Kenntnisse: Anfänger	Das Abgreifen von Daten von Webseiten läßt sich gut mit dem Teil von Kapow machen. Kapow Technologies

08.02.2010, 11:45
nikosch moderatives Dielektrikum Registriert seit: 21.05.2008 Beiträge: 35.987 PHP-Kenntnisse: Fortgeschritten	Ein Interface bedeutet, dass Daten in einer definierten Form (Schnittstelle) angeboten werden. Bspw. kann man JSON verwenden, womit die Daten vielfältig verarbeitbar sind (PHP, Ajax...). Gegenüber irgendwelchen kruden Output-Parsern bleibt man damit unabhängig vom verwendeten Layout, kann man Abfragen parameterisieren, werden nur benötigte Daten übertragen, hat man eine nachhaltige Lösung geschaffen. Alles andere ist Basteln. Zudem kann man über ein Interface mehr Daten anbieten, als man vielleicht im öffentlichen Kontext anbieten möchte. __________________ -- One pixel is still too big. Please make it smaller. ASAP. Initiative Mittelstand. Die wichtigste Gestaltungsregel im Screendesign ist Pi mal Daumen des Arbeitgebers. --

08.02.2010, 12:47
loci Neuer Benutzer Registriert seit: 25.01.2010 Beiträge: 5 PHP-Kenntnisse: Anfänger	Naja, das Projekt ist sehr klein und intern. Nix großes. Es müssen lediglich 10 Seiten oder so abgegriffen werden. Mit dem JSON etc. kenne ich mich nicht aus, das ist das Problem.