Textfile einlesen, prüfen, ausgeben

Justin · 23.11.2011, 22:23

Hallo zusammen

Ich hab ein Weilchen nach einer passender Lösung gesucht, finde aber immer nur Fragmente der Lösung und ich hätte gerne eine passende Lösung ohne grosse Umwege weshalb ich mich mal hier erkundigen möchte.

Ich habe ein Textfile dass täglich um mehrere tausend Zeilen erweitert wird.
Ich möchte dieses Textfile einlesen und anschliessend in einem passenden Format wieder ausgeben, damit ich anschliessend dies per Autoimport via SQL in die Datenbank laden kann.

Damit nicht täglich alle tausende Zeilen neu geschrieben werden müssen, möchte ich prüfen ab wo die neuen Datensätze sind und dann nur diese erweitern. Damit muss die Datenbank täglich nur einige tausend Zeilen einlesen statt immer alles.

Wie gehe ich da am besten vor?

Ich danke bereits jetzt für eure Hilfestellung

Gruss

Justin

Arne Drews · 23.11.2011, 22:35

Setz den Zeilen einfach einen Timestamp oder reguläres Datum vorweg udn prüf darauf!

Dreamwatcher · 23.11.2011, 23:41

Hallo,

mir fallen jetzt mehrere Wege ein.

Weg1: Sende alles an deine Datenbank (mit file hast du ja bereits ein array) mit INSERT IF NOT EXISTS

Weg2: Jedesmal wenn du die Daten geschrieben hast, legst du dir davon eine Kopie an. Kommen neue Daten dazu, dann liest du beide Dateien (wieder mit file) ein und benutzt danach array_diff um die differenz zu bekommen.
Dann nur noch ab in die DB damit

Weg3: Warum behälst du die alten Daten in deiner Textfile? Oder ist es gar nicht deine?

Die Wege sind natürlich nur möglich, wenn pro Zeile ein Datensatz vorhanden ist. Hast ja nicht geschrieben wie die Datei genau aussieht und noch weiter will ich meine Hellseher-Fähigkeiten nicht strapazieren...

lstegelitz · 23.11.2011, 23:45

Eine Log-Rotation wäre denkbar, dann hast du alle Daten aus einem bestimmten Zeitraum in einer Datei (Stunde oder Tag). Das letzt Log dann zu Beginn des nächsten Zeitraumes von einem Cron-Job verarbeiten lassen.

Justin · 24.11.2011, 00:36

danke für die bereits vielen antworten

gibt mir neue denkansätze. das file ist leider nicht von mir sondern bekomme ich so von dhl

ich denke der weg2 von dreamcatcher mit dem diff trifft am besten zu ohne grosse umwege zu machen. und ja, pro zeile ist ein datensatz.
ich werde es mal mit dieser variante versuchen, sollte ich kläglich scheitern werde ich nochmals um euren rat bitten

danke und gruss

justin

Arne Drews · 24.11.2011, 08:59

Zitat:

Zitat von Justin

Ich habe ein Textfile dass täglich um mehrere tausend Zeilen erweitert wird.

Zitat:

Zitat von Dreamwatcher

Weg2: Jedesmal wenn du die Daten geschrieben hast, legst du dir davon eine Kopie an. Kommen neue Daten dazu, dann liest du beide Dateien (wieder mit file) ein und benutzt danach array_diff um die differenz zu bekommen.

fab · 24.11.2011, 10:10

Zitat:

Zitat von Arne Drews

Setz den Zeilen einfach einen Timestamp oder reguläres Datum vorweg udn prüf darauf!

Die Anpassung ist gar nicht nötig, speicher einfach irgendwo die zuletzt eingefügte Zeilennummer. Beim nächsten Auslesen überspringst du die Zeilen bis dahin dann:

PHP-Code:

  $handle = fopen(...);

$lastInsert = hole_zuletzt_eingefuegte_zeilennummer();

 
// Alte Zeilen überspringen

for ($i = 0; $i < $lastInsert; ++$i) {

  fgets($handle);

}

 
// Neue Zeilen einlesen

$rows = array();

while ($row = fgetcsv($handle, ...)) { // ist doch CSV oder?

  $rows[] = $row;

  ++$lastInsert;

}

speichere_zuletzt_eingefuegte_zeilennummer($lastInsert);

$result = konvertiere_array_zu_sql($rows);

Arne Drews · 24.11.2011, 10:24

Stimmt!

Aber wenn die letzte Zeilennummer gespeichert ist, kann man das auch einfacher handeln:

PHP-Code:

  $lastInsert = getLastRowNumber();
$newRows = array_slice( file('./file-with-lines.txt'), $lastInsert );

foreach( $newRows as $row ) {
  // transfer to db
}

saveLastRowNumber( $lastInsert + count($newRows) );

Beitrag editiert:
Bei der Menge an Zeilen ist das allerdings nicht performant, da muß ich fab Recht geben!

fab · 24.11.2011, 10:26

Du hast doch selber schon darauf hingewiesen: Bei einer Datei in der jeden Tag 1000 Zeilen hinzukommen sollte man sich dreimal überlegen, sie vollständig in den Speicher zu laden wenn es nicht notwendig ist.

Arne Drews · 24.11.2011, 10:36

Hast recht, siehe Edit...

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Auf Inhalt Prüfen und ausgeben	PC-Hilfe Meyer	PHP Einsteiger	14	31.07.2011 17:21
[Erledigt] Backlinks prüfen, fopen, externe URL einlesen	Phoenix@	PHP Tipps 2010	5	14.11.2010 17:44
Einlesen und Ausgeben	Row	PHP Tipps 2010	59	19.10.2010 11:17
ausgeben von mehreren tabellen mysql	SpecialFighter	PHP Tipps 2009	9	15.10.2009 18:41
[Erledigt] CSV einlesen, Daten abgleichen und Werte ausgeben	mastertnt	PHP Tipps 2009	21	21.07.2009 16:12
CSV per PHP einlesen und als Tabelle ausgeben	pelowi	PHP-Fortgeschrittene	1	30.03.2009 15:19
Bild erzeugen lassen und in Tabelle ausgeben	maximus	PHP Tipps 2008	7	11.11.2008 20:53
Daten aus php Datei einlesen und ausgeben	Pearl	PHP Tipps 2008	13	28.08.2008 17:34
verschachtelte Rubriken ausgeben / alle anzeigen	prinzli	PHP Tipps 2008	3	25.02.2008 22:37
URL abfragen und prüfen!	plongo_291	PHP Tipps 2006	4	19.10.2006 19:21
Datei einlesen - ausgeben + php code ausführen	NetLook	PHP Tipps 2006	7	18.10.2006 15:17
checkfelder in mysql einlesen u wieder ausgeben		PHP Tipps 2005-2	3	06.06.2005 14:36
[Erledigt] Ganze Tabelle ausgeben		PHP Tipps 2004-2	1	21.11.2004 16:48
[Erledigt] Alle Schriften einlesen und im Auswahlmenü ausgeben		PHP Tipps 2004	12	29.07.2004 16:29

23.11.2011, 22:23
Justin Neuer Benutzer Registriert seit: 07.05.2011 Beiträge: 6 PHP-Kenntnisse: Anfänger	Textfile einlesen, prüfen, ausgeben Hallo zusammen Ich hab ein Weilchen nach einer passender Lösung gesucht, finde aber immer nur Fragmente der Lösung und ich hätte gerne eine passende Lösung ohne grosse Umwege weshalb ich mich mal hier erkundigen möchte. Ich habe ein Textfile dass täglich um mehrere tausend Zeilen erweitert wird. Ich möchte dieses Textfile einlesen und anschliessend in einem passenden Format wieder ausgeben, damit ich anschliessend dies per Autoimport via SQL in die Datenbank laden kann. Damit nicht täglich alle tausende Zeilen neu geschrieben werden müssen, möchte ich prüfen ab wo die neuen Datensätze sind und dann nur diese erweitern. Damit muss die Datenbank täglich nur einige tausend Zeilen einlesen statt immer alles. Wie gehe ich da am besten vor? Ich danke bereits jetzt für eure Hilfestellung Gruss Justin


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

23.11.2011, 22:35
Arne Drews Erfahrener Benutzer Registriert seit: 22.04.2009 Beiträge: 3.486 PHP-Kenntnisse: Anfänger	Setz den Zeilen einfach einen Timestamp oder reguläres Datum vorweg udn prüf darauf! __________________ Phantasie ist wichtiger als Wissen, denn Wissen ist begrenzt. Probleme kann man niemals mit derselben Denkweise lösen, durch die sie entstanden sind. Albert Einstein

23.11.2011, 23:41
Dreamwatcher Erfahrener Benutzer Registriert seit: 01.12.2009 Beiträge: 109 PHP-Kenntnisse: Anfänger	Hallo, mir fallen jetzt mehrere Wege ein. Weg1: Sende alles an deine Datenbank (mit file hast du ja bereits ein array) mit INSERT IF NOT EXISTS Weg2: Jedesmal wenn du die Daten geschrieben hast, legst du dir davon eine Kopie an. Kommen neue Daten dazu, dann liest du beide Dateien (wieder mit file) ein und benutzt danach array_diff um die differenz zu bekommen. Dann nur noch ab in die DB damit Weg3: Warum behälst du die alten Daten in deiner Textfile? Oder ist es gar nicht deine? Die Wege sind natürlich nur möglich, wenn pro Zeile ein Datensatz vorhanden ist. Hast ja nicht geschrieben wie die Datei genau aussieht und noch weiter will ich meine Hellseher-Fähigkeiten nicht strapazieren...

23.11.2011, 23:45
lstegelitz Erfahrener Benutzer Registriert seit: 07.09.2009 Beiträge: 4.005 PHP-Kenntnisse: Fortgeschritten	Eine Log-Rotation wäre denkbar, dann hast du alle Daten aus einem bestimmten Zeitraum in einer Datei (Stunde oder Tag). Das letzt Log dann zu Beginn des nächsten Zeitraumes von einem Cron-Job verarbeiten lassen. __________________ Über 90% aller Gewaltverbrechen passieren innerhalb von 24 Stunden nach dem Konsum von Brot.

24.11.2011, 00:36
Justin Neuer Benutzer Registriert seit: 07.05.2011 Beiträge: 6 PHP-Kenntnisse: Anfänger	danke für die bereits vielen antworten gibt mir neue denkansätze. das file ist leider nicht von mir sondern bekomme ich so von dhl ich denke der weg2 von dreamcatcher mit dem diff trifft am besten zu ohne grosse umwege zu machen. und ja, pro zeile ist ein datensatz. ich werde es mal mit dieser variante versuchen, sollte ich kläglich scheitern werde ich nochmals um euren rat bitten danke und gruss justin

24.11.2011, 10:24
Arne Drews Erfahrener Benutzer Registriert seit: 22.04.2009 Beiträge: 3.486 PHP-Kenntnisse: Anfänger	Stimmt! Aber wenn die letzte Zeilennummer gespeichert ist, kann man das auch einfacher handeln: PHP-Code: `$lastInsert = getLastRowNumber(); $newRows = array_slice( file('./file-with-lines.txt'), $lastInsert ); foreach( $newRows as $row ) { // transfer to db } saveLastRowNumber( $lastInsert + count($newRows) );` Beitrag editiert: Bei der Menge an Zeilen ist das allerdings nicht performant, da muß ich fab Recht geben! __________________ Phantasie ist wichtiger als Wissen, denn Wissen ist begrenzt. Probleme kann man niemals mit derselben Denkweise lösen, durch die sie entstanden sind. Albert Einstein Geändert von Arne Drews (24.11.2011 um 10:36 Uhr). Grund: siehe fabs Post #9

24.11.2011, 10:26
fab Erfahrener Benutzer Registriert seit: 28.07.2010 Beiträge: 2.308 PHP-Kenntnisse: Fortgeschritten	Du hast doch selber schon darauf hingewiesen: Bei einer Datei in der jeden Tag 1000 Zeilen hinzukommen sollte man sich dreimal überlegen, sie vollständig in den Speicher zu laden wenn es nicht notwendig ist. __________________ PHP Blog + Library CSS Effects + Tools

24.11.2011, 10:36
Arne Drews Erfahrener Benutzer Registriert seit: 22.04.2009 Beiträge: 3.486 PHP-Kenntnisse: Anfänger	Hast recht, siehe Edit... __________________ Phantasie ist wichtiger als Wissen, denn Wissen ist begrenzt. Probleme kann man niemals mit derselben Denkweise lösen, durch die sie entstanden sind. Albert Einstein