Bytes

Hallo Gemeinde

Bezüglich einer komplexeren Aufgabenstellung wende ich mich an Euch, in der Hoffnung auf ein paar konstruktive Hinweise und Tricks.

Von einem Gerät zur Zeitmessung (Sport) übernehme ich Daten via Serial-Port (Strafpunkte und gemessene Zeit) in ein Excel Sheet (*.xls). Leider bin ich hierbei gezwungen Excel zu verwenden, wegen anderer Applikationen, welche darauf zugreifen.

Meine Idee, wäre nun, das Excel File per Script nach jedem neuen Eintrag automatisch auf einen WebServer (Linux, PHP, MySQL) zu kopieren oder direkt dort abzuspeichern (Nach dem Eingang neuer Daten in die *.xls wird jenes automatisch gespeichert).
Das Auslesen der *.xls kann ich mittels PHPclass sicherlich einfach lösen und somit auch den Eintrag in eine MySQL-Table. Daraus könnte dann eine Live-Rangliste generiert und an die Browser ausgegeben werden.
Jetzt kommt aber die Performance-Frage. Bis zu 500 Besucher verfolgen den Resultate-Ticker. und um wirklich auch live zu senden, müsste ich die MySQL ca. alle 2-3 Sekunden pollen.
Andere Idee wäre dass ich bei mir eine Admin-Seite laufen lasse, welche die MySQL pollt und entsprechend eine Variable in einer Datei auf dem Server bedient und die Browser dann nur auf diese Variable pollen und erst von der MySQL auslesen, sobald diese neue Werte hat. Oder aber gerade eine ganze XML - Struktur in einer Datei bereitlegen, wo die Browser darauf zugreifen können, und lediglich die Datei geupdatet wird bei neuen Einträgen. Oder bringt es gar nichts, wenn ich die User nicht direkt an die Datenbank lasse?

Weiss jemand ein anderes Workaraound was Sinn ergäbe.

Vielen Dank im voraus und freundliche Grüsse

Bytes

Mister Ad

Chriz

Hallo und willkommen im Forum.

Waere es nicht sinnvoller die Daten direkt in die DB zu speichern und daraus das Excel zu generieren? Faende ich zumindest die logischere Vorgehensweise.

Dann noch die Frage, wie du dir vorstellst, dass die Seite alle 2-3 Sekunden nachgeladen wird? Ist das wirklich realistisch?

Vielleicht kannst du die Daten statisch rausrendern (cachen) und aus dieser Cachedatei nachladen. So entlastest du - falls ueberhaupt notwendig - die Datenbank. Das Laden der Cachedatei kannst du dann ueber AJAX o.ae. loesen.

Das mal aus Programmierersicht. Evtl. musst du dann falls noetig noch die Serverhardware nachruesten bzw. es in Betracht ziehen. Dazu fehlt mir aber das notwendige Knowhow, um dir Ratschlaege zu geben.

__________________
"Nuschel ich?" - "Was?"

Bytes

Hi Chriz

Danke für die Schilderung Deiner Ansicht.

Tatsächlich ist es logischer, so vorzugehen wie Du es schilderst. Die Daten ab RS232 direkt in eine Datenbank zu knallen und dann daraus ein Excel zu generieren für die Weiterverwendung habe ich aber auch schon studiert. Leider ist es dabei so, dass die Excel-Datei fortlaufend von externen, fremden Applikationen beschrieben wird. Daher müsste auch diese Excel-Datei wiederum direkt zurückfliessen in die DB.

Jedoch bin ich inzwischen auf der Suche nach einem Weg über ein lokales Datenbank-System, welches sich offener gegenüber Excel verhält als MySql. So könnte ich Off und Online arbeiten.

Das Vorgehen auf dem Server zur Ausgabe ist dann eine kleinere Geschichte, wenn die notwendigen Daten mal verfügbar sind. Habe im ersten Post nur mal erwähnt, wie ich es sehe um die Datenbank dann auch möglichst wenig zu belasten. Messungen etc. sind aber bis anhin nocht nicht gemacht worden. Dass aber AJAX zum Einsatz kommen "muss" steht fest, anders wäre es nicht zu lösen. Allenfalls dass ich für die mobilen Endgeräte Apps erstellen würde (Iphone, Android) da diese ca. 50% der User ausmachen.

Chriz

Hier könntest du [Google] Gears und SQLite verwenden. Allerdings solltest du dir vorher Gedanken über die Synchronisierung machen.

__________________
"Nuschel ich?" - "Was?"

DirkHo

Hallo Bytes,

mal ganz dumm gefragt: Wenn du schon Excel hast, warum lässt du dir die gemessenen Zeiten dann nicht automatisiert über VBA ordnen und schiebst es dann als CSV auf den Server?

Dann müsstest du eine Datei hochschieben, für die anderen Systeme die deine Daten verwenden hast du ja noch das Excel-Sheet - je nachdem wie die auf das Excel-Sheet zugreifen können die vielleicht auch auf die CSV-Datei zugreifen?!

Aus der CSV könntest du dann live, ohne Weiterverarbeitung, die Daten in

a) eine HTML-Seite schreiben
b) direkt aus der CSV heraus ausgeben (mit Java habe ich sowas schon realisiert - k.A., wie viele Leute darauf zugegriffen haben, aber ich denke, das waren mehr als 500 gleichzeitig) und performanztechnisch war das gut.

Viele Grüße,

Dirk

Bytes

Danke für die Tipps... Gears sagt mir gar nichts. Für die Synch-Funktionen, wäre SQLite sicher am einfachsten zu verwenden. Erfahrungen mit Oracle hätte ich, jedoch scheint mir dies für meine Absichten zu mächtig und ungeeignet.

Im weiteren habe ich mir noch überlegt, aus der Excel-Datei mittels Makro beim automatischen Speichern ein XML zu generieren und dieses dann für die Zwecke auf dem Inet-Server zu verwenden und die Daten dann erst in die Datenbank einzutragen, wenn die Rangliste vollständig ist.

Vielen Dank für die Anregungen. Du bringst mich wirklich weiter im Hinblick auf die Findung des richtigen Lösungsweges.

Bytes

@Dirk

Vielen Dank für Dein Statement.... Habe Dein Post erst nach meiner Stellungnahme gelesen. Aber ja... Deinen Ansatz muss ich weiterverfolgen. Wie eben geschrieben, ging mir ja ähnliches mittels XML durch den Kopf.

Ich finde es Klasse, dass ich durch die konstruktiven Antworten hier so weitergebracht werde. Dadurch kann ich etwas breiter sehen und neue Wege in Betracht ziehen, wo ich selber gar nicht drauf gekommen wäre, auch wenn sie so naheliegend scheinen.

THANKS!!!!

DirkHo

Ja, ab und an sind die einfachsten Wege oft die, die man nicht findet - wäre damals auch nie auf die Idee gekommen sowas über CSV-Dateien zu lösen, aber da die Stromdaten eben so kamen und (gut, da war es im 1/4-Rhythmus) nicht jedes Mal in die DB geschrieben werden sollte wurde eben auf die CSVs zurückgegriffen, was die damaligen Software-Architekten auch für sinnvoll hielten...

Die Aufbereitung der Daten haben wir über CronJobs und Skripte geregelt - aber wie gesagt, da kamen die Dateien im 1/4-Stunden-Rhythmus. Das wird bei dir dann halt weniger gehen.

Bytes

Auf jeden Fall bin ich echt zufrieden mit dem Erfolg dieses Threads... Hätte nicht gedacht, dass hier so rasch so viele kompetente Informationen zusammen-kommen. Ich werde mich wohl mit diesen Anregungen am besten jetzt mal an einen Flip-Chart halten und die Architektur durchplanen.

Gerne werde ich zu gegebener Zeit hier posten, was ich wie umsetzen werde oder umgesetzt habe!

Ein herzliches Dankeschön Dirk und Chriz!

DirkHo

Gern geschehen. Wenn das Ganze öffentlich ist wäre auch eine URL nicht schlecht zu dem, wie du es im Endeffekt umgesetzt hast. Würde mich dann auch performanztechnisch interessieren.

Viele Grüße,

Dirk