Größe des Arrays oder der MySQL-Abfrage in Bytes?

Gumfuzi · 02.10.2006, 20:07

Hallo Leute,

wie kann ich am einfachsten die Größe eines Arrays herausfinden - also nicht die Anzahl der darin enthaltenen Einträge (geht ja mit "count()"), sondern die Summe aller Zeichen in dem Array (rekursiv) - oder eben die größe in Bytes.

Es geht darum, zu überprüfen, wieviele Bytes durch die MySQL-Anfrage an RAM benötigt werden, da der Server manchmal Speicher auslagern muss und ich aber nicht sehen kann, bei welcher Abfrage das passiert.
Darum wollte ich gerne jede Abfrage mitloggen, die SQL-Abfrage ist eine Funktion, daher möchte ich die Byteanzahl gerne dort ermitteln können und dann weiterverwenden.

Entweder es gibt da eine Option beim SQL-Befehl oder ev. kann man die Summe aller Zeichen des Arrays ausrechnen lassen. Habe in der PHP-Doku noch nichts derartiges finden können oder ev. nach dem falschen gesucht...

Hoffe, ich habe das verständlich erklärt.

Vielen Dank für eure Tipps!

P.S.:
mit dem Code erhalte ich schonmal die Felderanzahl:

Code:

echo mysql_num_rows($result) * mysql_num_fields($result);

(Zeilen * Spalten)

nur die Bytegröße scheint nicht machbar zu sein...

Freeaak · 02.10.2006, 20:40

PHP-Code:

  <?php

function getArrayBytes($arr)

{

    foreach($arr as $key=>$val) $str .= is_array($val) ? getArrayBytes($val) : $val;

    return $str;

}

$arr = array("text",123,array(321,"blaaa",'asdfghjk'),1234567890);

echo strlen(getArrayBytes($arr));

?>

gibt dir die byte-größe des inhalts eines arrays rekursiv wieder (auch mehrdimensional)

Der_Gerhard · 02.10.2006, 21:19

Ich weiß nicht so genau, was diese Funktion da liefert, aber glaube nicht, dass das eine brauchbare Anzahl an Bytes der ursprünglichen Werte ist.

Bei allen Zahlen wird nur die Länge der Zahlendarstellung in einem String genommen. Nicht der Speicherbedarf der Zahl.

Außerdem ist noch zu unterscheiden, auf welchem Rechner das alles läuft.
Auf dem Server, auf dem das PHP-Script ausgeführt wird, ist pro Abfrage sinnvollerweise nur eine gerade bearbeitete Zeile im Speicher.

Auf dem Rechner, wo MySQL läuft, kann das gesamte Ergebnis im Speicher liegen. Wobei es Sache von MySQL ist, ob die Daten im Speicher gehalten werden oder in irgendeine temporäre Datei gepackt werden.

An die Auslastung des MySQL-Servers wirst Du vermutlich gar nicht rankommen.

Um den Speicherbedarf auf dem PHP-Server zu ermitteln, könntest Du den freien Speicher vor und nach der Operation ermitteln. (Stichwort: memory_get_usage() ) Das ist zwar nur indirekt, aber bei einer interpretierten Scriptsprache ohne Typbindung und mit beliebigen impliziten Konvertierungen dürfte eine direkte Ermittlung recht schwierig sein.

Gumfuzi · 02.10.2006, 21:43

Zitat:

Invalid argument supplied for foreach() in ...

vorher wird ein SQL-Befehl definiert und mit $result =

Code:

$db->sql_query($sql))

ausgeführt (phpBB Forum) mit

Code:

while ($row = $db->sql_fetchrow($result))

werden die Daten dann Reihenweise verarbeitet.

Danach wird zwischen SQL-Ausführung und der Verarbeitung die Funktion mit "echo strlen(getArrayBytes($result));" aufgerufen.

Werden so DB-Abfragen nicht als Array gespeichert?

*edit*
@Der_Gerhard:
danke für die Info!

Freeaak · 02.10.2006, 22:51

Zitat:

Zitat von Der_Gerhard

Ich weiß nicht so genau, was diese Funktion da liefert, aber glaube nicht, dass das eine brauchbare Anzahl an Bytes der ursprünglichen Werte ist.

Bei allen Zahlen wird nur die Länge der Zahlendarstellung in einem String genommen. Nicht der Speicherbedarf der Zahl.

Außerdem ist noch zu unterscheiden, auf welchem Rechner das alles läuft.
Auf dem Server, auf dem das PHP-Script ausgeführt wird, ist pro Abfrage sinnvollerweise nur eine gerade bearbeitete Zeile im Speicher.

naja, sie gibt die anzahl der zeichen in einem array zurück. und ist ein zeichen nich 1 byte?

Der_Gerhard · 02.10.2006, 23:04

Wenn ein Eintrag den Wert 123456789 hat, so sind das aber je nach Implementierung 4 oder 8 Byte, da es ein 32Bit- oder 64Bit-ZAHLENWERT ist. Bei Deiner Variante sind es 9 Bytes, weil Du Zeichenketten zählst.

Andersrum, aber genauso falsch sieht es aus mit dem Wert 1. Als Zahl 4 oder 8 Bytes, als String 1 Zeichen.

Du konvertierst ja Zahlen erst nach Strings und zählst dann die Länge des Strings. Mit der ursprünglichen Zahl bzw. deren Platzverbrauch hat das doch nichts zu tun.

Außerdem, wird für eine Zeichenkette mehr Speicher benötigt, als darin an Zeichen gespeichert werden sollen.

CC84 · 03.10.2006, 09:01

hat schonmal irgendwer drüber nachgedahct, dass das Ergebnis einer Berechnung nur sehr marginal mit dem Speicherbedarf für seine Berechnung zusammen hängt?
Und da der mysql Server nix anderes macht, als ein Ergebnis zu "berechnen" (ob das nun ein binärer Vergleich ist oder eine wirkliche Rechnung macht dabei keinen Unterschied)
Das heisst, am Ergebnis kann ich nicht mal im Ansatz erkennen, wie viel Speicher der Mysql Server dafür verbraten hat. Wenn du einen Datensatz aus 2 Millionen haben willst, muss der Server (im ungünstigsten Fall) ja 2 Millionen Vergleiche anstellen.
Kannst dir also überlegen wo der Speicher drauf geht und in wie weit du mit php da ran kommst.

Der_Gerhard · 03.10.2006, 11:17

Ja, auf sowas ähnliches hab ich in meiner ersten Antwort schonmal hin gewiesen.

Allerdings wird der MySQL-Server wohl kaum 2 Mio Datensätze gleichzeitig im Speicher halten. Es interessieren ja höchstens die, bei denen der Vergleich positiv ausgefallen ist.

louis · 03.10.2006, 15:40

Zitat:

Zitat von Gumfuzi

Es geht darum, zu überprüfen, wieviele Bytes durch die MySQL-Anfrage an RAM benötigt werden, da der Server manchmal Speicher auslagern muss und ich aber nicht sehen kann, bei welcher Abfrage das passiert.
Darum wollte ich gerne jede Abfrage mitloggen, die SQL-Abfrage ist eine Funktion, daher möchte ich die Byteanzahl gerne dort ermitteln können und dann weiterverwenden.

Wie wäre es, wenn du deinen MySQL Server mitloggen lässt, z.B. so wie hier beschrieben:

http://dev.mysql.com/doc/refman/5.0/...query-log.html

Wenn du da an den Parametern für den slow query ein bisschen schraubst, solltest du doch deine langsamen Anfragen rauskriegen...

Gumfuzi · 03.10.2006, 16:03

Many thanks!!!

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
[Erledigt] MySql Frage: Problem mit einer etwas lomplexeren Abfrage	tomtaz	Datenbanken	5	24.06.2008 22:36
MySQL Abfrage als PHP class	d3rbastl3r	PHP Tipps 2008	2	11.06.2008 15:41
Frage: richtige SQL Abfrage von einer MySQL Spalte die SET werte besitzt	Seb	PHP Tipps 2008	2	29.05.2008 11:36
MySQL Abfrage Von / Bis	andrew22	Datenbanken	1	02.10.2006 11:04
von mysql tabellen die größe in bytes von bestimmten zeilen	Blank	Datenbanken	5	07.08.2006 15:40
MySQL - Abfrage: Unterschiedliche Ergebnisse aus PHP/manuell	horstenpeter	Datenbanken	3	16.07.2006 13:22
mysql abfrage in Schleife	havok	PHP Tipps 2006	6	09.05.2006 08:39
mysql abfrage	mqs	PHP Tipps 2006	4	09.04.2006 17:57
Abfrage bei mySQL 4	ApfeL	Datenbanken	5	24.03.2006 18:53
[Erledigt] MySQL Server startet nicht mehr richtig...		Datenbanken	16	03.03.2006 19:40
Suche Tipps für Persormance-Steigerung (Geld für Nützliches)		Beitragsarchiv	18	16.08.2005 10:57
einfache mysql abfrage und mysql update haut nicht ganz hin	djrace	PHP Tipps 2005-2	6	12.08.2005 15:28
Werte eines Arrays in eine MySQL schreiben		PHP Tipps 2004	2	28.06.2004 13:32
komplizierte mySQL Abfrage		Datenbanken	6	25.06.2004 15:34
[Erledigt] mysql Abfrage		Datenbanken	5	18.06.2004 14:16

02.10.2006, 20:07
Gumfuzi Benutzer Registriert seit: 18.11.2004 Beiträge: 56	Größe des Arrays oder der MySQL-Abfrage in Bytes? Hallo Leute, wie kann ich am einfachsten die Größe eines Arrays herausfinden - also nicht die Anzahl der darin enthaltenen Einträge (geht ja mit "count()"), sondern die Summe aller Zeichen in dem Array (rekursiv) - oder eben die größe in Bytes. Es geht darum, zu überprüfen, wieviele Bytes durch die MySQL-Anfrage an RAM benötigt werden, da der Server manchmal Speicher auslagern muss und ich aber nicht sehen kann, bei welcher Abfrage das passiert. Darum wollte ich gerne jede Abfrage mitloggen, die SQL-Abfrage ist eine Funktion, daher möchte ich die Byteanzahl gerne dort ermitteln können und dann weiterverwenden. Entweder es gibt da eine Option beim SQL-Befehl oder ev. kann man die Summe aller Zeichen des Arrays ausrechnen lassen. Habe in der PHP-Doku noch nichts derartiges finden können oder ev. nach dem falschen gesucht... Hoffe, ich habe das verständlich erklärt. Vielen Dank für eure Tipps! P.S.: mit dem Code erhalte ich schonmal die Felderanzahl: Code: echo mysql_num_rows($result) * mysql_num_fields($result); (Zeilen * Spalten) nur die Bytegröße scheint nicht machbar zu sein...


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

02.10.2006, 20:40
Freeaak Erfahrener Benutzer Registriert seit: 05.04.2005 Beiträge: 1.333	PHP-Code: `<?php function getArrayBytes($arr) { foreach($arr as $key=>$val) $str .= is_array($val) ? getArrayBytes($val) : $val; return $str; } $arr = array("text",123,array(321,"blaaa",'asdfghjk'),1234567890); echo strlen(getArrayBytes($arr)); ?>` gibt dir die byte-größe des inhalts eines arrays rekursiv wieder (auch mehrdimensional) __________________ "Wenn du nicht weißt, was du tust: Machs mit Eleganz!" (Murphy's Gesetze)

02.10.2006, 21:19
Der_Gerhard Erfahrener Benutzer Registriert seit: 08.11.2004 Beiträge: 2.079	Ich weiß nicht so genau, was diese Funktion da liefert, aber glaube nicht, dass das eine brauchbare Anzahl an Bytes der ursprünglichen Werte ist. Bei allen Zahlen wird nur die Länge der Zahlendarstellung in einem String genommen. Nicht der Speicherbedarf der Zahl. Außerdem ist noch zu unterscheiden, auf welchem Rechner das alles läuft. Auf dem Server, auf dem das PHP-Script ausgeführt wird, ist pro Abfrage sinnvollerweise nur eine gerade bearbeitete Zeile im Speicher. Auf dem Rechner, wo MySQL läuft, kann das gesamte Ergebnis im Speicher liegen. Wobei es Sache von MySQL ist, ob die Daten im Speicher gehalten werden oder in irgendeine temporäre Datei gepackt werden. An die Auslastung des MySQL-Servers wirst Du vermutlich gar nicht rankommen. Um den Speicherbedarf auf dem PHP-Server zu ermitteln, könntest Du den freien Speicher vor und nach der Operation ermitteln. (Stichwort: memory_get_usage() ) Das ist zwar nur indirekt, aber bei einer interpretierten Scriptsprache ohne Typbindung und mit beliebigen impliziten Konvertierungen dürfte eine direkte Ermittlung recht schwierig sein. __________________ ******************************** Nein, ich bin nicht die Signatur. Ich putze hier nur. ********************************

02.10.2006, 23:04
Der_Gerhard Erfahrener Benutzer Registriert seit: 08.11.2004 Beiträge: 2.079	Wenn ein Eintrag den Wert 123456789 hat, so sind das aber je nach Implementierung 4 oder 8 Byte, da es ein 32Bit- oder 64Bit-ZAHLENWERT ist. Bei Deiner Variante sind es 9 Bytes, weil Du Zeichenketten zählst. Andersrum, aber genauso falsch sieht es aus mit dem Wert 1. Als Zahl 4 oder 8 Bytes, als String 1 Zeichen. Du konvertierst ja Zahlen erst nach Strings und zählst dann die Länge des Strings. Mit der ursprünglichen Zahl bzw. deren Platzverbrauch hat das doch nichts zu tun. Außerdem, wird für eine Zeichenkette mehr Speicher benötigt, als darin an Zeichen gespeichert werden sollen. __________________ ******************************** Nein, ich bin nicht die Signatur. Ich putze hier nur. ********************************

03.10.2006, 09:01
CC84 Erfahrener Benutzer Registriert seit: 03.01.2006 Beiträge: 253	hat schonmal irgendwer drüber nachgedahct, dass das Ergebnis einer Berechnung nur sehr marginal mit dem Speicherbedarf für seine Berechnung zusammen hängt? Und da der mysql Server nix anderes macht, als ein Ergebnis zu "berechnen" (ob das nun ein binärer Vergleich ist oder eine wirkliche Rechnung macht dabei keinen Unterschied) Das heisst, am Ergebnis kann ich nicht mal im Ansatz erkennen, wie viel Speicher der Mysql Server dafür verbraten hat. Wenn du einen Datensatz aus 2 Millionen haben willst, muss der Server (im ungünstigsten Fall) ja 2 Millionen Vergleiche anstellen. Kannst dir also überlegen wo der Speicher drauf geht und in wie weit du mit php da ran kommst.

03.10.2006, 11:17
Der_Gerhard Erfahrener Benutzer Registriert seit: 08.11.2004 Beiträge: 2.079	Ja, auf sowas ähnliches hab ich in meiner ersten Antwort schonmal hin gewiesen. Allerdings wird der MySQL-Server wohl kaum 2 Mio Datensätze gleichzeitig im Speicher halten. Es interessieren ja höchstens die, bei denen der Vergleich positiv ausgefallen ist. __________________ ******************************** Nein, ich bin nicht die Signatur. Ich putze hier nur. ********************************

03.10.2006, 16:03
Gumfuzi Benutzer Registriert seit: 18.11.2004 Beiträge: 56	Many thanks!!!