performance probleme in der community

[phoetron]

hallo,

ich hoffe, dass ich in diesem Forum richtig bin, denn eigentlich habe ich ein grundsätzliches Problem.
Ich werde aber erst mal ein wenig von meiner Seite erzählen.
Ich habe mit meinem Kumpel eine Community programmiert, www.wiealt.de
Es ist eine relativ normale Community mit Buddyfunktion, Pm System, Votingsystem, Loginsystem mit Sessions, Forum, Nickpage, Gästebuch, usw..
Jetzt trifft mich ein Problem, womit ich mich nie beschäftigt habe:
Performance
Ich suche und suche und finde keine richtigen Lösungswege um mir zu helfen. Bereits bei 150 User online beginnt der Server zu laggen, mit 70% Beteiligung des Mysql Prozesses. Es muss wohl an der Zahl der Queries liegen bzw wie ich sie verwende. Kann mir denn jemand konkrete Hilfe leisten, um richtige Literatur, sei es in Form von Büchern oder Internetseiten zu finden? Oder hat jemand von euch eine ähnliche Seite gebaut und hat dieses Stadium bereits erfolgreich überschritten? Ich wäre über jeden Tipp dankbar, der mir aus diesem Problem helfen könnte.
Denn eines ist klar, der rootserver müsste über 500 User online schlucken können, hier die Hardware:

CPU > Opteron™ 148
RAM > 1 GB
HDD (sofern von Bedeutung) > RAID1 160GB
und dazu noch:

/dev/hda:
Timing cached reads: 2300 MB in 2.00 seconds = 1149.60 MB/sec
Timing buffered disk reads: 116 MB in 3.02 seconds = 38.42 MB/sec

ich denke der Wert wird in Ordnung sein.

Sind in der Datenbank die passenden Indizes gesetzt?
Wenn Du bspw eine Abfrage SELECT x,y,z FROM t where abc=45 hast, sollte auf abc ein Index liegen. Noch dringender, wenn Du JOIN benutzt.
a JOIN b ON a.v=b.v, wenn da nicht in Tabelle a und b jeweils ein Index für das Feld v gebildet wird, wird's schnell schlimm.
EXPLAIN kann Dir sagen, ob mysql für eine Abfrage passende Indizes vorliegen.
http://dev.mysql.com/doc/refman/5.1/en/explain.html

[Zergling-new]

Willkommen im Forum

Wieviele und beispielsweise welche Queries verschickst du denn pro üblichem Seitenaufruf?
Hast du SQL-Statements, die in Schleifen ausgeführt werden?
Sind die Indizes richtig gesetzt (siehe Bruchpilot)?
Verwendest du SELECT * FROM oder selektierst du nur die Spalten, die du benötgist?
Kannst du bestimmte Bereiche der Page (News, Navigation (falls sie aus der DB generiert wird), Online-Status, ..) cachen?

[phoetron]

Wieviele und beispielsweise welche Queries verschickst du denn pro üblichem Seitenaufruf?
keine ahnung, ich bin dabei den code so umzuschreiben, dass er mir das ausgibt
ich denke zuviel bei 100 user online habe ich ~ 200 qps
Indizes sind meiner Meinung nach richtig gesetzt, wäre aber über nützliche Tipps wie von Bruchpilot sehr dankbar
ich verwende immer select spalte, spalte from
zu dem punkt cachen, muss ich passen, hab ich noch nichts damit gearbeitet.

[Flor1an]

Da wir nicht deinen Code kennen können wir schlecht rausfinden wodran es liegen könnte. Hast du bei Abfragen wo du z.B. zu nem bestimmten Eintrag noch aus der Usertabelle z.b. den Namen etc. rausholst, JOIN verwendet oder hast du da 2 Querys draus gemacht? Könnte halt sein dass du relativ viele Querys hast die man in einen verpacken könnte.

[Basti]

LIMITs konsequent genutzt?

Benutzt du vielleicht ORM und baust dir z.B. um die Mitglieder-Anzahl rauszufinden erstmal alle Mitglieder-Objekte incl. eigenem SELECT? ...etwas übertriebene Frage, aber könnte ja sein. *g

Basti

Zitat von phoetron

Denn eines ist klar, der rootserver müsste über 500 User online schlucken können, hier die Hardware:

Das halte ich für ein Gerücht! Bei 500 gleichzeitigen Zugriffen kannste locker von 6 GB RAM ausgehen. Der MySQL Server müßte dann 'daneben' stehen und über eine 2. Netzwerkkarte angeschlossen werden. Dazu mußt Du Dir dann noch was einfallen lassen, damit Linux die jeweiligen Sessionfiles schnell genug findet. Es sind ja dann nicht nur die 500 aktuellen sondern noch ein Sack voll Karteileichen.

Dieses langweilige Forenscript (phpBB) loft auf einer ähnlichen Maschine (1GB RAM, wenn ich mich recht entsinne) und würde die Kiste schon bei 100 Usern erbarmungslos in den Keller ziehen. Bei 500 Usern könntest Du jedes beim User eintreffende Byte mit einem Tusch begrüßen.

[Chance]

Schade... mein CommunityScript konnte noch nicht so getestet werden... ^^ .

Ich verwende redundanten Code.
Dh. die relevanten Daten sind zwischengespeichert.
Erfordert zwar mehr Wartung, reduziert aber die Querys extrem.

[Zergling-new]

Zitat von Chance

Ich verwende redundanten Code.
Dh. die relevanten Daten sind zwischengespeichert.

Cachen oder inwiefern redundanten Code?

[Chance]

Die Userdaten z.B. speichere ich in einer Session.
Bei jedem lesen der UserOnline Tabelle wird überprüft, ob ein Wert für den User vorliegt, der Anweist, die Userdaten neu aus den Tabellen einzulesen.

In der UserOnline Tabelle wird auch der Nickname gespeichert, UserID etc.
Und bei jedem Neuladen werden diese Daten geupdatet, die Daten sind dadurch automatisch aktuell, auch wenn sie nicht direkt ausgelesen werden.