Funktion für seitenweises Blättern bei großen Datenmengen

madhatter · 13.07.2005, 19:42

Ich habe ein großes Problem.
Ich habe eine Datenbank mit ziemlich vielen Datensätzen drin. Es sind sicherlich mehr als 300 Tsd. Zeilen. Hieraus sollen zwei Spalten nach verschiedenen Begriffen durchgesucht werden. Das ist natürlich kein Problem. Mit LIMIT im query frage ich nacheinander die Ergebnisse aus der Datenbank, je 20 pro Seite ab. Die Abfrage läuft ziemlich schnell.

Um aber die Blätter-Navigation zu erstellen muss ich alle Datensätze durchsuchen um mit SELECT COUNT(*) die gesamtanzahl der Ergebnisse festzustellen. Aus der Gesamtzahl der Ergebnisse kann ich dann ableiten wieviele Seiten es letzendlich werden.

Das Problem nun ist, dass die Abfrage der Anzahl aller Ergebnisse ziemlich lange dauert. Sowas kann ich den Besuchern nicht zumuten.

Nun habe ich gedacht, dass man vielleicht im Voraus in der Datenbank irgendeine Art Index hinterlegen könnte welcher festhält wieviele Einträge pro gesuchtes Wort in der Datenbank vorliegen. So könnte ich ziemlich schnell die Anzahl abfragen.
Sowas kann ich aber hier nicht realisieren, da ich nicht weiß, nach welchen Begriffen die Besucher suchen werden.

Habt Ihr vielleicht eine Idee, wie ich diesem Problem begegnen muss. Wie lösen sowas andere z.B. Google. Die haben sicher noch ein paar mehr Daten als ich und trotzdem geht das bei Ihnen ziemlich flot (klar, die haben bessere Technik und nutzen auch sicher ein anderes Datenbank-System).

Für Vorschläge wäre ich sehr dankbar.

Waq · 13.07.2005, 20:27

Google etc. machen das, indem die ihre DB-Abfragen optimieren.
Wenn deine Abfrage zu lange dauert, machst Du wohl was falsch.
Mehr kann man dazu ohne hellseherische Fähigkeiten nicht sagen.

Der Beitrag wurde verschoben, wegen...
... Postings im falschen Forum. Bitte beim nächsten Mal darauf achten..

moved to MYSQL

madhatter · 13.07.2005, 21:04

Mensch Waq... vielen Dank. Dann weiß ich worans lag

derHund · 13.07.2005, 21:30

- wie sehen deine tabellen aus?
- wie sehen deine queries aus?
- was sagt EXPLAIN?

madhatter · 14.07.2005, 09:29

Das ist die Tabelle:

CREATE TABLE `produkt` (
`produktID` int(10) unsigned NOT NULL auto_increment,
`produktName` varchar(200) character set latin1 collate latin1_general_ci NOT NULL default '',
`hersteller_produktName` varchar(200) character set latin1 collate latin1_general_ci NOT NULL default '',
`preis` double(10,2) unsigned default NULL,
`link` varchar(255) character set latin1 collate latin1_general_ci NOT NULL default '',
PRIMARY KEY (`produktID`),
KEY `herstellerName` (`herstellerName`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1 AUTO_INCREMENT=1924198 ;

und hier der query:

SELECT COUNT(*) AS num_entries FROM produkt WHERE produktName LIKE '%".$keyword."%' OR hersteller_produktName LIKE '%".$keyword."%'

EXPLAIN muss ich noch mal machen.
Ich habe noch mal nachgeschaut. Es sind nicht 300 Tsd. sondern ca. 2 Mio. Zeilen.

axo · 14.07.2005, 09:47

mach's so, wie du's im ersten posting bereits gesagt hast:
zusätzliche tabelle mit der anzahl der postings oder noch besser

search:
searchID | keyword | productID ... (UNIQUE keyword, productID)
... d.h. bei jeder suche schaust du erstmal ob nach dem keyword schon einmal gesucht wurde, wenn nein, startest du eine neue suche, und zwar mit

INSERT IGNORE INTO search (keyword,productID) VALUES (SELECT '$keyword', productID FROM ding WHERE produktName LIKE blah) ...

und dann gibst du die suchergebnisse mithilfe deines COUNT(*) FROM search WHERE keyword = $keyword aus ...

vielleicht hilft das schon - du solltest natürlich eine LIIKE-abfrage nicht zweimal starten.

madhatter · 14.07.2005, 14:56

Vielen Dank.
Ich werde es ausprobieren.

Waq · 14.07.2005, 15:32

Zitat:

Zitat von madhatter

produktName LIKE '%".$keyword."%'

Das ist schonmal ungünstig. Mit dem % am Anfang kann man keinen Index benutzen, eine Volltextsuche (nur nach ganzen Wörtern, nicht nach Wortbestandteilen) ist nicht machbar?

Zitat:

Zitat von madhatter

OR

Und das ist der Killer. Müsste man irgendwie vermeiden, z.B. über getrennte Abfragen und ein UNION.

Fulltext-Indizes auf produktName und hersteller_produktName wären natürlich noch anzulegen.

14.07.2005, 17:11

phpBB z.B. trennt neue Beiträge -wenn sie eingetragen werden- in die einzelnen Worte auf und trägt diese in zwei Tabellen ein.
1) wort_id, wort
2) wort_id, post_id

also z.B. 34,hallo und 34,9001
im post mit der id 9001 befindet sich das Wort hallo
Das werden ziemlich große Tabellen, dafür geht die Suche schnell.

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
JS: Einführung - Javascript im Schichtenmodell	nikosch	Tutorials	4	11.04.2009 17:06
PHP-GTK Tutorial		Beitragsarchiv	9	02.11.2005 21:07
Rückgabewert einer rekrusiven Funktion		PHP-Fortgeschrittene	7	06.10.2005 18:44
(schnellere) Funktion zum Zusammenfassen von CSS		PHP-Fortgeschrittene	21	08.08.2005 16:47
Funktion in einer Funktion aufrufen?		PHP Tipps 2005-2	11	14.06.2005 15:14
[Erledigt] Wie kann ich beliebig viele Werte an eine Funktion übergeben		PHP Tipps 2005	11	25.01.2005 10:44

13.07.2005, 19:42
madhatter Benutzer Registriert seit: 13.07.2005 Beiträge: 69	Funktion für seitenweises Blättern bei großen Datenmengen Ich habe ein großes Problem. Ich habe eine Datenbank mit ziemlich vielen Datensätzen drin. Es sind sicherlich mehr als 300 Tsd. Zeilen. Hieraus sollen zwei Spalten nach verschiedenen Begriffen durchgesucht werden. Das ist natürlich kein Problem. Mit LIMIT im query frage ich nacheinander die Ergebnisse aus der Datenbank, je 20 pro Seite ab. Die Abfrage läuft ziemlich schnell. Um aber die Blätter-Navigation zu erstellen muss ich alle Datensätze durchsuchen um mit SELECT COUNT(*) die gesamtanzahl der Ergebnisse festzustellen. Aus der Gesamtzahl der Ergebnisse kann ich dann ableiten wieviele Seiten es letzendlich werden. Das Problem nun ist, dass die Abfrage der Anzahl aller Ergebnisse ziemlich lange dauert. Sowas kann ich den Besuchern nicht zumuten. Nun habe ich gedacht, dass man vielleicht im Voraus in der Datenbank irgendeine Art Index hinterlegen könnte welcher festhält wieviele Einträge pro gesuchtes Wort in der Datenbank vorliegen. So könnte ich ziemlich schnell die Anzahl abfragen. Sowas kann ich aber hier nicht realisieren, da ich nicht weiß, nach welchen Begriffen die Besucher suchen werden. Habt Ihr vielleicht eine Idee, wie ich diesem Problem begegnen muss. Wie lösen sowas andere z.B. Google. Die haben sicher noch ein paar mehr Daten als ich und trotzdem geht das bei Ihnen ziemlich flot (klar, die haben bessere Technik und nutzen auch sicher ein anderes Datenbank-System). Für Vorschläge wäre ich sehr dankbar.


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

13.07.2005, 20:27
Waq Erfahrener Benutzer Registriert seit: 15.08.2004 Beiträge: 2.473	Google etc. machen das, indem die ihre DB-Abfragen optimieren. Wenn deine Abfrage zu lange dauert, machst Du wohl was falsch. Mehr kann man dazu ohne hellseherische Fähigkeiten nicht sagen. Der Beitrag wurde verschoben, wegen... ... Postings im falschen Forum. Bitte beim nächsten Mal darauf achten.. moved to MYSQL __________________ mod = master of disaster

13.07.2005, 21:04
madhatter Benutzer Registriert seit: 13.07.2005 Beiträge: 69	Mensch Waq... vielen Dank. Dann weiß ich worans lag

13.07.2005, 21:30
derHund Erfahrener Benutzer Registriert seit: 29.10.2004 Beiträge: 1.781	- wie sehen deine tabellen aus? - wie sehen deine queries aus? - was sagt EXPLAIN? __________________

14.07.2005, 09:29
madhatter Benutzer Registriert seit: 13.07.2005 Beiträge: 69	Das ist die Tabelle: CREATE TABLE `produkt` ( `produktID` int(10) unsigned NOT NULL auto_increment, `produktName` varchar(200) character set latin1 collate latin1_general_ci NOT NULL default '', `hersteller_produktName` varchar(200) character set latin1 collate latin1_general_ci NOT NULL default '', `preis` double(10,2) unsigned default NULL, `link` varchar(255) character set latin1 collate latin1_general_ci NOT NULL default '', PRIMARY KEY (`produktID`), KEY `herstellerName` (`herstellerName`) ) ENGINE=MyISAM DEFAULT CHARSET=latin1 AUTO_INCREMENT=1924198 ; und hier der query: SELECT COUNT(*) AS num_entries FROM produkt WHERE produktName LIKE '%".$keyword."%' OR hersteller_produktName LIKE '%".$keyword."%' EXPLAIN muss ich noch mal machen. Ich habe noch mal nachgeschaut. Es sind nicht 300 Tsd. sondern ca. 2 Mio. Zeilen.

14.07.2005, 09:47
axo Erfahrener Benutzer Registriert seit: 24.12.2004 Beiträge: 1.814	mach's so, wie du's im ersten posting bereits gesagt hast: zusätzliche tabelle mit der anzahl der postings oder noch besser search: searchID \| keyword \| productID ... (UNIQUE keyword, productID) ... d.h. bei jeder suche schaust du erstmal ob nach dem keyword schon einmal gesucht wurde, wenn nein, startest du eine neue suche, und zwar mit INSERT IGNORE INTO search (keyword,productID) VALUES (SELECT '$keyword', productID FROM ding WHERE produktName LIKE blah) ... und dann gibst du die suchergebnisse mithilfe deines COUNT(*) FROM search WHERE keyword = $keyword aus ... vielleicht hilft das schon - du solltest natürlich eine LIIKE-abfrage nicht zweimal starten.

14.07.2005, 14:56
madhatter Benutzer Registriert seit: 13.07.2005 Beiträge: 69	Vielen Dank. Ich werde es ausprobieren.

14.07.2005, 17:11
Gast Beiträge: n/a	phpBB z.B. trennt neue Beiträge -wenn sie eingetragen werden- in die einzelnen Worte auf und trägt diese in zwei Tabellen ein. 1) wort_id, wort 2) wort_id, post_id also z.B. 34,hallo und 34,9001 im post mit der id 9001 befindet sich das Wort hallo Das werden ziemlich große Tabellen, dafür geht die Suche schnell.