Hallo Leute,
für das gemeinnützige Projekt http://www.kosmolingua.de (Wörterbuch von 200+ Sprachen in 200+ Sprachen möchte ich gerne auch ähnliche Wörter zeigen. Also wenn der Nutzer eintippt lofe (statt love) sollte "Meinten Sie: love" gezeigt werden.

Ich hab mit soundex schon rumexperimentiert, aber bin zu keinem vernünftigen Ergebnis gekommen.

Mir ist bekannt, dass es in php Möglichkeiten gibt 2 strings mit einander zu vergleichen. Hier müsste ich aber (das Wortverzeichnis hat pro Sprache zur Zeit 15.000 Vokabel) jede einzelne Zeile der DB auslesen und vergleichen.

Habt Ihr vielleicht ein paar Ideen, wie ich das anstellen kann, ohne jede Zeile in der Datenbank mit dem eingegebenen Suchbegriff vergleichen zu müssen?

Merci für Eure Anregungen,
Grüße
Jo

Mister Ad

axo

wenn du das ganze zur laufzeit machen willst, kannst du das so ziemlich vergessen.
php ist für kleinere datenmengen schon recht gut zu haben, aber strinvergleiche über 15.000 + wörter sind zwar machbar, aber nicht performant genug.
ich bezweifle auch, dass es überhaupt eine möglichkeit gibt, soche heuristischen analysen zur laufzeit anzustellen. das ganze liegt wohl auch an der NP-vollständigkeit menschlicher sprache.

eines der zauberworte heißt stemming - das funktioniert für fast jede sprache. damit kannst du schonmal 'gehen' und 'geht' oder 'springen' und 'springt' gemeinsam nutzen. das ganze funktioniert allerdings auch nicht zur laufzeit, sondern wird zur erstellung einer oder mehrerer index-tabellen verwendet, und erst die index-tabellen werden zur laufzeit durchsucht.

praktikable lösung:
lege eine datenbanktabelle mit 'falsches wort' -> 'vermutlich gemeintes wort' an, und verwende wordstemming und diverse andere methoden, um diese tabelle zu füllen.
das suchen in so einer (dann auch korrekt indizierten) tabelle ist dann auch performant genug.

marsch

Moin,

lege doch neben der Spalte "Wort" noch eine Spalte "SoundEx" an und speichere dort diesen zum Wort passenden. Und dann machst Du 2 Abfragen, eine sucht die genaue Entsprechung und die zweite in der Spalte mit den Soundexen... ich weiß ja nicht, was genau du damit experimentiert hast.
Ach ja, Indizierung nicht vergessen, dann ist es auch kein Table scan.

__________________
Cheers, Marco

Hey danke für die Anregungen, das ist total klasse!

Ich habe nun folgendes gemacht (weil bei 200 Sprachen das irgendwie ein RIESEN Aufwand wäre für jede Datenbank eine "Vergleichstabelle" anzulegen) - Ich schummle etwas mit soundex in Kombination mit metaphone. Funzt zwar nicht 100% bei allen Sprachen, aber zumindest bei den Romanischen Sprachen zu 60% (das Eine oder Andere absolut unsinnvolle Wort ist noch dabei, aber naja das ist eben Künstlerpech *lol*)


Nochmals vielen Dank, Ihr habt mir sehr geholfen!

Grüße
Jo