Doppelte einträge löschen

Riks · 24.04.2007, 20:05

Hi,

es gibt zwar schon threads mit "doppelte einträge löschen", aber die behandeln leider nich das, was ich suche.

Nach dem zusammen legen von 2 datensätzen auf eine objectID gibt es jetzt datensätze die gleich sind:

vorher:

Code:

objectID  value
    1       2
    1       3
    1       4
    2       3
    3       3

nachher:

Code:

objectID  value
    1       2
    1       3
    1       4
    1       3
    1       3

kann ich irgendwie in der WHERE anweisung einer DELETE anfrage angeben das er jetzt doppelte einträge löschen soll (eins behalten)?

Riks

nikosch · 24.04.2007, 21:37

Hallo Riks,

über den ALTER Befehl mit ADD UNIQUE müßte Dein Problem lösbar sein.

Zergling-new · 24.04.2007, 22:27

@nikosch77:
Ich würde vermuten, dass der Befehl fehlschlägt, da es für die Spalte bereits doppelte Einträge gibt. Ein "Automerge" wäre mir neu.

Komplett gleiche Datensätze verstossen übrigens gegen das relationale Datenbank-Modell.
Ein Eintrag MUSS eindeutig ientifizierbar sein, notfalls ist der Primärschlüssel aus allen Spalten zusammengesetzt. Entfern die doppelten Einträge also dauerhaft. Ich hoffe mal, das ist nur ein einmaliger "Reinigungs"-Vorgang

Ehrlich gesagt wüsste ich nicht, wie du das mit einem Statement löst, aber da bin ich auch nicht so der König.
Schließlich kannst du wie erwähnt nicht untereinander zwischen Mehrfacheinträgen unterscheiden.

Ich würde wohl alle doppelten Kombinationen herausfiltern & deren Anzahl, und diese dann einzeln löschen. Nicht sehr performant, aber immerhin.

Doppelte zählen:
SELECT object_id, value FROM table WHERE CONCAT(object_id, '#', value) IN (SELECT DISTINCT CONCAT(object_id, '#', value) FROM table GROUP BY (object_id, value) HAVING COUNT(*) > 1)

Wie kam es denn zu diesem Katastrophen-Zustand in der DB?

Edit: Evtl. kannst du eine zusatzliche Auto-Increment/ID-Spalte einfügen, damit du wenigstens während dem Entfernen der doppelten Einträge eine Spalte eindeutig identfizieren kannst. Danach kannst du sie ja wieder entfernen.

Riks · 25.04.2007, 09:37

Das ganze entsteht wenn ich mehrere Objekte in der Datenbank zusammenfüge dann wird die objectID gleichgesetzt. Es ist also ein Reinigungsvorgang

. und damit eben values nicht doppelt angezeigt werden, sollen die gelöscht werden. Hab das jetzt in 3 schritten gelöst. Zuerst werden alle values in ein array gespeichert die objectID 1 besitzt. Dann werden alle values der anderen objectIDs auf objectID 1 gesetzt deren Values nicht im array sind und zum schluss werden alle einträge gelöscht die noch die alten objectIDs besitzen.

KingCrunch · 25.04.2007, 11:20

Joa, so hätte ich das auch gemacht, solang die Tabelle noch nicht zu groß ist. Ist schließlich ein einmaliger Vorgangen. Hättest du aber vorher daran gedacht, wäre es einfacher

Erstmal alles rein und danach guckn, was man überhaupt haben willst, ist nicht die feine englische Art

Riks · 25.04.2007, 14:06

Na ja, das ist vllt grob gleichzusetzen mit dem zusammenfügen von threads in einem forum, da weiß man vorher auch nicht welche threads man wann zusammenfügt...

Danke auf jeden fall für eure tipps und hinweise!

nikosch · 25.04.2007, 19:29

ok, über ALTER gehts wirklich nicht. Aber du kannst eine Tabelle mit der gleichen Strukur erstellen und dann mit

Code:

INSERT INTO Table2 SELECT DISTINCT * FROM Table1

die Werte dorthin kopieren.

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
[gelöst]LEFT JOIN, DINSTINCT und trotzdem doppelte?!?!	stefanjann	Datenbanken	10	06.02.2008 11:49
Doppelte Einträge aus Array Filtern	Robstar	Datenbanken	25	01.06.2006 11:56
RegExp: doppelte Zeichen finden	Zergling-new	PHP Tipps 2006	2	13.04.2006 19:26
Doppelte DB-Einträge pro Jahr als 1 Eintrag / Jahr zählen.	aherzog	PHP Tipps 2006	10	25.03.2006 23:28
Select - doppelte Ergebnisse	ragman	Datenbanken	3	26.01.2006 11:53
Sicherung gegen doppelte Einträge	Maho88	PHP Tipps 2006	5	02.01.2006 12:49
nicht doppelte zufallszahlen	imported_kontur	PHP Tipps 2005-2	6	15.10.2005 17:30
doppelte Werte / Strings einer Spalte nur einmal ausgeben...		Datenbanken	2	29.07.2005 12:10
doppelte Einträge aus Datenbank anzeigen	Lia	PHP Tipps 2005	9	24.05.2005 14:49
innerhalb eines echos doppelte anführungsstriche		PHP Tipps 2005	4	04.03.2005 12:53
Doppelte Werte im Array löschen mittels hash		PHP Tipps 2004-2	1	09.12.2004 11:43
[Erledigt] Doppelte zeilen löschen		Datenbanken	8	06.12.2004 17:17
[Erledigt] Doppelte Einträge aus Textdatei entfernen		PHP Tipps 2004	11	17.10.2004 15:00
Doppelte Datensätze anzeigen!		Datenbanken	3	25.09.2004 17:42
Doppelte Einträge prüfen		Datenbanken	12	15.06.2004 20:30

24.04.2007, 20:05
Riks Benutzer Registriert seit: 03.08.2006 Beiträge: 49	Doppelte einträge löschen Hi, es gibt zwar schon threads mit "doppelte einträge löschen", aber die behandeln leider nich das, was ich suche. Nach dem zusammen legen von 2 datensätzen auf eine objectID gibt es jetzt datensätze die gleich sind: vorher: Code: objectID value 1 2 1 3 1 4 2 3 3 3 nachher: Code: objectID value 1 2 1 3 1 4 1 3 1 3 kann ich irgendwie in der WHERE anweisung einer DELETE anfrage angeben das er jetzt doppelte einträge löschen soll (eins behalten)? Riks


Mister Ad PHP Code Flüsterer Registriert seit: 21.08.2005 Beiträge: 4682 PHP-Kenntnisse: Fortgeschritten

24.04.2007, 21:37
nikosch moderatives Dielektrikum Registriert seit: 21.05.2008 Beiträge: 35.987 PHP-Kenntnisse: Fortgeschritten	Hallo Riks, über den ALTER Befehl mit ADD UNIQUE müßte Dein Problem lösbar sein.

24.04.2007, 22:27
Zergling-new Erfahrener Benutzer Registriert seit: 21.05.2008 Beiträge: 9.937	@nikosch77: Ich würde vermuten, dass der Befehl fehlschlägt, da es für die Spalte bereits doppelte Einträge gibt. Ein "Automerge" wäre mir neu. Komplett gleiche Datensätze verstossen übrigens gegen das relationale Datenbank-Modell. Ein Eintrag MUSS eindeutig ientifizierbar sein, notfalls ist der Primärschlüssel aus allen Spalten zusammengesetzt. Entfern die doppelten Einträge also dauerhaft. Ich hoffe mal, das ist nur ein einmaliger "Reinigungs"-Vorgang Ehrlich gesagt wüsste ich nicht, wie du das mit einem Statement löst, aber da bin ich auch nicht so der König. Schließlich kannst du wie erwähnt nicht untereinander zwischen Mehrfacheinträgen unterscheiden. Ich würde wohl alle doppelten Kombinationen herausfiltern & deren Anzahl, und diese dann einzeln löschen. Nicht sehr performant, aber immerhin. Doppelte zählen: SELECT object_id, value FROM table WHERE CONCAT(object_id, '#', value) IN (SELECT DISTINCT CONCAT(object_id, '#', value) FROM table GROUP BY (object_id, value) HAVING COUNT(*) > 1) Wie kam es denn zu diesem Katastrophen-Zustand in der DB? Edit: Evtl. kannst du eine zusatzliche Auto-Increment/ID-Spalte einfügen, damit du wenigstens während dem Entfernen der doppelten Einträge eine Spalte eindeutig identfizieren kannst. Danach kannst du sie ja wieder entfernen.

25.04.2007, 09:37
Riks Benutzer Registriert seit: 03.08.2006 Beiträge: 49	Das ganze entsteht wenn ich mehrere Objekte in der Datenbank zusammenfüge dann wird die objectID gleichgesetzt. Es ist also ein Reinigungsvorgang . und damit eben values nicht doppelt angezeigt werden, sollen die gelöscht werden. Hab das jetzt in 3 schritten gelöst. Zuerst werden alle values in ein array gespeichert die objectID 1 besitzt. Dann werden alle values der anderen objectIDs auf objectID 1 gesetzt deren Values nicht im array sind und zum schluss werden alle einträge gelöscht die noch die alten objectIDs besitzen.

25.04.2007, 11:20
KingCrunch Erfahrener Benutzer Registriert seit: 13.08.2007 Beiträge: 1.976	Joa, so hätte ich das auch gemacht, solang die Tabelle noch nicht zu groß ist. Ist schließlich ein einmaliger Vorgangen. Hättest du aber vorher daran gedacht, wäre es einfacher Erstmal alles rein und danach guckn, was man überhaupt haben willst, ist nicht die feine englische Art __________________ Nicht jeder Fehler ist ein Bug.

25.04.2007, 14:06
Riks Benutzer Registriert seit: 03.08.2006 Beiträge: 49	Na ja, das ist vllt grob gleichzusetzen mit dem zusammenfügen von threads in einem forum, da weiß man vorher auch nicht welche threads man wann zusammenfügt... Danke auf jeden fall für eure tipps und hinweise!

25.04.2007, 19:29
nikosch moderatives Dielektrikum Registriert seit: 21.05.2008 Beiträge: 35.987 PHP-Kenntnisse: Fortgeschritten	ok, über ALTER gehts wirklich nicht. Aber du kannst eine Tabelle mit der gleichen Strukur erstellen und dann mit Code: INSERT INTO Table2 SELECT DISTINCT * FROM Table1 die Werte dorthin kopieren.