Discussion :

[daniel1985]

Bonjour à Tous,

J'ai des tables qui contiennent des centaines des milliers des enregistrements avec cette structure (Id, nom, titre, ville). J'ai essayé de supprimer les duplications par la création d'un nouveau table et ensuite en utilisant une requête de type:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 insert into table_new... select distinct(id), nom, titre, ville from table_originale..

mais toujours sans vain !! EN effet, j'ai remarqué que seuls des enregistrements sont supprimés alors que d'autres ne sont pas supprimé. Apparemment cette fonction distinct n'est valable que pour un nombre limité d’enregistrements mais pour des tables ayant des centaines de milliers elle n'est pas si fiable !

Toute information sera le bien venue et Merci d'avance .

[islamov2000]

il faut d'abord comprendre le principe de distinct.
distinct evite les lignes identiques et non pas les champs.
c'est à dire: (Id, nom, titre, ville)=ligne.
tu peux nous donner un jeu de données afin de t'aider.

[daniel1985]

il faut d'abord comprendre le principe de distinct.
distinct evite les lignes identiques et non pas les champs.
c'est à dire: (Id, nom, titre, ville)=ligne.
tu peux nous donner un jeu de données afin de t'aider.

Oui je sais bien le principe. En effet elle va me retourner des enregistrements distincts n'ayant pas des doubles du clé id dans mon exemple. Mais pratiquement ça me rends des enregistrement qui ont des id identiques !!

[CinePhil]

Si tu as des id identiques, c'est que pour un même id, au moins l'une des autres colonnes du SELECT a au moins deux valeurs différentes.

Id, nom, titre, ville
1, 'toto', 'titre1', 'Saint-Étienne'
1, 'toto', 'titre1', 'Saint Etienne'

Ce sont deux lignes différentes donc un SELECT DISTINCT Id, nom, titre, ville retournera les deux lignes.
Et mettre Id entre parenthèses n'y changera rien car DISTINCT opère sur toutes les colonnes du SELECT.

[daniel1985]

Si tu as des id identiques, c'est que pour un même id, au moins l'une des autres colonnes du SELECT a au moins deux valeurs différentes.

Id, nom, titre, ville
1, 'toto', 'titre1', 'Saint-Étienne'
1, 'toto', 'titre1', 'Saint Etienne'

Ce sont deux lignes différentes donc un SELECT DISTINCT Id, nom, titre, ville retournera les deux lignes.
Et mettre Id entre parenthèses n'y changera rien car DISTINCT opère sur toutes les colonnes du SELECT.

ah bon ! alors il faur faire quoi ? Avez-vous une idée svp ?

[CinePhil]

Tu veux supprimer les doublons sur l'id ?
Quel(s) critère(s) détermine(nt) quelles valeurs conserver pour les autres colonnes ?

Dans mon exemple, la bonne orthographe est Saint-Étienne mais rien ne permet de déterminer a priori qu'il faut conserver la première ligne et jeter la seconde, sauf l'examen humain des deux lignes.

[daniel1985]

Je veux supprimer les lignes ayant un ID identique, peu importe les valeurs des autres colonnes !Après, Je vais sauvegarder ces enregistrement dans une table ayant la colonne ID comme clé primaire

[tatayo]

Bonjour,
Dans ce cas il suffit que la requête renvoie l'id, applique une fonction d'aggrégation sur les autres colonnes(min ou max, je pense qu'AVG risque de ne pas trop aimer les chaines ), et grouper le tout sur l'Id.

Tatayo.

[daniel1985]

Bonjour,
Dans ce cas il suffit que la requête renvoie l'id, applique une fonction d'aggrégation sur les autres colonnes(min ou max, je pense qu'AVG risque de ne pas trop aimer les chaines ), et grouper le tout sur l'Id.

Tatayo.

Pourriez-vous donner plus des détails svp ? J'ai pas bien compris l'idée. j'ai voulu ajouter que Id est de type var (ils sont des longs chiffres comme 105994040, 105994045 ...)

[CinePhil]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
SELECT id, 
	MAX(nom) AS nom,
	MAX(titre) AS titre,
	MAX(ville) AS ville
FROM table_originale
GROUP BY id

[Bluedeep]

Pourriez-vous donner plus des détails svp ? J'ai pas bien compris l'idée. j'ai voulu ajouter que Id est de type var (ils sont des longs chiffres comme 105994040, 105994045 ...)

Si j'ai bine compris vous vous lister les id en double ?

Si c'est le cas, la requête suivante devrait donner le résultat escompté :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
SELECT id, count(id) as count_id
FROM theTable
GROUP BY id
having count(id) > 1;

[aieeeuuuuu]

Si votre but est de "nettoyer" votre table, vous pouvez directement supprimer de la table les données :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
;WITH CTE AS (
	SELECT ROW_NUMBER() OVER(PARTITION BY id ORDER BY (SELECT 1)) AS Rang
	FROM LaTable
)
DELETE FROM CTE
WHERE Rang > 1

(ici c'est fait de façon tout à fait arbitraire, car visiblement vous n'avez aucune règle indiquant quelle ligne supprimer en cas de doublon, mais au moins vous gardez la cohérence des valeurs entre les colonnes d'une même ligne...). Si vous voulez néanmoins implémenter une règle de suppression, vous pouvez le faire dans la partie ORDER BY de la fonction fenêtrée