Discussion :

[PyRoFlo]

Salut,

j'ai une table :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
CREATE TABLE `blagues` (
  `id` int(11) NOT NULL auto_increment,
  `cat` varchar(50) NOT NULL default 'Divers',
  `blague` text NOT NULL,
  PRIMARY KEY  (`id`)
)

Après insertion, je me retrouve avec environ 1200 enregistrements ce qui rend le travail infaisable à la main.

Mon problème est de gérer...les doublons.
Question récurrente, j'ai pourtant lu les posts à ce sujet, SQLPro...

Ce sont des doublons relatifs (seul le champ blague ou cat diffère).

D'après le site SQLPro, il faudrait déjà que j'ajoute une contrainte d'unicité sur le champ blague or cela m'est impossible :

#1170 - BLOB column 'blague' used in key specification without a key length

Si j'ai bien compris, je ne peux pas car la taille de ce champ est variable ?

Que me proposez-vous pour éliminer ces doublons ?

Merci

[Kimael]

Tu génères le MD5 des Blob que tu stocks dans une colonne
et tu vérifies qu'il n'y as pas deux sommes MD5 identiques...
Y'a peu de chance qu'il y ait deux sommes MD5 identiques
pour deux fichiers différents
et une somme MD5 fait toujours la même taille.

Enfin, c'est juste une idée
et ça doit marcher pareil avec du MD4...
(qui a dit MDR ?)

[Swoög]

il te faut spécifier une taille à blague, comme tu le fais pour cat...
heu.. perso ça m'a toujours mis une erreure de syntaxe...

[PyRoFlo]

Déoslé d'avoir mis tant de temps pour répondre mais le mail de notification semble s'être perdu !

Kimael, en effet j'ai pensé à quelque chose comme ça, j'ai déjà testé non pas avec MD5 Mais avec la longueur (length) de la blague...car je n'ai jamais utiliser MD5 avec mySQL.
Je vais me renseigner !

Swoög, impossible, j'ai toujours une erreur

Je teste la première solution et reviens vous voir

Merci !

[PyRoFlo]

Effectivement MD5() est la solution !

J'essaie d'exécuter la requête prise sur SQLPro pour affichier les doublons, soit :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
SELECT  DISTINCT *
FROM blagues T1
WHERE  EXISTS ( 
SELECT  * 
FROM blagues T2
WHERE MD5( T1.blague )  <> MD5( T2.blague )  )

Erreur de syntaxe près de EXISTS...

Version de mySQL : 4.0.20

Je vois arriver de là qu'il m'est impossible de faire des sous-requêtes...

Je me trompe ?
Il faut ré-écrire ça de manière à ce que ça passe sous mySQL 4.0.20...c'est pas gagné.

Si vous avez des idées, merci !

[Kimael]

Les sous-requêtes sont supportées à partir de... bah je ne sais plus,
mais si tu fais une recherche dans le forum MySql avec comme mot-clés
sous-requêtes version, etc. ça devrait se retrouver

[PyRoFlo]

Je confirme donc, sous-requête dispo à partir de mySQL 4.1

Depuis tout à l'heure je tente de modifier la requête afin de la rendre compatible

Si vous avez uelques suggestions :

Merci !

[Swoög]

et mettre ton champ md5 en unique ne suffit pas ?

[PyRoFlo]

et mettre ton champ md5 en unique ne suffit pas ?

Si ça suffit !

Alors j'ai supprimé la table, je l'ai recréé en lui ajoutant un champ sign contenant le hash MD5 du champ blague.

Lors de l'insertion (qui se fait depuis un fichier SQL), dès qu'un enregistrement qui existe déjà doit être inséré (un futur doublon quoi ), mySQL me retourne une erreur :

#1062 - Duplicate entry '0' for key 1

Donc cela fonctionne partiellement puisque au lieu de continuer les insertions, mySQL stoppe tout

Après quelques recherches je n'ai pas trouvé de solutions...
IGNORE ne me convient pas car ça annule l'effet du champ UNIQUE.

Je me retourne encore vers vous

Comment continuer à exécuter des requêtes SQL après qu'une de celles-ci me retourne l'erreur ci-dessus ?

Merci beaucoup !

[Swoög]

J'ignore comment tu le fais, mais si tu le fais via phpMyAdmin, il n'a y pas beaucoup de solutions...

le plus simple étant de séparer tes différentes requettes, puis de les faires une à une... long, mais fonctionnement garanti..

[PyRoFlo]

Oui via phpMyAdmin car toutes les requêtes se trouvent dans un fichier SQL.

En effet, j'ai bien peur de devoir me coder une petite page en PHP qui gère l'erreur retournée...

Bon je suis plus à 5 minutes près

Sujet résolu !

Merci !

[Alexandre T]

Un technique plus simple pour trouver tes doublons :
1-Modification de la base :
2-Calcul de tous les champs MD5
3-Récupération des doublons

J'ai fait les requêtes suivantes au pied levé... Je n'ai pas vérifié la syntaxe...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
ALTER TABLE blagues ADD COLUMN md5_unique char(32);
 
update blagues set md5_unique=md5(blague);
 
select count(*) as doublon,md5_unique from blagues 
group by blague
having doublon >= 2;

De plus, rien ne t'empêche de mettre une contrainte d'unicité sur ton champ md5_unique, une fois les doublons éliminés. Ainsi, a chaque insertion tu pourras être sûr que cette blague n'est pas déjà présentes.