Discussion :

[katanaenmousse]

Bonjour,

je cherche à faire une commande SQL qui intègre un grand nombre d'enregistrements (>50 000) dans une table (comprenant 3 champs sans faire de doublons. C'est à dire que si les 3 champs de la tables sont strictement identiques, il ne faut pas insérer les données.
Je précise que les données sont en mémoire dans 3 listes de l'ordinateur.
Je me pose 2 questions :
1/ faut t il insérer les données directement une à une dans la table en utilisant quelque chose pour vérifier si l'enregistrement existe déjà avant de l'enregistrer?
(je ne vois pas trop comment faire cette vérification simplement dans la commande sql)
2/ faut il plutot enregistrer toutes les données dans une table temporaire et ensuite completer la table avec les nouvelles donnees de la table temporaire?

quelle solution est la plus correcte et la plus rapide d'après vous? sachant que la 1 je ne vois pas comment faire... :-(

merci pour votre aide

[tatayo]

Bonjour,
JE ne vois que trois solutions:

1. Dédoublonner les données avant insertion
2. Tester l'existence des données avant insertion (avec un SELECT)
3. Définir les 3 colonnes comme clé primaire, et ajouter un IGNORE DUPLICATE dans la requête INSERT.

Tatayo.

[katanaenmousse]

merci Tatayo.

A ton avis laquelle de tes 3 propositions serait la plus rapide a exécuter pour l'utilisateur?

Je pense que la 3ème solution est intéressante. Je vais essayer de la mettre en oeuvre, si SQLite veut bien accepter IGNORE DUPLICATES.

Je vais chercher un exemple sur mon moteur de recherche préféré et je vous tien au courant.

Merci

[acaumes]

Bonjour,

Je pense que la 3ème solution est intéressante. Je vais essayer de la mettre en oeuvre, si SQLite veut bien accepter IGNORE DUPLICATES.

En Sqlite IGNORE DUPLICATES se fait en intégrant une clause IGNORE dans l'ordre d'insertion

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

insert or ignore into matable (colonne) values (MaValeur);

Cordialement

[escartefigue]

Je suppose que la question se pose car il n'y a pas d'index unique sur ces 3 colonnes, car si c'est le cas, le plus simple est de faire l'insert sans controle préalable, puis, si le code SQSL est -803 (clef en double) alors incrémenter un compteur de rejet.
Et si votre source contient des doublons (d'autant plus possible que 3 listes en entrée) y a -t- il un critère pour déterminer lequel il faut insérer ? car ça peut modifier la solution à mettre en oeuvre

[katanaenmousse]

Bonjour,

alors pour terminer voici la solution que j'ai appliquée en suivant vos conseils (je vous remercie encore )

je creer un index unique sur les trois colonnes après avoir créé ma table.

pour cela j'utilise CREATE UNIQUE INDEX

ensuite j'utilise un INSERT OR IGNORE pour ajouter les enregistrements sans me préocuper de savoir lesquels sont des doublons puisque de toute façon les doublons sont automatiquement ignorés.

C'est très rapide et ça garanti l'intégrité des données.

Merci encore à vous tous pour votre aide précieuse.