Discussion :

[moctarim]

Bonjour,

J'ai un fichier csv avec plusieurs champs séparés par des ";".
Je souhaite supprimer les doublons sur ce fichier. On reconnait des doublons lorsque pour des lignes différentes les champs 1,2,3,4,5 et 9 sont identiques.

Comment faire pour afficher les lignes sans doublons ou supprimer les doublons en prenant en comptes plusieurs champs distincts.

Merci de votre aide !
Moctarim

[jack-ft]

Cela ne répond pas à la question, mais si le fichier a été généré par une requête SQL, ce serait peut-être plus simple de la corriger...

Sinon on peut aussi recharger le fichier dans une BD et refaire l'extraction

A part ça, a-t-on le droit de changer l'ordre des lignes du fichier?

[moctarim]

On ne peut pas jouer sur une requête SQL. Par contre on peut changer l'ordre des lignes du fichiers.

Merci

[gangsoleil]

Bonjour,

Avec awk, tu peux isoler les champs qui t'interessent.
Avec grep ou sort, tu dois pouvoir trouver ceux qui sont en double
Et ensuite, avec grep -v, tu peux les eliminer -- reste a garder le premier.

[jack-ft]

On ne peut pas jouer sur une requête SQL. Par contre on peut changer l'ordre des lignes du fichiers.

Merci

Si on peut changer l'ordre des lignes du fichier, je commencerais par un 'sort' sur les champs 1,2,3,4,5 et 9, puis je piperais avec un petit programme awk qui, pour chaque ligne, constitue une chaîne en concaténant les champs 1,2,3,4,5 et 9, compare cette chaîne avec la dernière valeur enregistrée: si identique, alors ne rien faire sinon afficher la ligne complète et enregistrer la nouvelle valeur.
Quelque chose comme (à vérifier):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

code beugué...

Edit (après vérification):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
sort -t';' -k1,5 -k9,9 | awk -F';' 'BEGIN {id=""; }
{ nid = $1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $9 ;
  if ( id != nid ) { print $0; id = nid; }}'

[moctarim]

Merci je teste le programme et je vous fais un retour.

[jack-ft]

Après une petite vérification, vaudrait mieux essayer ceci...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
sort -t';' -k1,5 -k9,9 | awk -F';' 'BEGIN {id=""; }
{ nid = $1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $9 ;
  if ( id != nid ) { print $0; id = nid; }}'

pendant qu'on y est, autant respecter la syntaxe de sort et awk!

[moctarim]

Super merci beaucoup !