Discussion :

[roman67]

Bonjour,

J'ai un fichier d'environ 10 000 lignes qui contient des lignes de 5 champs séparés par un ;

Exemple:

69857;475;56;48;454;
5464;156;1464;415;21;
5468;12;1354;150;25;
5468;12;1357;1545;278;

Comment faire pour supprimer les doublons du premier champ?
Dans l'exemple il faudrait supprimer l'une des deux lignes commençant par le champ 5468 pour arriver au fichier:

69857;475;56;48;454;
5464;156;1464;415;21;
5468;12;1354;150;25;

La ligne supprimée n'a pas d'importance.

Merci pour votre aide!

[jmelyn]

Afin de supprimer les doublons, il faut d'abord être sûr que les clés identiques soient consécutives. Pour cela, la commande sort sur le premier champ est adéquate.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sort -t ';' -k 1,1 fichier_in > fichier_out

Puis il faut supprimer les doublons. C'est une simple option de sort.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 sort -u -t ';' -k 1,1 fichier_in > fichier_out