Discussion :

[dekkalou]

j'ai un gand fichier contenanat plusieurs lignes redandantes, comment les supprimer et laisser uniquement un seul enregisterement.
merci pour tout aide.
Slts,
med


fichier entre
AAC:mkcc:5.4v7:2007.01.02.09
AAC:mkcc:5.4v7:2007.01.02.09
sgsgfg:mkcc:5.4v5:2007.01.02.09
usueu:mkcc:5.4v7:2007.01.02.09
usueu:mkcc:5.4v7:2007.01.02.09
usueu:mkcc:5.4v7:2007.01.02.09
usueu:mkcc:5.4v7:2007.01.02.09
fdfd:mkcc:6.0v1:2007.01.02.10
fgfgfgf:mkcc:5.4v8:2007.01.02.10
fgfgfgf:mkcc:5.4v8:2007.01.02.10
fgfgfgf:mkcc:5.4v8:2007.01.02.10
fgfgfgf:mkcc:5.4v8:2007.01.02.10
fgfgfgf:mkcc:5.4v8:2007.01.02.10
AAC:mkcc:5.4v7:2007.01.02.09
AAC:mkcc:5.4v7:2007.01.02.09
AAC:mkcc:5.4v7:2007.01.02.09
fgfgfgf:mkcc:5.4v8:2007.01.02.10
fgfgfgf:mkcc:5.4v8:2007.01.02.10
dffdfdf:mkcc:5.4v5:2007.01.02.10
AAC:mkcc:5.4v7:2007.01.02.09
AAC:mkcc:5.4v7:2007.01.02.09


le resultat du fichier que je cherche sera sous la forme:

AAC:mkcc:5.4v7:2007.01.02.09
sgsgfg:mkcc:5.4v5:2007.01.02.09
usueu:mkcc:5.4v7:2007.01.02.09
fdfd:mkcc:6.0v1:2007.01.02.10
fgfgfgf:mkcc:5.4v8:2007.01.02.10
dffdfdf:mkcc:5.4v5:2007.01.02.10

[MarneusCalgarXP]

Le plus simple et la plus "sécurisée" au niveau mémoire si ton fichier est gigantesque: faire appel à la fonction sort du shell unix

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sort <fichier> --unique --output=<fichier>

que tu peux également appeler depuis perl:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
#!/usr/bin/perl
use strict;
use warnings;
my $filename = '/home/user/toto.txt';
system("sort ${filename} --unique --output=${filename}") == 0 or die("echec du sort");

[djibril]

Pour faire propre, je te conseil plûtot d'opter pour une solution pure perl.
Si ton fichier n'est pas tres gros (quel taille fait il?), tu peux le mettre dans un tableau. Ensuite tu supprimes les doublons du tableau et ensuite le remet dans un fichier.

chercher dans les snippet (il y a une procedure pour supprimer les doublons d'un tableau).

je suis en train de mettre la FAq à jour et ce sera bientot disponible pour tout le monde.

[dekkalou]

Malheureusement je manipules des fiches a des taille > 2Go !! ( fichier log d’une annee), c'est pas aussi simple avec les tableaux mais je pense que c'est faisabale.
j'ai fini par l’utilisation d’un scripte csh contenanat 3 lignes : appel aux deux parties des programmes perl separees par une ligne contenant le traitement sort comme suit:
/usr/bin/sort -o space_monitoring_tr_outpot +1nr space_monitoring_tr
( j’utilise SUN, l'option --unique n'existe que sous linux.).

Merci a vous.

Mes meilleurs salutations,

[aikinhdo]

Mais si --unique n'existe que sur linux. Tu as l'option -u qui existe sur SUN.